Vai al contenuto

Transformer

Arquitectura de red neuronal que ha revolucionado la AI, sirviendo de base para GPT, BERT, Claude y Gemini.

El Transformer es una arquitectura introducida por Google en 2017 (paper 'Attention is All You Need'). Utiliza un mecanismo de self-attention para procesar secuencias en paralelo, superando los límites de RNN y LSTM. Es la base de todos los LLM modernos y de muchos modelos de visión.

Ejemplos prácticos

  • GPT (OpenAI)
  • BERT (Google)
  • Claude (Anthropic)
  • Vision Transformer (ViT)

Términos relacionados