Transformer
Arquitectura de red neuronal que ha revolucionado la AI, sirviendo de base para GPT, BERT, Claude y Gemini.
El Transformer es una arquitectura introducida por Google en 2017 (paper 'Attention is All You Need'). Utiliza un mecanismo de self-attention para procesar secuencias en paralelo, superando los límites de RNN y LSTM. Es la base de todos los LLM modernos y de muchos modelos de visión.
Ejemplos prácticos
- GPT (OpenAI)
- BERT (Google)
- Claude (Anthropic)
- Vision Transformer (ViT)