Transformer
Architettura di rete neurale che ha rivoluzionato l'AI, alla base di GPT, BERT, Claude e Gemini.
Il Transformer è un'architettura introdotta da Google nel 2017 (paper 'Attention is All You Need'). Usa un meccanismo di self-attention per elaborare sequenze in parallelo, superando i limiti di RNN e LSTM. È la base di tutti i moderni LLM e di molti modelli di visione.
Esempi pratici
- GPT (OpenAI)
- BERT (Google)
- Claude (Anthropic)
- Vision Transformer (ViT)