Vai al contenuto

Transformer

Architettura di rete neurale che ha rivoluzionato l'AI, alla base di GPT, BERT, Claude e Gemini.

Il Transformer è un'architettura introdotta da Google nel 2017 (paper 'Attention is All You Need'). Usa un meccanismo di self-attention per elaborare sequenze in parallelo, superando i limiti di RNN e LSTM. È la base di tutti i moderni LLM e di molti modelli di visione.

Esempi pratici

  • GPT (OpenAI)
  • BERT (Google)
  • Claude (Anthropic)
  • Vision Transformer (ViT)

Termini correlati