Transformer

Arkitekturë e rrjetit nervor që ka revolucionarizuar AI, në bazë të GPT, BERT, Claude dhe Gemini.

Transformer është një arkitekturë e prezantuar nga Google në vitin 2017 (punimi 'Attention is All You Need'). Përdor një mekanizëm të self-attention për të përpunuar sekuencat në paralel, duke tejkaluar kufizimet e RNN dhe LSTM. Është baza e të gjithë LLM modernë dhe e shumë modeleve të vizionit.