Transformer

هندسة شبكة عصبية أحدثت ثورة في مجال AI، وهي الأساس الذي تقوم عليه نماذج GPT و BERT و Claude و Gemini.

يعتبر Transformer هندسة معمارية قدمتها Google في عام 2017 (عبر ورقة بحثية بعنوان 'Attention is All You Need'). يعتمد على آلية self-attention لمعالجة التسلسلات بشكل متوازٍ، متجاوزاً بذلك قيود نماذج RNN و LSTM. وهو يشكل الأساس لجميع نماذج LLM الحديثة والعديد من نماذج الرؤية الحاسوبية.