Transformer, Google Brain ve Toronto Üniversitesi'nden Vaswani ve ekibinin 2017'de 'Attention Is All You Need' makalesinde tanıttığı, modern yapay zekânın belki de en etkili mimarisidir. Eskinin RNN ve LSTM'lerinde gördüğümüz tekrarlamayı tamamen atıp her şeyi Self-Attention ve ileri-besleme katmanları üzerine kurdu; böylece eğitim paralelleşti ve çok daha büyük modellere kapı açıldı. GPT, BERT, Llama 3, Claude, Gemini — adını sayabildiğin neredeyse her LLM ya saf decoder, ya saf encoder, ya da Encoder-Decoder varyantı bir Transformer üzerine kuruludur. Sadece NLP'yi değil; görü, ses, kod ve protein tahmininde de standart hâline gelmiştir.
Dış Bağlantılar