Attention Is All You Need, Haziran 2017'de Vaswani ve Google ekibinin yayınladığı, NeurIPS 2017'de sunulan dönüm noktası makaledir. O dönemde sequence-to-sequence görevlerinin standardı RNN ve LSTM iken, makale "tüm bunları çıkaralım, sadece Attention kullanalım" dedi.
Sonuç: makine çevirisi ve dil modelleme benchmark'larında o günkü state-of-the-art'ı sadece geçmekle kalmadı, aynı zamanda eğitim süresini bir büyüklük mertebesi düşürdü. 2018'den itibaren BERT, GPT, T5 — hepsi bu makalenin üstüne kuruldu. Bugün AI/ML alanında en çok atıf alan makalelerden biridir.
- Self-attention, multi-head attention, positional encoding kavramlarını tanıttı.
- Yayınlandığında 8 yazarın dördü Google Brain, üçü Google Research, biri University of Toronto'dan.
- Yazarların büyük çoğunluğu sonrasında kendi şirketlerini kurdu (Cohere, Adept, Inceptive).
Dış Bağlantılar