Long context, modern LLM'lerin yüz binlerce hatta milyonlarca Token'lık girdiyi tek seferde işleyebilmesi anlamına gelir. 2023'te Anthropic'in Claude 100K modeliyle başlayan akım, Gemini 1.5'in 1M-2M Context Window'una ve birçok rakibin uzun bağlam SKU'larına evrildi; 'tüm kitap, tüm kod tabanı, tüm finansal rapor' senaryoları artık demonun ötesine geçti. Ne var ki uzun bağlam, kâğıt üzerindeki sayıdan ibaret değildir: 'needle in a haystack' testleri ve uzun bağlamda akıl yürütme benchmarkları modellerin pencerenin neresine ne kadar gerçekten dikkat ettiğini ortaya koyar. PagedAttention ve verimli KV Cache yönetimi gibi sistem-seviyesi yenilikler olmasaydı bu rakamlar hiçbir zaman ekonomik bir şekilde servis edilemezdi.
MEVZU N°124ISTANBULYEAR I — VOL. III
Sözlük · Orta · 2023
Uzun Bağlam (Long Context)
Yüz binlerce hatta milyonlarca tokenlık bağlamı işleyebilen yeni nesil LLM'ler.
- EN — İngilizce karşılığı
- Long Context
- TR — Türkçe karşılığı
- Uzun Bağlam