Yargıç olarak LLM, bir modelin başka bir modelin çıktısını puanlamak ya da iki çıktı arasında Pairwise Comparison yapmak için kullanıldığı eval yöntemidir. Lmsys'in MT-Bench (2023) çalışması bu yaklaşımın insan tercihine yüksek korelasyonla yaklaşabildiğini gösterdi ve sektörde geniş kabul gördü. Otomatik, ölçeklenebilir ve göreceli ucuz olması en büyük avantajlarıdır. Kendi modelini kayırma, konum yanlılığı ve uzun cevap tercihi gibi tipik yanlılıklara dikkat etmek gerekir; düzeltici eşleştirme, döndürme ve birden çok yargıç gibi tekniklerle bu sorunlar yumuşatılır.
MEVZU N°124ISTANBULYEAR I — VOL. III
Sözlük · Orta · 2023
Yargıç Olarak LLM
Bir LLM'in başka bir modelin çıktısını değerlendirmesi için kullanıldığı eval yöntemi.
- EN — İngilizce karşılığı
- LLM-as-Judge
- TR — Türkçe karşılığı
- Yargıç Olarak LLM