Verim (Throughput)

Throughput, bir sistemin birim zamanda işleyebildiği toplam iş miktarıdır; LLM dünyasında genellikle 'saniyedeki toplam Token' ya da 'saniyedeki istek' olarak ölçülür. TPS tek kullanıcının ne kadar hızlı yanıt aldığına bakarken throughput, tüm sunucunun toplam kapasitesini ifade eder; bu iki sayı çoğu zaman birbirine ters çekme yapar. Continuous Batching, PagedAttention ve verimli KV Cache yönetimi gibi teknikler, tek kullanıcının hissettiği Latency çok artmadan throughput'u büyütmek için tasarlanmıştır. MLPerf gibi benchmarklarda en sık ölçülen metriklerden biridir, çünkü maliyetin gerçekçi göstergesidir.