Budama (Pruning)

Pruning, bir sinir ağındaki çok küçük etkiye sahip ağırlıkları sıfırlayarak model boyutunu ve hesaplama maliyetini azaltma tekniğidir; Han ve arkadaşlarının 2015'teki çalışmaları bu alanın temel referanslarındandır. İki ana çeşidi vardır: yapısız pruning tek tek ağırlıkları siler ve seyrek matrislere yol açar, yapısal pruning ise tüm nöronlar veya başlar gibi blokları çıkarır ve modern donanımda daha kolay hızlanma sağlar. Pratikte Quantization ve Distillation kadar yaygın olmasa da, özel donanım optimizasyonlarında ve uç cihaz dağıtımlarında değerli bir araçtır. LLM çağında en agresif pruning denemeleri büyük modellerin küçük 'yetenekli alt ağlarını' çıkarma araştırmalarında görülür.