MEVZU N°148ISTANBULYEAR I — VOL. III
tag.detailKicker
#tokenization
tag.detailSubtitle
§03
04tag.wikiSection
§01wiki.types.glossary
BPE — Byte-Pair Encoding
Sık görülen karakter çiftlerini birleştirerek alt-kelime sözlüğü kuran tokenleştirme algoritması.
- EN
- Byte-Pair Encoding (BPE)
- TR
- BPE — Bayt Çifti Kodlama
§02wiki.types.glossary
WordPiece
Google'ın BERT için kullandığı, BPE'ye benzer ama olasılık tabanlı çalışan alt-kelime algoritması.
- EN
- WordPiece
- TR
- WordPiece
§03wiki.types.glossary
SentencePiece
Boşluk dahil her şeyi karakter olarak gören, dilden bağımsız Google tokenleştirme kütüphanesi.
- EN
- SentencePiece
- TR
- SentencePiece
§04wiki.types.glossary★
Token
Bir metni LLM'in işleyebileceği parçalara ayırma birimi.
- EN
- Token
- TR
- Token