BPE Tokenizer Test
GGUF ファイルを選択してください
Hello world! How are you?
トークナイズ
BOS追加
EOS追加
トークン (
0
)
デコード結果: