文字数とは違う、モデルに渡る単位。
文字数とトークン数は別のもの
言語モデルに文章を渡す際、多くの場合は文章をトークンという単位へ変換します。その単位は、必ずしも日本語の一文字や、辞書に載る一単語と一致しません。同じ文章でも、使うトークナイザーの語彙や分割方法によって結果が変わり得ます。「日本語の何文字で一トークン」と、すべてのモデルに共通する換算はできません。
空白のない文章をどう扱うか
日本語は通常、単語の境界ごとに空白を入れません。SentencePieceは、あらかじめ単語に分割されていない文章からサブワードモデルを学習できる仕組みを示しました。原論文と実装を一緒に読むと、トークン化が単なる文字列の切り分けではなく、学習時の設定にも関係することが分かります。
表記の差を、実例で確かめる
説明用の入力として「ＡＩ研究」と「AI研究」、「三宮」と「さんのみや」を並べてみます。これらが同じ分割になるかどうかは、実際に対象のトークナイザーで確認する必要があります。本記事では、特定モデルの分割結果やトークン数を実測したとは述べていません。画面上の文字の見た目だけで判断しないことがポイントです。
正規化は、情報を変えることもある
全角・半角の統一などの正規化は、表記の揺れを小さくする一方、用途によっては区別したい情報も変えてしまいます。SentencePieceにも正規化に関する設定があります。人名、型番、記号、コードを扱う場合には、変換前後の文字列を読み比べ、業務上必要な区別が残るかを確認しましょう。
処理の入口を記録する
モデルの名称に加えて、トークナイザーの版、語彙、前処理の方法を記録しておくと、条件の違いを追いやすくなります。入力上限や利用料金を検討するときも、対象サービスが実際に使う数え方で確かめます。トークン化の確認は、モデルの日本語能力の全体評価を置き換えるものではありません。
参照資料
以下の一次資料を参照した、本誌による解説です。引用先の研究機関や著者が、当サイトを推奨していることを意味しません。
資料確認日：2026年10月28日。説明用の例と本誌の提案は、参照資料の実験結果と区別しています。
内容の訂正について
誤記や出典の問題がありましたら、該当箇所と確認できる資料を添えてお問い合わせください。