基礎
トークン(Token)
言語モデルが実際に読み書きする、単語よりも細かいテキストの単位。
モデルは生の文字や単語をそのまま処理するのではなく、学習時に獲得した固定の語彙集合を基準にテキストをトークン(英語では平均3〜4文字程度)へと分割します。“トークナイズ(tokenization)”とは、テキストをこの単位に変換し、モデルが応答する際に再びテキストへ戻す処理のことです。
トークンはコスト面でも重要です。ほぼすべてのAI APIはトークン単位で課金され、モデルのコンテキストウィンドウも単語や文字数ではなくトークン数で表されます。AI機能の運用コストを見積もる際、まず“トークンがいくつ必要か”を問うべき理由はここにあります。