コンテキストウィンドウ(Context Window)

コンテキストウィンドウは一種の短期記憶のように働きます。その範囲外の内容は、会話が削られるか要約されるまで、モデルはそもそも参照できません。ウィンドウのサイズは2020年代初頭のモデルの数千トークンから、2026年の一部の最先端モデルでは100万トークン超にまで拡大し、コードベース全体や1時間分のドキュメントを一度に読み込んで推論するような用途も可能にしています。

コンテキストウィンドウが大きいほど、リクエストごとの実行コストも上がります。もとのTransformer設計ではアテンション計算量がシーケンス長に応じて急激に増えるためで、プロバイダーが長いプロンプトほどトークン単価を高く設定する理由の一つです。