基础概念
Token(词元)
语言模型实际读取和生成的最小文本单位——往往比一个完整单词还要小。
模型并不直接处理原始字母或完整单词，而是依据训练时习得的固定词表，把文本切分成 token(英文平均约 3-4 个字符)。"分词(tokenization)"就是把文本转换成这些单位、并在模型作答时再转换回文本的过程。
Token 在商业上也很关键:几乎所有 AI API 都按 token 计费，模型的上下文窗口也是以 token 数而非单词或字符数来衡量的——这正是为什么估算一个 AI 功能的运行成本时，第一个要问的问题就是"需要多少 token"。