行为与风险

幻觉(Hallucination)

AI 模型说出虚假或编造的内容时,语气和自信程度与给出正确答案时一模一样。

语言模型生成文本靠的是预测统计上"看似合理"的内容,而不是查证事实数据库——所以一句流畅、自信的话,和一句纯属编造的话,从外表上可能毫无区别。幻觉的表现形式多种多样,从编造的引用、错误的日期,到完全虚构的事件或人物。

RAG 和工具调用(让模型去调用搜索引擎或计算器,而不是自己瞎猜)等技术能降低幻觉发生率,但目前发布的模型没有一个能彻底消除它——这也是为什么把 AI 输出的内容与一手资料核对仍然很重要。