技术观察：为何要求大模型输出“置信度分数”是徒劳的

技术专家 Justin Flick 发布博文，深入剖析了在开发中要求大语言模型（LLM）对自身回答输出“置信度分数”为何是一种毫无意义的工程实践。尽管 Anthropic 等机构的研究表明模型在生成过程中存在某种内部状态，但作者指出，目前没有任何科学依据证明模型能可靠地将这种状态转化为代表正确性的量化数值。文中提到，所谓的“置信度”在实际定义中极为模糊，可能指代逻辑连贯性、事实正确性或意图匹配度，单一数值无法区分这些维度。研究数据也显示，模型在使用 0-100 的连续量表时，倾向于将答案锚定在 100 等整数上，导致分数失去参考价值。更严重的是，在 RAG（检索增强生成）等应用场景中，强行优化置信度分数会迫使模型放弃跨源信息综合的“推理”能力，退化为单纯的搬运工。作者主张，如果模型能识别出错误，正确的路径是利用工具链进行自我修正或重新检索，而不是给错误答案贴上低分的标签。业界应当放弃这种“心理安慰剂”式的指标，转而专注于提升检索质量和验证机制。

事件分析

💡 核心观点：LLM本质上不具备“自知之明”，与其追求不可靠的自我评分，不如优化检索链路让模型通过工具自我修正。