Kapa 公布新策略：用小模型“修剪”RAG 上下文，成本降低 34%

AI 开发平台 Kapa.ai 公布了一种优化 RAG（检索增强生成）系统的新方法，旨在解决知识库庞大时检索上下文冗余带来的高成本和低效问题。传统的 RAG 流程通常依赖检索器找到相关片段，再由昂贵的大模型生成答案，但为了确保召回率，检索器往往返回过多包含噪音的片段，导致生成模型必须处理并忽略大量无关内容，增加了不必要的计算开支。Kapa 提出的方案是在检索和生成之间插入一个“剪枝器”步骤：使用一个廉价、快速的小型大模型，同时读取用户问题和所有检索到的片段，基于五级量表（从“至关重要”到“毫无关联”）对每个片段进行列表式评分。这种列表式评估不同于传统的逐点重排序，它能够识别片段之间的互补关系，从而在保持约 96% 召回率的情况下，成功丢弃约 68% 的上下文。实测数据显示，在扣除剪枝步骤本身的计算成本后，该策略将单次查询的综合成本降低了约 34%，且延迟增加控制在 1 秒以内。该技术目前已在 Kapa 的 Product Agent SDK 中默认启用。

事件分析

💡 核心观点：RAG 优化的下一阶段不在于更精准的检索，而在于利用小模型对检索集进行逻辑剪枝，通过列表式评估大幅降低大模型推理成本。