1. Agentic RAG 的速度瓶颈

传统 RAG 流程为用户提问→检索一次→生成答案(一次 LLM 调用)。 Agentic RAG 需多轮 LLM 调用:分析问题→检索→判断信息是否足够(不足则继续检索)→生成答案,每步调用耗时(调三四次需十几秒)。 实测显示,从传统 RAG 升级到 Agentic 架构后,准确率提升但平均响应时间从 3 秒增至 14 秒。限制迭代次数或用小模型中间步骤等方法治标不治本,会导致准确率下降。

2. 规划缓存的核心思路

同一类问题(如查北京天气与查杭州天气、计算苹果销量与橘子销量)处理逻辑相同,无需每次让大模型从头规划。核心是缓存 “怎么做” 的模板(规划过程),而非答案,通过复用模板加速流程。

3. 规划缓存的实施步骤

  1. 打标签:用小模型提取问题的高层意图关键词(如 “均值计算”),通过关键词匹配模板(优于语义相似度,更关注本质而非表面细节);
  2. 填空:命中模板后,小模型将模板占位符替换为当前任务的具体内容(如将 “查询某某的数据” 中的 “某某” 替换为具体实体名),无需大模型参与,直接进入执行阶段;
  3. 积累:未命中时走完整流程,执行成功后提取通用步骤框架(抹掉具体实体名、数值等细节)作为新模板存入缓存。冷启动阶段可提前预埋高频场景模板(如查询类、对比类、汇总类、计算类),运行一两周后模板库基本覆盖常见情况。

4. 规划缓存的效果

成本降低 50%,延迟降低 30%,准确率保持约 97%。 因缓存的是模板(方法),具体执行仍基于实时上下文,检索新内容、生成新回答,故准确率不受影响。

5. 总结

Agentic RAG 慢的根源是多轮 LLM 调用中的规划步骤。优化核心不是压缩执行过程,而是跳过重复规划,通过缓存规划模板实现。 具体做法为:用关键词匹配任务类型,命中则小模型填空,未命中则正常执行并积累新模板。效果是成本减半、延迟降三成、准确率基本不变,体现对技术瓶颈的理解和针对性解决能力。