Agentic RAG 性能优化:规划缓存策略
1. Agentic RAG 的速度瓶颈 传统 RAG 流程为用户提问→检索一次→生成答案(一次 LLM 调用)。 Agentic RAG 需多轮 LLM 调用:分析问题→检索→判断信息是否足够(不足则继续检索)→生成答案,每步调用耗时(调三四次需十几秒)。 实测显示,从传统 RAG 升级到 Agentic 架构后,准确率提升但平均响应时间从 3 秒增至 14 秒。限制迭代次数或用小模型中间步骤等方法治标不治本,会导致准确率下降。 ...
1. Agentic RAG 的速度瓶颈 传统 RAG 流程为用户提问→检索一次→生成答案(一次 LLM 调用)。 Agentic RAG 需多轮 LLM 调用:分析问题→检索→判断信息是否足够(不足则继续检索)→生成答案,每步调用耗时(调三四次需十几秒)。 实测显示,从传统 RAG 升级到 Agentic 架构后,准确率提升但平均响应时间从 3 秒增至 14 秒。限制迭代次数或用小模型中间步骤等方法治标不治本,会导致准确率下降。 ...