1. QUERY 改写的常见问题
- 资源浪费:60% 的简单查询无需改写,却因无差别调用大模型导致算力浪费。
- 召回率下降:大模型倾向将口语化查询改写为通用书面语,与业务文档中的专业表述(如 “白名单”)匹配度降低,导致相似度下降。
- 缺乏业务上下文:通用大模型不理解业务专属术语(如法律领域 “motion” 指 “动议” 而非 “运动”),易引发语义偏差。
2. QUERY 改写的主流方案
2.1 基础改写(补全与缩写展开)
- 功能:补全简短查询(如 “预审批贷款案例”→“请提供关于预审批贷款的案例分析”)、展开缩写(如 “AI”→“Artificial Intelligence 人工智能”)。
- 局限:仅解决表述不完整问题,无法处理语义偏差。
2.2 Multi-Query 多查询改写
- 核心:从不同角度生成多个查询(如 “气候变化对环境影响”→“气候变化对生物多样化 / 海洋 / 天气模式的影响”),合并检索结果提升全面性。
- 实践建议:生成 2-3 个改写(研究显示 4-5 个效果最佳,但需平衡成本)。
2.3 subquery 分解(子问题拆解)
- 适用场景:复杂问题含多个子问题(如 “比较马斯克和贝佐斯的教育背景”→拆分为 “马斯克教育背景”“贝佐斯教育背景”),分拆检索提升准确性。
2.4 stepback(退后一步泛化)
- 策略:将具体问题泛化为抽象背景问题(如 “某明星在某剧穿的衣服”→“某剧的服装设计风格”),先获取背景信息再回答具体问题。
2.5 Hyde(假设性文档嵌入)
- 思路:用大模型生成假设性答案,以 “文档匹配文档” 替代 “问题匹配文档”,提升相似度。
- 前提:大模型需对问题有一定了解,否则假设答案错误会导致检索偏差。
3. 业务知识注入策略
3.1 业务词典构建
- 内容:整理业务缩写、同义词、专有名词、黑话(如内部产品名 “XFlake”),直接用原词检索避免改写失真。
3.2 上下文注入(静态与动态)
- 静态注入:在 prompt 中补充业务背景(如 “我们是法律科技公司,HP 指 hearing preparation 庭审准备”),但受限于 token 成本。
- 动态注入:构建业务知识库(存术语解释),用户 query 先检索该库,将相关知识拼接至 prompt(如 “HP 流程”→检索到 “HP=hearing preparation”,注入后改写为 “庭审准备阶段的流程是怎样的”)。
3.3 实体识别与用户画像结合
- 实体识别:先识别 query 中的产品名、功能名、缩写词,针对性检索解释,减少噪音。
- 用户画像:同一术语因部门不同含义不同(如 “PIPELINE”:销售指 “销售漏斗”,工程师指 “数据流水线”),按用户部门注入对应背景。
3.4 fewshot 动态检索
- 机制:维护历史改写案例库,新 query 检索相似案例作为示例注入 prompt,使大模型学习业务改写风格。
4. 落地建议
- 先分类再改写:用轻量级分类器区分简单查询(直接检索)、复杂查询(分解)、专业术语(词典映射)。
- 控制改写数量:2-3 个改写性价比最高,平衡召回率与成本。
- 建立评估机制:通过评估集监测改写前后召回率变化,避免无效策略。
- 优先构建业务词典:整理所有缩写、黑话、专有名词,作为改写效果的基础保障。
5. 核心原则
通用策略(如 Multi-Query、Hyde)打底,业务知识(词典、动态注入)兜底,大模型处理开放问题,业务规则处理专属问题,两者结合提升 RAG 效果。