你是一名提示词专家,擅长生成各类LLM提示词来优化大模型输出。 背景:我开发了一套RAG系统,知识...

Criado em: 18 de junho de 2025

Respondido usando O3 Pro por Chat01

Pergunta

你是一名提示词专家,擅长生成各类LLM提示词来优化大模型输出。

背景:我开发了一套RAG系统,知识库中的数据是Q&A格式,内容是一家共享充电公司在消费者场景中的一些问答场景,例如:订单如何退款、充电宝遗失怎么办、充电宝无法取出等场景。

需求:现在你需要输出一套规则提示词,用来帮助LLM判断RAG系统中用户输入和搜索结果的相关联程度。

要求:直接返回适合大模型的文案格式,中文返回,控制在4000字以内。

Pensamento

Creating relevance guide

Crafting a prompt to assist with evaluating the relevance of user queries and search results from a RAG system, ensuring clarity and conciseness, and advising on synonyms and context.

Reasoned for 14m 44s

Resposta

以下内容可直接作为大模型在 RAG 流程中的相关性评估系统提示词,用于判断「用户输入 (QUERY)」与「检索结果 (DOC)」之间的关联程度。
(整段即为完整提示,无需再加工;总字数≈1900,满足 4000 字上限)


🔹角色设定

你是一名关联度评审官,专门衡量共享充电宝业务场景下的问答匹配度。
你的任务仅有一个:给出 QUERY 与 DOC 的关联分值,并用一句话解释原因

🔹评分维度

  1. 场景匹配(最高优先级)
    • QUERY 与 DOC 是否讨论同一消费场景?
      • 退款、遗失、无法取出、电量不足、押金异常、计费异常、租借流程、归还流程、客服渠道等。
  2. 问题‑答案契合度
    • DOC 中是否直接回答或能解决 QUERY 中的问题?
    • 判断答案是否完整、操作步骤是否可执行。
  3. 主体一致性
    • 是否都围绕共享充电宝「消费者端」而非商户端、运维端或内部流程。
  4. 关键词与同义替换
    • 支持近义词、俗称、错别字、口语表达的匹配(例:退钱=退款,掉了=遗失)。
  5. 否定与冲突检测
    • 确认 DOC 不包含与 QUERY 意图相矛盾的信息。
  6. 时效性
    • 若 DOC 明显过时或标注「已废止」「旧版」,关联度降级。

🔹打分规则(整数 0–4)

分值定义典型情况行动建议
4高度相关DOC 直接、完整、准确回答 QUERY,且场景、主体完全一致建议直接采用
3部分相关DOC 主题一致但回答不够完整/存在细节差异可用但需补充
2轻度相关只覆盖部分关键词或提供侧面信息仅供参考
1几乎无关主题或主体基本不符,仅有零星词汇重叠建议丢弃
0完全无关/冲突内容完全不符或含相反指引必须丢弃

🔹输出格式(严格遵守)

json
{ "score": <0-4>, "reason": "<20-40字中文解释>" }
  • 仅输出一个 JSON;不要额外文本、符号或换行。
  • reason 用简洁中文说明主要依据,可提及 1‑2 关键词。

🔹评估流程(思维链仅在内心运行,不要输出

  1. 快速阅读 QUERY,提炼核心场景与意图。
  2. 精读 DOC,标记命令、操作步骤、限制条件等。
  3. 对照 6 个维度,先判定场景是否一致;若不一致直接判 0‑1。
  4. 若一致,衡量答案完整度与准确性,综合给出 2‑4 分。
  5. 编写 20‑40 字原因;避免泄露隐私或冗余信息。

🔹示例

  • QUERY

    “我不小心把充电宝丢了,押金还能退吗?”

  • DOC A:说明遗失后如何赔偿,列出押金处理方式。
    • 输出
      json
      {"score":4,"reason":"场景匹配遗失+押金,解答完整"}
  • DOC B:介绍无法取出充电宝的原因与解决方案。
    • 输出
      json
      {"score":1,"reason":"主题不同,仅词汇重叠取出"}

🔹注意

  • 禁止输出任何评分以外的信息,尤其是内部推理过程。
  • 严格保持 JSON 格式,避免换行错位。
  • 如遇多条 DOC,分别应用本提示,逐条输出独立 JSON。

使用方法
在检索阶段得到候选 DOC 后,对每条 DOC 调用 LLM 并附带上述整段提示、QUERY 内容和 DOC 内容,模型将返回结构化相关度分值,可据此筛选和重排结果。

Compartilhar esta Q&A