Prompt Engineering中的“生成知识法”是什么?

「生成知识法」(Generated Knowledge Approach)是一种新颖的策略,用以增强大型语言模型(LLM)解答问题的能力。这种方法特别关注在给出最终答案之前,首先生成与问题紧密相关且可能有助于解答的信息。这一过程分为两个核心步骤:知识的生成和知识的整合。

知识生成

在这一阶段,模型被引导生成一系列与提出的问题相关的事实。通过设定少量样本提示(few-shot prompting),LLM 被激励产生多个(记作 M 个)不同的事实集,每一集都旨在提供问题解答的潜在信息基础。

ai_tutorial_prompt_engineering_advanced_Knowledge_generation_1

这个阶段的目标是拓宽模型探索问题的视角,生成多元化的知识点,为解答问题打下坚实的基础。

知识整合

接着,在知识整合阶段,前一步骤生成的事实将被用来构建“知识增强问题”。这意味着,原本的问题会与生成的每一个事实相结合,形成新的、更为丰富的问题提示。

以“大多数袋鼠有肢体”为例,如果知识生成阶段产出了两条相关事实:

  1. “袋鼠是生活在澳大利亚的有袋动物。”
  2. “袋鼠有 5 条肢体。”

这些事实会与原问题相结合,形成增强后的问题提示:

  1. “大多数袋鼠有肢体。袋鼠是生活在澳大利亚的有袋动物。”
  2. “大多数袋鼠有肢体。袋鼠有 5 条肢体。”

通过这种方式,每一个增强后的问题都会被用来独立地提示LLM,以产生一个答案提案,最终通过比较这些提案的概率,选择最有可能的答案。

结论

通过实践证明,「生成知识法」在提升对常识性问题数据集的回答准确性方面显示出显著效果。

阅读全文
AI工具教程
免费领取AI学习资料 进AI副业交流群
礼物
AI工具教程
免费领取AI学习资料 进AI副业交流群