Prompt Engineering教程
Prompt Engineering中的“生成知识法”是什么?
「生成知识法」(Generated Knowledge Approach)是一种新颖的策略,用以增强大型语言模型(LLM)解答问题的能力。这种方法特别关注在给出最终答案之前,首先生成与问题紧密相关且可能有助于解答的信息。这一过程分为两个核心步骤:知识的生成和知识的整合。
知识生成
在这一阶段,模型被引导生成一系列与提出的问题相关的事实。通过设定少量样本提示(few-shot prompting),LLM 被激励产生多个(记作 M 个)不同的事实集,每一集都旨在提供问题解答的潜在信息基础。
这个阶段的目标是拓宽模型探索问题的视角,生成多元化的知识点,为解答问题打下坚实的基础。
知识整合
接着,在知识整合阶段,前一步骤生成的事实将被用来构建“知识增强问题”。这意味着,原本的问题会与生成的每一个事实相结合,形成新的、更为丰富的问题提示。
以“大多数袋鼠有
- “袋鼠是生活在澳大利亚的有袋动物。”
- “袋鼠有 5 条肢体。”
这些事实会与原问题相结合,形成增强后的问题提示:
- “大多数袋鼠有
肢体。袋鼠是生活在澳大利亚的有袋动物。” - “大多数袋鼠有
肢体。袋鼠有 5 条肢体。”
通过这种方式,每一个增强后的问题都会被用来独立地提示LLM,以产生一个答案提案,最终通过比较这些提案的概率,选择最有可能的答案。
结论
通过实践证明,「生成知识法」在提升对常识性问题数据集的回答准确性方面显示出显著效果。
阅读全文
×
初次访问:反爬虫,人机识别