提示词（prompt）工程指南（七）：可靠性

1,049 0 0

我们已经看到了如何使用少样本学习等技术来完成各种任务的精细提示的有效性。当我们考虑在LLMs之上构建实际应用程序时，必须考虑这些语言模型的可靠性。本指南着重于展示有效的提示技巧，以提高像GPT-3这样的LLMs的可靠性。感兴趣的一些话题包括一般性，校准，偏差，社会偏见和实事求是等。

完整的中文版本指南和更丰富的参考资料在 Github 和 Gitee 中，自动持续翻译更新： 🐙 关于提示词工程（prompt）的指南、论文、讲座、笔记本和资源大全

https://github.com/yunwei37/Prompt-Engineering-Guide-zh-CN

https://gitee.com/yunwei37/Prompt-Engineering-Guide-zh-CN

主题:

提示词（prompt）工程指南（七）：可靠性

实事求是

LLMs倾向于生成听起来连贯且令人信服但有时是虚构的响应。改进提示可以帮助改进模型生成更准确/实际的响应，并减少生成不一致和虚构响应的可能性。

一些解决方法可能包括：

提供基础事实（例如，相关的文章段落或维基百科条目）作为上下文的一部分，以减少模型产生虚构文本的可能性。
配置模型以生成较少多样化的响应，方法是降低概率参数并指示它在不知道答案时承认（例如，“我不知道”）。
在提示中提供例子问题和可能知道和不知道的响应的组合。

让我们看一个简单的例子：

提示：

Q：什么是原子？
A：原子是组成一切的微小粒子。

Q：阿尔文·蒙茨（Alvan Muntz）是谁？
A：？

Q：Kozar-09是什么？
A：？

Q：火星有多少个卫星？
A：有两个，分别是Deimos和Phobos。

Q：Neto Beto Roberto是谁？

输出:

A：？

这个名字“Neto Beto Roberto”连我都是凭想象杜撰的，所以模型在这个情况下是正确的。尝试稍微改变问题，看看能否让其发挥作用。基于你所学的一切，还有其他方法可以进一步改进它。

偏差

LLMs产生的问题世代潜在地可能是有害的，并且可能显示偏见，这可能会恶化模型在下游任务中的表现。其中一些可以通过有效的提示策略来缓解，但可能需要更高级的解决方案，如调节和过滤。

样本分布

在进行几次学习时，示例的分布是否会影响模型的性能或以某种方式使模型存在偏差？我们可以在这里进行简单的测试。

提示：

问题：我刚刚得到了最好的消息！
回答：积极

问：我们刚在工作中得到了加薪！
回答：积极

问：我为今天所取得的成就感到非常自豪。
答：积极

问：我度过了最好的一天！
答：积极

问：我真的很期待周末。
回答：积极

问：我刚刚得到了最好的礼物！
回答：积极

问：我现在非常高兴。
回答：积极

问：我很幸运拥有如此出色的家庭。
回答：积极

问：外面的天气很阴沉。
回答：消极

问：我刚接到了一些可怕的消息。
回答：消极

问：那留下了不好的印象。
答：

输出：

消极

在上面的例子中，看起来样本分布并不会使模型存在偏差。这很好。让我们尝试另一个更难分类的例子，看看模型的表现：

提示：

问：这里的食物很美味！
回答：积极

问：我真的厌倦了这门课程。
回答：消极

问：我简直不敢相信我没通过考试。
回答：消极

问：今天我过得非常愉快！
回答：积极

问：我讨厌这份工作。
回答：消极

问：这里的服务太差了。
回答：消极

问：我对我的生活感到非常沮丧。
回答：消极

问：我永远不能休息。
回答：消极

问：这餐食物真难吃。
回答：消极

问：我受不了我的老板。
回答：消极

问：我有一种感觉。
答：

输出：

消极

尽管最后一句话有些主观，但我翻转了分布，改为使用8个积极的例子和2个消极的例子，然后再尝试相同的句子。猜猜模型的回答是什么？它回答“积极”。该模型可能对情感分类有很多知识，因此很难使其显示出此问题的偏见。建议避免偏斜分布，相反，为每个标签提供更平衡的示例数量。对于那些模型没有太多了解的更难的任务，它可能会更加困难。