来源：量子位
GPT-4 官方使用指南炸裂登场啦！
你没听错，这次不需要自己做笔记了，OpenAI 亲自帮你整理了一份。
据说汇聚了大伙儿 6 个月的使用经验，你、我、他的提示诀窍都融汇其中。
(资料图片仅供参考)
虽然总结下来只有六大策略，但该有的细节可绝不含糊。
不仅普通 GPT-4 用户可以在这份秘籍中 get 提示技巧，或许应用开发者也可以找到些许灵感。
网友们纷纷评论，给出了自己的 " 读后感 "：
好有意思啊！总结来说，这些技巧的核心思想主要有两点。一是我们得写得更具体一些，给一些细节的提示。其次，对于那些复杂的任务，我们可以把它们拆分成一些小的提示来完成。
OpenAI 表示，这份攻略目前仅针对 GPT-4。（当然，你也可以在其它 GPT 模型上试试？）赶紧瞧瞧，这份秘籍里究竟都有啥好东西。
策略一：写清楚指令
要知道，模型可不会 " 读心术 "，所以你得把你的要求明明白白地写出来。当模型输出变得太啰嗦时，你可以要求它回答简洁明了。相反地，如果输出太过简单，你可以毫不客气地要求它用专业水平来写。
如果你对 GPT 输出的格式不满意，那就先给它展示你期望的格式，并要求它以同样的方式输出。
总之，尽量别让 GPT 模型自己去猜你的意图，这样你得到的结果就更可能符合你的预期了。
实用技巧：
1、有细节才能得到更相关的答案
为了使输出和输入具有强相关性，一切重要的细节信息，都可以喂给模型。
比如你想让 GPT-4：总结会议记录
就可以尽可能在表述中增加细节：
将会议记录总结成一段文字。然后编写一个 Markdown 列表，列出与会人员及其主要观点。最后，如果与会人员有关于下一步行动的建议，请列出来。
2、要求模型扮演特定角色通过改变系统消息（system message），GPT-4 会更容易扮演特定的角色，比在对话中提出要求的重视程度更高。
如规定它要回复一个文件，这份文件中的每个段落都要有好玩的评论：
3、用分隔符清晰标示输入的不同部分用 """ 三重引号 """、
有些任务按步骤进行效果更佳。因此，最好明确指定一系列步骤，这样模型就能更轻松地遵循这些步骤，并输出理想结果。比如在系统消息中设定按怎样的步骤进行回答。
5、提供示例如果你想让模型输出按照一种不是能够很好描述出来的特定样式，那你就可以提供示例。如提供示例后，只需要告诉它 " 教我耐心 "，它就会按照示例的风格，将其描述得生动形象。
6、指定所需输出长度你还可以要求模型具体生成多少个单词、句子、段落、项目符号等。但是，在要求模型生成特定数量的单词 / 字的时候，它有可能不会那么精准。
策略二：提供参考文本当涉及到深奥的话题、引用和 URL 等内容时，GPT 模型可能会一本正经地胡说八道。为 GPT-4 提供可以参考的文本，能够减少虚构性回答的出现，使回答的内容更加可靠。
实用技巧：
1、让模型参照参考资料进行回答
如果我们能够向模型提供一些和问题有关的可信信息，就可以指示它用提供的信息来组织回答。
2、让模型引用参考资料进行回答如果在上面的对话输入中已经补充了相关信息，那么我们还可以直接要求模型在回答中引用所提供的信息。
这里要注意的是，可以通过编程，对让模型对输出中引用的部分进行验证注释。
策略三：拆分复杂任务相比之下，GPT-4 在应对复杂任务时出错率更高。然而，我们可以采取一种巧妙的策略，将这些复杂任务重新拆解成一系列简单任务的工作流程。
这样一来，前面任务的输出就可以被用于构建后续任务的输入。
就像在软件工程中将一个复杂系统分解为一组模块化组件一样，将任务分解成多个模块，也可以让模型的表现更好。
实用技巧：
1、进行意图分类
对于需要处理不同情况的大量具有独立性的任务，可以先对这些任务进行分类。
然后，根据分类来确定所需的指令。
比如，对于客户服务应用程序，可以进行查询分类（计费、技术支持、账户管理、一般查询等）。
当用户提出：
我需要让我的互联网重新恢复正常。
根据用户查询的分类，可以锁定用户的具体诉求了，就可以向 GPT-4 提供一组更具体的指令，来进行下一步操作。
例如，假设用户需要在 " 故障排除 " 方面寻求帮助。
就可以设定下一步的方案：
要求用户检查路由器的所有电缆是否已连接……
2、对先前对话进行概括或筛选由于 GPT-4 的对话窗口是有限制的，上下文不能太长，不能在一个对话窗口中无限进行下去。
但也不是没有解决办法。
方法之一是对先前的对话进行概括。一旦输入的文本长度达到预定的阈值，就可以触发一个查询，概括对话的一部分，被概括出来的这部分内容可以变成系统消息的一部分。
此外，可以在对话过程中就在后台对前面的对话进行概括。
另一种方法是检索先前的对话，使用基于嵌入的搜索实现高效的知识检索。
3、逐段概括长文档，并递归构建完整概述
还是文本过长的问题。
比如你要让 GPT-4 概括一本书，就可以使用一系列查询来概括这本书的每个部分。
然后将部分概述连接起来进行总结，汇成一个总的答案。
这个过程可以递归进行，直到整本书被概括。
但是有些部分可能要借前面部分的信息才能理解后续部分，这里有一个技巧：
在概括当前内容时，将文本中当前内容之前的内容概述一起总结进来，进行概括。
简单来说，用前面部分的 " 摘要 "+ 当前部分，然后进行概括。
OpenAI 之前还使用基于 GPT-3 训练的模型，对概括书籍的效果进行了研究。
策略四：给 GPT 时间 " 思考 "
如果让你计算 17 乘 28，你可能不会立刻知道答案，但是可以通过一些时间计算出来。同样的道理，当 GPT-4 接收到问题时，它并不会花时间仔细思考，而是试图立刻给出答案，这样就可能导致推理出错。
因此，在让模型给出答案前，可以先要求它进行一系列的推理过程，帮助它通过推理来得出正确的答案。
实用技巧：
1、让模型制定解决方案
你可能有时候会发现，当我们明确指示模型在得出结论之前从基本原理出发进行推理时，我们可以获得更好的结果。
比如说，假设我们希望模型评估学生解答数学问题的方案。
最直接的方法是简单地询问模型学生的解答是否正确。
在上图中，GPT-4 认为学生的方案是正确的。但实际上学生的方案是错误的。
这时候就可以通过提示模型生成自己的解决方案，来让模型成功注意到这一点。
在生成了自己的解决方案，进行一遍推理过后，模型意识到之前学生的解决方案不正确。2、隐藏推理过程
上面讲到了让模型进行推理，给出解决方案。
但在某些应用中，模型得出最终答案的推理过程不适合与用户共享。
比如，在作业辅导中，我们还是希望鼓励学生制定自己的解题方案，然后得出正确答案。但模型对学生解决方案的推理过程可能会向学生揭示答案。
这时候我们就需要模型进行 " 内心独白 " 策略，让模型将输出中要对用户隐藏的部分放入结构化格式中。
然后，在向用户呈现输出之前，对输出进行解析，并且仅使部分输出可见。
就像下面这个示例：
先让模型制定自己的解决方案（因为学生的有可能是错的），然后与学生的解决方案进行对比。
如果学生的答案中哪一步出错了，那就让模型针对这一步给出一点提示，而不是直接给学生完整的正确的解决方案。
如果学生还是错了，那就再进行上一步的提示。
还可以使用 " 查询 " 策略，其中除了最后一步的查询以外，所有查询的输出都对用户隐藏。首先，我们可以要求模型自行解决问题。由于这个初始查询不需要学生的解决方案，因此可以省略掉。这也提供了额外的优势，即模型的解决方案不会受到学生解决方案偏见的影响。
接下来，我们可以让模型使用所有可用信息来评估学生解决方案的正确性。最后，我们可以让模型使用自己的分析来构建导师的角色。你是一名数学导师。如果学生回答有误，请以不透露答案的方式向学生进行提示。如果学生答案无误，只需给他们一个鼓励性的评论。
3、询问模型是否遗漏了内容
假设我们正在让 GPT-4 列出一个与特定问题相关的源文件摘录，在列出每个摘录之后，模型需要确定是继续写入下一个摘录，还是停止。
如果源文件很大，模型往往会过早地停止，未能列出所有相关的摘录。
在这种情况下，通常可以让模型进行后续查询，找到它在之前的处理中遗漏的摘录。
换而言之，模型生成的文本有可能很长，一次性生成不完，那么就可以让它进行查验，把遗漏的内容再补上。
策略五：其它工具加持GPT-4 虽然强大，但并非万能。我们可以借助其他工具来补充 GPT-4 的不足之处。
比如，结合文本检索系统，或者利用代码执行引擎。
在让 GPT-4 回答问题时，如果有一些任务可以由其他工具更可靠、更高效地完成，那么我们可以将这些任务交给它们来完成。这样既能发挥各自的优势，又能让 GPT-4 发挥最佳水平。
实用技巧：
1、使用基于嵌入的搜索实现高效的知识检索
这一技巧在上文中已经有所提及。
若在模型的输入中提供额外的外部信息，有助于模型生成更好的回答。
例如，如果用户询问关于一部特定电影的问题，将关于电影的信息（例如演员、导演等）添加到模型的输入中可能会很有用。
嵌入可用于实现高效的知识检索，可以在模型运行时动态地将相关信息添加到模型的输入中。
文本嵌入是一种可以衡量文本字符串相关性的向量。相似或相关的字符串将比不相关的字符串更紧密地结合在一起。加上快速向量搜索算法的存在，意味着可以使用嵌入来实现高效的知识检索。
特别的是，文本语料库可以分成多个部分，每个部分可以进行嵌入和存储。然后，给定一个查询，可以进行向量搜索以找到与查询最相关的语料库中的嵌入文本部分。
2、使用代码执行进行更准确的计算或调用外部 API
不能仅依靠模型自身进行准确地计算。
如果需要，可以指示模型编写和运行代码，而不是进行自主计算。
可以指示模型将要运行的代码放入指定的格式中。在生成输出后，可以提取和运行代码。生成输出后，可以提取并运行代码。最后，如果需要，代码执行引擎（即 Python 解释器）的输出可以作为下一个输入。
代码执行的另一个很好的应用场景是调用外部 API。如果将 API 的正确使用方式传达给模型，它可以编写使用该 API 的代码。
可以通过向模型演示文档和 / 或代码示例来指导模型如何使用 API。
在这里 OpenAI 提出了特别警告：执行模型生成的代码在本质上来说并不安全，任何试图执行此操作的应用程序中都应采取预防措施。特别是，需要一个沙盒代码执行环境来限制不受信任的代码可能造成的危害。
策略六：系统地测试更改
有时候很难确定一个改变是会让系统变得更好还是更差。通过观察一些例子有可能会看出哪个更好，但是在样本数量较少的情况下，很难区分是真的得到了改进，还是只是随机运气。
也许这个 " 改变 " 能够提升某些输入的效果，但却会降低其它输入的效果。
而评估程序 ( evaluation procedures，or "evals" ) 对于优化系统设计来说非常有用。好的评估有以下几个特点：
1）代表现实世界的用法（或至少是多种用法）
2）包含许多测试用例，可以获得更大的统计功效（参见下表）
3）易于自动化或重复
对输出的评估可以是由计算机进行评估、人工评估，或者两者结合进行。计算机可以使用客观标准自动评估，也可以使用一些主观或模糊的标准，比如说用模型来评估模型。OpenAI 提供了一个开源软件框架—— OpenAI Evals，提供了创建自动评估的工具。
当存在一系列质量同样高的输出时，基于模型的评估就会很有用。
实用技巧：
1、参考黄金标准答案评估模型输出
假设已知问题的正确答案应参考一组特定的已知事实。
然后，我们可以询问模型答案中包含多少必需的事实。
例如，使用下面这个系统消息，
给出必要的既定事实：
尼尔 · 阿姆斯特朗是第一个在月球上行走的人。
尼尔 · 阿姆斯特朗第一次登上月球的日期是 1969 年 7 月 21 日。
如果答案中包含既定给出的事实，模型会回答 " 是 "。反之，模型会回答 " 否 "，最后让模型统计有多少 " 是 " 的答案：
下面是包含两点既定事实的示例输入（既有事件，又有时间）：仅满足一个既定事实的示例输入（没有时间）：而下面这个示例输入，不包含任何一个既定事实：这种基于模型的评估方法有许多可能的变化形式，需要跟踪候选答案与标准答案之间的重叠程度，并追踪候选答案是否与标准答案的有相矛盾的地方。比如下面的这个示例输入，其中包含不合标准的答案，但与专家答案（标准答案）并不矛盾：下面是这个示例输入，其答案与专家答案直接矛盾（认为尼尔 · 阿姆斯特朗是第二个在月球上行走的人）：最后一个是带有正确答案的示例输入，该输入还提供了比必要内容更多的详细信息（时间精确到了 02:56，并指出了这是人类历史上的一项不朽成就）：传送门：https://github.com/openai/evals（OpenAI Evals）
参考链接：
[ 1 ] https://platform.openai.com/docs/guides/gpt-best-pratices
[ 2 ] https://www.reddit.com/r/OpenAI/comments/141yheo/openai_recently_added_a_gpt_best_practices_guide/
标签：
