prompt是释放GPT的全部潜力的关键操作,使工程师们有能力对人工智能生成的内容进行微调,以满足业务需求,在接下来的内容,是我最近一年多调优Chatgpt、及GPT4的实战经验,供大家参考。
解读GPT模型
GPT-101:揭开语言模型的神秘面纱
由OpenAI开发的生成预训练转换器(Generative Pre-trained Transformer,GPT)模型,如GPT-3和GPT-4,是专为理解和生成类似人类文本的人工智能系统。它们是在大规模数据集(包括网页、书籍和文章,总共3000亿个单词)上训练的,可以预测和完成文本,因此是自然语言处理任务的强大工具。
GPT-3 和 GPT-4:深入细节
GPT-3是GPT-4的前身,在2020年以其惊人的1750亿个参数(也称为“神经权重”)的能力引起了轰动。GPT-4是GPT家族中的最新版本,展示了更先进的语言、推理和生成技能。
虽然GPT-4中确切的参数数量并没有公开披露,但保守估计GPT4它比GPT-3多约20%的参数。这种令人震惊的结果并没有达到在一月份预测的100万亿个参数,但是GPT-4仍然提供了更为先进的成果,比如多模态能力,使模型可以处理和生成不仅仅是文本,还包括图像和其他类型的数据。
这两个模型已经彻底改变了行业并孵化了无数的应用,使 AI 生成的内容比以往任何时候都更易于访问和定制。通过Chat GPT-4的接入,无论是专业人士、学生还是爱好者,都可以利用其尖端的语言处理能力的巨大潜力来生成引人入胜的内容,自动化客户支持,并创造独特的定制体验。从定制的营销活动到实现个性化学习,人工智能正在彻底改变我们与技术(和彼此)互动的方式。。
这种强大的力量虽然现在已经对我们大家开放了,但有效地使用它需要掌握一些技巧和精确度。把提示工程比作工具,如果能像一个真正的AI专家一样掌握GPT-4,那么我们可以创造出无限可能的人工智能生成效果。
成为一个提示工程专家
打造提示的三位一体
掌握提示工程的诀窍在于三个基本要素:上下文、特定性和措辞。通过提供正确的上下文,精确地提出请求并巧妙地表达提示,您可以引导人工智能生成所需的输出,同时避免冗长、离题和某些短语的重复。
如果可以的话,在对话的早期加入例子和原型,让你的指示清晰明确,详细说明,以便让GPT模型更好地理解你的预期。在某些情况下,需要使用明确的限制,比如指定答案的格式,以确保AI生成的内容符合你的预期。虽然设定一些边界是必要的,但不要对输出施加过多限制,因为这可能会阻碍模型的创造力,导致输出结果不那么吸引人。
最重要的是,在制作提示时尽可能使用自然语言,因为这有助于模型更好地理解任务,并生成更有效的输出。
有时你可能想用[]或省略号等标点符号来表示输入,但只有在写邮件给同事时为了提高清晰度时才这样做。
除了给您更大的自主权之外,提示语的语调和风格还会产生重大影响。不管是有意还是无语的,提示语的“人性化”在人工智能的输出中得到了反映。通过制作听起来更加对话和自然的提示语,可以让人工智能生成更有吸引力,更易于相关和更真实的响应。
精确调校:提示的技巧
为了精调提示,需要尝试不同的措辞和方法。要求AI逐步思考,或者提供您想要的确切示例(种子),这些都可以带来更好的结果。
请养成一边进行输出纠错的习惯,因为人工智能倾向于优先考虑模式,并参考对话中早期起作用的内容。为了增加始终高质量内容的可能性,如果AI在您的下一条指令之前或其中部分生成了理想的输出,再使用给予积极的强化(例如:“那是很好的输出。现在请……”)。
不断测试您的提示,并根据需要进行不断完善!
编辑prompt;不要只会点击再生成
你可能会问:“但是我该怎么微调我的prompt呢?是一直尝试并和Chat GPT争论吗?” 不是的!那只会让你走入死胡同。并不是所有人都注意到,但在聊天窗口中,所有之前的提示右侧都有一个小“编辑”图标。通过进入这里并根据已经成功的和不成功的内容进行调整,你可以使聊天主题朝着一个全新的方向发展。你甚至可以返回之前与Chat GPT的聊天,继续提供新的输入。但要注意,以前对你不同版本的话的回应会“消失”。
但是,你可以通过点击你的头像旁边的“版本”按钮,并在对话中轮流查看你的提示的不同版本,以再次访问任何替换的输出。所有先前的回复都嵌套在这里!
种子词和叠加技术:一个强大的组合
种子词:针对 GPT 响应植入的关键术语
种子词是你在输入对话时有意思地使用的一些关键词或短语,类似于SEO中的关键词。通过巧妙地使用种子词,你可以引导AI生成与你期望的主题更加贴切的内容。比如,如果你想要关注提高工作效率,你可以使用种子词,如“更好的习惯,提高生产力,小改变,达成目标和时间”。在你的提示中,插入“include [Seed Words]”,然后在最后添加“Seed Words =”,后面跟上你选择的关键词。
专业提示:将SEO关键字研究作为种子词
为了创建有针对性且符合SEO标准的内容,文案撰写人可以将SEO关键字研究作为他们提示中的种子词。如果你正在寻找一个强大的SEO工具来帮助进行关键字研究,可以考虑SurferSEO,以提升你的SEO能力,并创建排名靠前的内容。只需将Surfer推荐的关键字插入到ChatGPT中的“Seed Words=”中即可。
不确定如何找到种子词?没问题!您可以粘贴任何您想写的主题的现有文本,并要求GPT提取关键术语。这是一个快速处理新闻文章的好方法。或者,只需要求GPT提供种子词!
叠加prompt:聚焦结果
当一个提示不能充分表达您的需求或者您想要从人工智能获得更详细的回复时,叠加prompt可以帮助解决这些问题。通过设计和组合叠加提示,您可以控制对话流程,并增加人工智能生成内容的相关性。
叠加涉及将您的提示需求分解为一系列连续的任务。例如,与其问**“重写这篇关于如何解决预算危机的报纸文章”**,聪明的提示者可能会叠加:
“叠加(Stacking)”是将您的提示需求分解成一系列连续任务的过程。例如,聪明的prompt可能会叠加
问:
“从这篇文章中提取关键概念”
然后跟进:
“让我们从多个角度考虑一下这个问题”
或者:
“这些说法的反面论点是什么?”
他们可以添加:
“给我一些类比,帮助年级为X的读者理解”
最后:
“将以上所有输出融合在一起,以展示观点的两面,包括类比,并形成一个连贯的文章。”
当一个prompt的结果被用作下一个输入时,这就是提示链。这样就创建了一系列相互关联的文本输出。GPT-4可以回顾大约25,000个单词(相比之下,GPT-3只有2048个令牌的内存/1500个单词),因此您可以创建广泛的提示链。
所有prompt链都是堆栈,但并非所有堆栈都是链式的。这就是逻辑学中的三段论。
*参数:*GPT的神秘调整之道
API 访问允许您修改temperature、max tokens和Top-p等_参数,让您更好地控制 AI 的输出。大多数人还没有抢先体验权,可以购买plus开通。以下是关于如何优化参数以获得优秀结果的一些先睹为快:
API访问使您能够修改参数,例如temperature、max tokens和Top-p,从而更大程度地控制AI的输出。大多数人还没有早期访问权限,但现在可以申请。以下是一些优化参数以获得卓越结果的窥探:
Max Tokens:精简是智慧的灵魂
Max tokens是生成内容的长度限制参数。通过设置适当的边界,可以确保产生简洁而相关的输出,避免AI离题或生成冗长的响应。
Max tokens参数对于使用token非常有用,特别是如果GPT 4采用按需付费模式。请记住,设置max tokens参数太低可能会导致响应被截断,让用户感到困惑。因此,在限制响应长度和确保输出完整性之间需要取得平衡。
如果您还没有API访问权限,您可以在模拟Max Tokens,只需请求“简洁”或“简短”的回应,甚至可以提示“使用x个标记进行回应”。许多这些参数设置已经可以通过自然提示来访问
N-Parameter:成倍输出
与Max tokens改变AI响应的长度不同,N-Parameter将提供多个生成版本。这比当前要求“给我5个选择”的方式更有效,它将更具程序性,允许批量输出。注意:我还没有通过提示在API外强制执行此操作。如果您能够实现,请让我知道!
Logit bias:操纵ChatGPT
Logit bias允许你为某些词附加一个概率,确保它们出现或不出现。这实际上是播种的技术版本。它可用于合并 SEO 关键字、遵循风格指南或避免禁忌词。它还将继续使内容回到主题。
Presence & frequency penalties:重复监控
如果你曾经抱怨过人工智能的内容太过重复,或者只是简单地把你的话重复回来,那么 Frequency penalty 和 Presence penalty 参数就是为你准备的。前者会根据已经在输出中出现的标记来惩罚重复标记,而后者更为有趣:它确保了提示中出现的单词不会出现在输出中。
Presence penalty 对于确保 GPT 不会简单地重复输入非常有用。当你希望人工智能用全新的词语来重新编写你提供的内容时(这是一个常见的要求),这非常方便。它还使得内容更有可能分支到新的主题上。这使得 Presence penalties 在使用人工智能写学术论文时有助于避免抄袭,非常有帮助。
接受重复:当你需要时
当然,有些情况下您可能_需要_重复。例如,技术写作通常需要重复的措辞,而广告帖子通常会重复相同的产品描述、品牌名称或 CTA。
此外,您可能希望输出与您的输入(包括引号)紧密相关,_或者_通过不注入新主题来保持目标,_或者_使用有限的词汇(例如,如果您正在编写故事或课程计划)。
对于这些应用程序,您可以改为指定负Penalty。新的标记受到Penalty,这确保了语言接近输入。
感觉hot、hot、hot:GPT 中的Temperature控制
Temperature控制 AI 生成内容的随机性。较低的值会产生更可预测的结果。它告诉AI留在它的舒适区,并选择它更有信心预测为“最有可能的下一个词”的标记。较高的值会增加随机性。它告诉 AI 考虑可能性较小的标记。试验Temperature以取得适当的平衡。
在Top-P采样中保持平衡
Top-p 采样是另一种为文本生成添加随机元素的方法。通过调整_Top-p_值,您可以控制多样性和连贯性之间的权衡,从而产生更具创意和吸引力的内容。它与温度有点不同,因为它定义了 AI 可以从中选择的令牌池。大小根据最小(顶部)令牌集的累积概率动态扩展或收缩。
The Probability Tango: 概率分布和采样方法需要协调配合
虽然Temperature会根据下一个单词的可预测性或不可预测性来调整 AI 在考虑下一个单词时的稳定或不稳定程度,但_Top-p__会对加起来_概率 最小的单词选择进行抽样,并从该组中进行选择。在该集合中,每个词现在都有相同的概率出现在下一个词中。
Temperature在确定性和随机性之间变化。但_Top-p_ 更具动态性,因为考虑的标记数量会根据特定上下文而变化。调整这些参数可以帮助您微调 GPT 4 的输出以达到所需的创造力和多样性水平,但不建议您同时使用两者,同时启用有可能会造成冲突。
Temperature与 Top-p:个人对perplexity和burstiness的看法
根据我的轶事经验,Temperature和_Top-p_在某种程度上对应于“perplexity”和“burstiness”。perplexity指的是下一个词的可预测性,而burstiness是单词序列的节奏)。我强调这是我个人的观察;我没有数据。
但我觉得更高的Temperature会导致更独特(即perplexity)的单词选择,而更高的_Top-p_会影响burstiness,因为当下一个单词不太可预测时,它会将可能的下一个单词的样本扩展到更广泛的范围(并且这,在转,更多地改变单词序列)。