LLMs 中 CoT、ToT 解决复杂逻辑问题

目前大语言模型在日常交流对话中,展现出强大的能力,但是如果遇到一些复杂提问,如解决24点游戏问题等需要具备逻辑思维较为密集的场景,往往LLMs 表现能力不佳,那么今天就介绍一下LLMs 中解决这类思维较为密集问题的技术CoT,ToT 技术。作者翻看全网对ToT 技术的讲解,发现没有一篇将所有涉及到的重点讲清楚,现在我将深入对ToT 思想论文《Tree of Thoughts: Deliberate Problem Solving with Large Language Models》进行深入讲解。希望大家喜欢。 注意:前面文章较多的介绍了模型架构,Transformer, MoE 等技术,这些...

为什么我们坚信Prompt是未来?

Prompt 到底是什么? 1. 指令 如果把ChatGPT具象成一个执行力&知识广度拉满的 员工 ,那Prompt则是你给的 指令 ,指令越详细,上下文越丰富,输出定义越明确,得到的结果也就越好。 2. 内容 正因为Prompt和输出结果的 强相关性 ,市场对Prompt的价值非常认可。有投机客会发广告直接卖Prompt的bundle,也有Promptbase这样的marketplace交易Prompts。最受欢迎的模式还是把高质量的prompt套一层UI,封装成SaaS产品 (Jasper, CopyAI)。除了那些有自己的独特数据或大模型的公司,这些公司本质上都是在出租 Prom...

智能体=LLM(大语言模型)+记忆+规划技巧+工具使用

来源:深度强化学习实验室 Lii’Log的博客https://lilianweng.github.io/posts/2023-06-23-agent/ 本文 约7500字 ,建议阅读15分钟 LLM的潜力不仅仅限于生成写得好的副本、故事、论文和程序;它可以被视为一个强大的通用问题解决器。 [ 前言 ]以LLM(大语言模型)作为核心控制器构建智能体是一个很酷的概念。AutoGPT、GPT-Engineer和BabyAGI等几个概念验证演示都是鼓舞人心的示例。LLM的潜力不仅仅限于生成写得好的副本、故事、论文和程序;它可以被视为一个强大的通用问题解决器。 智能体系统概述 在 LLM 支持的...

如何使用 Midjourney?

注册​ 首先,你需要注册一个Discord账号,然后加入 Midjourney 的Discord 服务器。或者去 Midjourney 的官网点击右下角的 Join the Beta: 在 Discord 公共服务器里使用​ 注册并进入到 Midjourney 的服务器后,有可能需要完成各种任务(这个取决于 Midjourney 的运营策略,后续可能会变),如果有,则按照引导完成即可。 接着你就能在 Midjourney 的 Discord 的左侧栏,看到 newbies-XXX 的频道,随便点击一个,进入该频道,这个频道就是给免费用户测试使用的: 然后在输入框里输入 / 然后你能看到输入...

Trickle :将截图转化为视觉备忘录

**Trickle :一个由 GPT 4 驱动的截图管理工具,它可以将你的截图转化为视觉备忘录。它不仅可以识别你截图里面的内容,还能帮你提取然后整理,同时你还可以根据提取的内容和GPT直接进行问答。 最重要的是它支持各种截图、图片类型的识别,图表、财报、网页UX原型、邮件截图等。 收费一个月8美金,一年98美金,感觉有点略贵,但是考虑到还能使用GPT的功能,感觉应该是还行。 目前第一个月1美金优惠中,付费的所以我就没测试了。你们自己看看宣传视频和介绍吧:**https://trickle.so 主要功能如下: 截图整理:发送你的截图到 Trickle,整理你的相册,并在多个设备上轻松访问。 智...

什么是LangChain? LangChain有什么用?

从Auto-GPT说起 Auto-GPT可以调用本地电脑工具处理复杂信息; Auto-GPT可以围绕目标查阅资 料、“独立思考”、及时反馈、并 及时调整下一步操作… Auto-GPT的诞生,创造了大家 对“将LLM作为智慧大脑来高效 处理综合复杂任务”的想象; 首次尝试串联大语言模型的思维链,“chains together LLM “thoughts”,逐步 拆解任务并执行,从而使得整个应用程序更加靠近人类意图; 首次将大语言模型接入本地工具,通过工具集的拓展,进一步拓展了大语言模型的能力; 能够通过内置的提示模版修改人类提示语句,从而大幅简化提示难度; 拥有“记忆”,通过模型外的存储策略...

Prompt Engineer 刚入职即失业?

Google DeepMind 刚刚发表了一篇新的论文,介绍了如何使用 LLM 来优化 prompt,优化过的 prompt 在 PaLm 2-L / GPT-3.5 / GPT-4 模型中测试,benchmark 的指标都提升了。 优化的方法: 创建一个 meta prompt(如何创建 meta prompt 可以参考论文) 在每一个优化的步骤生成新的 prompt 评估 & 迭代 当然,并不是所有的 prompt 都可以用这种方法来优化,在某些场景上(例如 high-dimensional and complex problems)这种方法的效果还不是特别好。 从长期上来看,...

CoT实践案例解析

CoT案例 ChatGPT 回答的 有时候逻辑性不好 。 正确答案是:7个偶数,3个奇数。ChatGPT甚至连数字都抄错了 然而,我们人类很多时候也是这样,当我们依赖于直觉判断,或是思维跳得太快,没有按部就班一步一步推理时,就很容易犯错,得出错误的答案。不过,当我们遇到一些问题时(如257*37=?),我们懂得不要着急给出答案(就算想也做不到啊),而是会在脑海里先计算推理一番,用「工作记忆」记住计算过程中的临时结果,对于更难的问题,我们会先做一下草稿或利用工具,由此来得到正确的答案。 注:人脑的「工作记忆」是一种记忆容量有限的认知系统,被用以暂时保存信息。工作记忆对于推理以及指导决策和行为有...

从思维链(CoT),到思维树(ToT),再到思维图(GoT):用LLMs解决复杂问题!

从思维链(CoT),到思维树(ToT),再到思维图(GoT):用LLMs解决复杂问题! 首发: **AINLPer 微信公众号( 每日论文干货分享!!** ) 编辑: ShuYini 校稿: ShuYi-ni 时间: 2023-09-04 引言 为了提高大型语言模型(LLM)上下文学习能力,今天给大家分享的这篇文章提出了思维图(GoT),其性能超过了思维链(CoT)、思维树(ToT)等。思维图(GoT)的关键是能够将 LLM 生成的信息建模为任意图,其中信息单位是顶点,边代表顶点之间的依赖关系。这种方法优点能够将任意LLM的思维组合在一起,提炼出整个思维图内容。实验结果显示:相比目前的思维...

chatgpt的涌现

来源: 木遥 [木遥 ]() 2023-02-24 展开讲讲一些关于大语言模型的理解的问题在哪里。 这些评论通常归结为这句话:大语言模型「只不过是把语料中的统计相关性复现出来而已。」但这句话是错的,其错误程度就像是在 AlphaGo 出现的时候说「AlphaGo 只不过是在背诵它见过的棋谱而已」一样。 很多人对大语言模型(或者更一般地说,大神经网络)的理解还停留在两三年前。而过去两年里重要的两个研究方向(并不只有这两个,但它们对下面要说的事最关键)显示出它终于开始初步跳出贝叶斯的陷阱,展现出了一点通用智能的模样。这两者一是思维链条(chain of thought, CoT),二是自发性地结构...

prompt方法论

prompt方法论 零样本提示 如今,经过大量数据训练并调整指令的LLM能够执行零样本任务。我们在前一节中尝试了一些零样本示例。以下是我们使用的一个示例: 提示: 将文本分类为中性、负面或正面。文本:我认为这次假期还可以。情感: 输出: 中性 请注意,在上面的提示中,我们没有向模型提供任何示例——这就是零样本能力的作用。 指令调整已被证明可以改善零样本学习Wei等人(2022)(opens in a new tab)。指令调整本质上是在通过指令描述的数据集上微调模型的概念。此外,RLHF(opens in a new tab)(来自人类反馈的强化学习)已被采用以扩展指令调整,其中模型被调整以更...

小七姐:批量生成美食创意短语

作者:万能的小七姐(B站同名) 收到一个朋友转过来的prompt需求,这个需求比较小众,但这个prompt的生产过程算是比较经典的少样本提示和思维链提示的用法,在这先对prompt思路做一个分享: 首先来看需求 客户需要生成1000条俏皮灵动,趣味盎然,比喻精妙的和美食有关的短句子,要求文风优美,句子让人充满食欲。 客户使用这些句子的场景比较奇妙,而且不易于解释,所以我们可以换为一个更简单易于理解的场景来让GPT理解。 从思维链(CoT),到思维树(ToT),再到思维图(GoT):用LLMs解决复杂问题![/caption] 第一步:描述清楚这个prompt的需求背景: 对于独居者或者一起...

刘海:美妆海报文案

来源:https://waytoagi.feishu.cn/wiki/Dor2wc2FviY3q3kgSuScJrkhngg 海报文案生成案例(优化前) 来,家人们,直接上例子 ~(我前同事写的Prompt哈哈)~ : 你是一名美妆品牌的文案策划。你需要为新产品宣传海报生成一个吸引人的美妆产品文案。 首先,你要明确这条文案要达到的营销目的: 然后,你要考虑你要面向的目标客户群: 再然后,你要确定产品的卖点和特征: 最后,你要控制这条文案在25-30字之间。 注意:1.请运用简洁流畅的语句; 2.请适当添加生动的修辞手法; 3.让我们一步一步来。 — 产品:彩妆定制服务 目标客户:25-40...

chatgpt的创意风暴

来源: ElfeXu [南瓜博士 ]() 2023-05-10 发表于美国 看到有人说人的创意比 AI 强~~一百个不同意。想起可以把这篇文章发出来。 创意是什么?是在你思考的范畴之外,远远的地方,找到一个点,然后想方设法让这个点和你思考范畴之内的事物产生关联,创意就出来了。找一个远远的点再创造联系的事情,AI 可比人强太多了,它直接大模型上要多远能找多远,还总能链回来。 AI 比人差的,大概是对找到的创意到底靠谱不靠谱有没有价值的判断。 以下是三个月前写的正文。大家可以感受一下 GPT 找的点有多远 ========= 女儿小时候我常和她玩各种随机词汇游戏,例如随机想三个词语编进故事里。这...