微软的GPT-4V说明书:166页详细讲解,提示词demo示例

多模态王炸大模型GPT-4V, 166页“说明书” 重磅发布!而且还是微软团队出品。 什么样的论文,能写出166页? 不仅详细测评了GPT-4V在十大任务上的表现,从基础的图像识别、到复杂的逻辑推理都有展示; 还传授了一整套多模态大模型 提示词使用技巧 —— 手把手教你从0到1学会写提示词,回答专业程度一看就懂,属实是把GPT-4V的使用门槛打到不存在了。 值得一提的是,这篇论文的作者也是“全华班”,7名作者全部是华人,领衔的是一位在微软工作了17年的女性首席研究经理。 在166页报告发布前,他们还参与了OpenAI最新DALL·E 3的研究,对这个领域了解颇深。 相比OpenAI的18页G...

OpenAI的AI绘画:DALL·E3+ChatGPT强强联合,画面直接细节爆炸

OpenAI的AI绘画:DALL·E3+ChatGPT强强联合,画面直接细节爆炸
起猛了,OpenAI竟然把AI绘画和ChatGPT合并了! 这不,最新发布的DALL·E3,直接给AIGC带来了两大震撼—— 提示词门槛极大降低 理解语意的细微差异的细节描述,准确到令人发指 没错,新版DALL·E3,不仅省去了提示词工程,还顺带把语言理解能力提升了一个档次! 你只管随意想象。 词,ChatGPT帮你拓展;画,DALL·E3给你精确到细节。 AI就能像拍电影一般,保证从背景到人物,细节一字不差地复刻出来: 满月下的街道,熙熙攘攘的行人正在享受繁华夜生活。 街角摊位上,一位有着火红头发、穿着标志性天鹅绒斗篷的年轻女子,正在和脾气暴躁的老小贩讨价还价。 这个脾气暴躁的小贩身材...

Prompt框架

ICIO框架 Instruction:指令 即你希望 AI 执行的具体任务 Context:背景信息 给AI更多的背景信息引导模型做出更贴合需求的回复 Input Data:输入数据 告知模型需要处理的数据 Output Indicator:输出引导 告知模型我们要输出的类型或风格 CRISPE 框架 Capacity and Role:能力和角色 ChatGPT 应扮演什么角色 Insight:见解 提供你请求的背后见解、背景和上下文 Statement:声明 你要求 ChatGPT 做什么 Personality:个性 你希望 Ch...

深度长文:产品经理视角解析AutoGPT背后的技术原理

深度长文:产品经理视角解析AutoGPT背后的技术原理
本文主要讲的内容: 类AutoGPT应用的背后技术原理。 更抽象一层,其实是解释:LLM(GPT)是怎么实现自己学会使用工具的? 1)LLM怎么将人类需求分解成任务; 2)LLM怎么知道什么任务要使用什么外部工具; 2)LLM怎么学会使用这些外部工具的; ---大约5300字,概览如下: 1、为什么研究这个(LLM是怎么学会使用外部工具的) 2、介绍这个领域几个关键产品产品的原理:LangChain、Toolformer、OpenAi-Plugin、huggingGPT、Babyagi、AutoGPT 3、LLM目前使用外部工具的局限是什么? 4、OpenAi-Plugin的数据飞轮 ---正...

LLMs 中 CoT、ToT 解决复杂逻辑问题

LLMs 中 CoT、ToT 解决复杂逻辑问题
目前大语言模型在日常交流对话中,展现出强大的能力,但是如果遇到一些复杂提问,如解决24点游戏问题等需要具备逻辑思维较为密集的场景,往往LLMs 表现能力不佳,那么今天就介绍一下LLMs 中解决这类思维较为密集问题的技术CoT,ToT 技术。作者翻看全网对ToT 技术的讲解,发现没有一篇将所有涉及到的重点讲清楚,现在我将深入对ToT 思想论文《Tree of Thoughts: Deliberate Problem Solving with Large Language Models》进行深入讲解。希望大家喜欢。 注意:前面文章较多的介绍了模型架构,Transformer, MoE 等技术,这些...

为什么我们坚信Prompt是未来?

为什么我们坚信Prompt是未来?
Prompt 到底是什么? 1. 指令 如果把ChatGPT具象成一个执行力&知识广度拉满的 员工 ,那Prompt则是你给的 指令 ,指令越详细,上下文越丰富,输出定义越明确,得到的结果也就越好。 2. 内容 正因为Prompt和输出结果的 强相关性 ,市场对Prompt的价值非常认可。有投机客会发广告直接卖Prompt的bundle,也有Promptbase这样的marketplace交易Prompts。最受欢迎的模式还是把高质量的prompt套一层UI,封装成SaaS产品 (Jasper, CopyAI)。除了那些有自己的独特数据或大模型的公司,这些公司本质上都是在出租 Prom...

如何使用 Midjourney?

如何使用 Midjourney?
注册​ 首先,你需要注册一个Discord账号,然后加入 Midjourney 的Discord 服务器。或者去 Midjourney 的官网点击右下角的 Join the Beta: 在 Discord 公共服务器里使用​ 注册并进入到 Midjourney 的服务器后,有可能需要完成各种任务(这个取决于 Midjourney 的运营策略,后续可能会变),如果有,则按照引导完成即可。 接着你就能在 Midjourney 的 Discord 的左侧栏,看到 newbies-XXX 的频道,随便点击一个,进入该频道,这个频道就是给免费用户测试使用的: 然后在输入框里输入 / 然后你能看到输入...

什么是LangChain? LangChain有什么用?

什么是LangChain? LangChain有什么用?
从Auto-GPT说起 Auto-GPT可以调用本地电脑工具处理复杂信息; Auto-GPT可以围绕目标查阅资 料、“独立思考”、及时反馈、并 及时调整下一步操作… Auto-GPT的诞生,创造了大家 对“将LLM作为智慧大脑来高效 处理综合复杂任务”的想象; 首次尝试串联大语言模型的思维链,“chains together LLM “thoughts”,逐步 拆解任务并执行,从而使得整个应用程序更加靠近人类意图; 首次将大语言模型接入本地工具,通过工具集的拓展,进一步拓展了大语言模型的能力; 能够通过内置的提示模版修改人类提示语句,从而大幅简化提示难度; 拥有“记忆”,通过模型外的存储策略...

Prompt Engineer 刚入职即失业?

Prompt Engineer 刚入职即失业?
Google DeepMind 刚刚发表了一篇新的论文,介绍了如何使用 LLM 来优化 prompt,优化过的 prompt 在 PaLm 2-L / GPT-3.5 / GPT-4 模型中测试,benchmark 的指标都提升了。 优化的方法: 创建一个 meta prompt(如何创建 meta prompt 可以参考论文) 在每一个优化的步骤生成新的 prompt 评估 & 迭代 当然,并不是所有的 prompt 都可以用这种方法来优化,在某些场景上(例如 high-dimensional and complex problems)这种方法的效果还不是特别好。 从长期上来看,...

从思维链(CoT),到思维树(ToT),再到思维图(GoT):用LLMs解决复杂问题!

从思维链(CoT),到思维树(ToT),再到思维图(GoT):用LLMs解决复杂问题!
从思维链(CoT),到思维树(ToT),再到思维图(GoT):用LLMs解决复杂问题! 首发: **AINLPer 微信公众号( 每日论文干货分享!!** ) 编辑: ShuYini 校稿: ShuYi-ni 时间: 2023-09-04 引言 为了提高大型语言模型(LLM)上下文学习能力,今天给大家分享的这篇文章提出了思维图(GoT),其性能超过了思维链(CoT)、思维树(ToT)等。思维图(GoT)的关键是能够将 LLM 生成的信息建模为任意图,其中信息单位是顶点,边代表顶点之间的依赖关系。这种方法优点能够将任意LLM的思维组合在一起,提炼出整个思维图内容。实验结果显示:相比目前的思维...

prompt方法论

prompt方法论
prompt方法论 零样本提示 如今,经过大量数据训练并调整指令的LLM能够执行零样本任务。我们在前一节中尝试了一些零样本示例。以下是我们使用的一个示例: 提示: 将文本分类为中性、负面或正面。文本:我认为这次假期还可以。情感: 输出: 中性 请注意,在上面的提示中,我们没有向模型提供任何示例——这就是零样本能力的作用。 指令调整已被证明可以改善零样本学习Wei等人(2022)(opens in a new tab)。指令调整本质上是在通过指令描述的数据集上微调模型的概念。此外,RLHF(opens in a new tab)(来自人类反馈的强化学习)已被采用以扩展指令调整,其中模型被调整以更...

小七姐:批量生成美食创意短语

小七姐:批量生成美食创意短语
作者:万能的小七姐(B站同名) 收到一个朋友转过来的prompt需求,这个需求比较小众,但这个prompt的生产过程算是比较经典的少样本提示和思维链提示的用法,在这先对prompt思路做一个分享: 首先来看需求 客户需要生成1000条俏皮灵动,趣味盎然,比喻精妙的和美食有关的短句子,要求文风优美,句子让人充满食欲。 客户使用这些句子的场景比较奇妙,而且不易于解释,所以我们可以换为一个更简单易于理解的场景来让GPT理解。 从思维链(CoT),到思维树(ToT),再到思维图(GoT):用LLMs解决复杂问题![/caption] 第一步:描述清楚这个prompt的需求背景: 对于独居者或者一起...

刘海:美妆海报文案

刘海:美妆海报文案
来源:https://waytoagi.feishu.cn/wiki/Dor2wc2FviY3q3kgSuScJrkhngg 海报文案生成案例(优化前) 来,家人们,直接上例子 ~(我前同事写的Prompt哈哈)~ : 你是一名美妆品牌的文案策划。你需要为新产品宣传海报生成一个吸引人的美妆产品文案。 首先,你要明确这条文案要达到的营销目的: 然后,你要考虑你要面向的目标客户群: 再然后,你要确定产品的卖点和特征: 最后,你要控制这条文案在25-30字之间。 注意:1.请运用简洁流畅的语句; 2.请适当添加生动的修辞手法; 3.让我们一步一步来。 — 产品:彩妆定制服务 目标客户:25-40...

Code Interpreter:数据分析师可以摸鱼啦~~

Code Interpreter:数据分析师可以摸鱼啦~~
上传了一份 excel 表单,还没说话呢,GPT 就自己哼哧哼哧处理起来了。 我用很随意的方式给了它一个任务。惊艳的是:它根据我的指令,自动发现找出视频类型内容的方法,以及用“标题”字段来区分“每个视频”。(以下我绝大多数指令都得很随意,探索一下 GPT 的能力边界。) 它选择柱状堆叠图算恰当吧。第一次画图时出错了。 它自动分析找到原因,添加了一句 fill_value=0,搞定! 我排查错误的速度一定比它慢 用户数量比较多,它自作聪明选择了前五名来画图(代码习惯还挺好的,定义了 max_users_to_display 没有 magic number 到处飞。) 我要求它画所有用户的...