你精心写的Prompt,AI为何“视而不见”?揭秘大模型的“注意力”难题

你精心写的Prompt,AI为何“视而不见”?揭秘大模型的“注意力”难题
你是不是也遇到过这样的情况:花了好长时间,绞尽脑汁写了一大段详细的指令(Prompt),满心期待AI能给你一个惊艳的答案,结果它输出的内容却差强人意,甚至还不如你随手问的一句简单问题来得靠谱?别急着怀疑人生,这不是你的错,很可能是AI的“注意力”出了点小状况! 今天,我们就来聊聊这个让许多AI使用者“抓耳挠腮”的问题,看看为什么精心设计的长Prompt有时会“失灵”,以及我们该如何更好地与这些越来越聪明的AI助手沟通。 一、AI的“注意力”是什么?为什么它会“分心”? 要理解这个问题,我们得先认识一下现代大型语言模型(比如GPT系列)背后的一个关键技术——注意力机制(Attention Mec...

AIGC时代的新职业:在创意与品质之间行走的运营师

AIGC时代的新职业:在创意与品质之间行走的运营师
当Midjourney生成的图像开始出现在商业广告中,当GPT撰写的文案悄悄潜入我们的社交媒体,一个不容忽视的事实已经摆在眼前:AIGC(人工智能生成内容)正在重塑内容生产的全流程。在这场变革中,一种新型职业角色正在浮现——AIGC运营师,他们不直接参与内容的批量生产,而是站在创意起点与品质终点的两端,成为人机协作的关键纽带。 创意的第一公里:从灵感到提示词 传统内容创作中,最珍贵的火花往往来自创作者脑中那个转瞬即逝的念头。而在AIGC时代,这种创意萌芽需要被转化为机器能理解的语言——提示词(prompt)。优秀的AIGC运营师深谙此道,他们不是简单地输入几个关键词,而是构建一套精密的&qu...

DeepSeek-R1横空出世,Prompt真的要被时代抛弃了吗?

DeepSeek-R1横空出世,Prompt真的要被时代抛弃了吗?
DeepSeek-R1横空出世,Prompt真的要被时代抛弃了吗? 最近科技圈被DeepSeek-R1的突破性进展刷屏,许多自媒体开始鼓吹"Prompt工程已死"的论调。这种非黑即白的论断背后,实则暴露了对大模型技术演进规律的误读。当我们深入剖析DeepSeek-R1的技术内核,会发现这恰恰是Prompt工程发展的新里程碑,而非终章。 一、 从思维链到DeepSeek-R1的进化之路 零样本提示的启蒙时代(Zero-Shot Prompting) 早期的GPT-3展示了无需示例直接理解指令的潜力,"请用鲁迅的风格改写这段话"这样朴素的Prompt就能唤...

几行乱码让大模型获得科学思维:超级提示

几行乱码让大模型获得科学思维:超级提示
https://github.com/NeoVertex1/SuperPrompt#superprompt 不过两三天的时间,仅有两个 Markdown 文件的 GitHub 项目为何竟能收获 1.9k star? 仔细一看,其中一个 Markdown 文件是一个流程图,另一个 Readme 文件的主要内容则是一大篇大模型提示词(prompt。而如果你细读这个 prompt,却发现里面仅有寥寥数句人类能懂的话,其余都是一些奇怪的 XML 标签、符号与函数定义。 超级提示 这是一个我决定开源的项目,因为我认为它可能有助于其他人了解人工智能代理。 这个提示花了我几个月的时间,仍然处于永久测试阶段...

表情符号(emoji)来表示 token

表情符号(emoji)来表示 token
为什么AI数不清Strawberry里有几个 r?Karpathy:我用表情包给你解释一下 让模型知道自己擅长什么、不擅长什么是一个很重要的问题。 还记得这些天大模型被揪出来的低级错误吗? 不知道 9.11 和 9.9 哪个大,数不清 Strawberry 单词里面有多少个 r…… 每每被发现一个弱点,大模型都只能接受人们的无情嘲笑。 嘲笑之后,大家也冷静了下来,开始思考:低级错误背后的本质是什么? 大家普遍认为,是 Token 化(Tokenization)的锅。 在国内,Tokenization 经常被翻译成「分词」。这个翻译有一定的误导性,因为 Tokenization 里的 to...

AI-Agent、GPT 和 Action

AI-Agent、GPT 和 Action
全文约6000字,阅读此文大约需要⏰ 30分钟, 但你将有以下收获 : 理清 **AI-Agent、GPT 和 **Action 之间的联系,打下坚实的认知基础; 亲身实践配置不同的 **GPT Actions**,直观感受其独特性; 探索 **Action 的实现机制,为后续提升指明方向。 ** 本文为直播回放的整理,视频版可以在B站搜索 “LongTalk宇龙 ” 找到 提到 Action,就必须先了解一下 Agent。在人工智能领域,Agent 一般被翻译为 “代理”,“智能代理”,“智能体”。在计算机领域的构思里:智能体 Agent 是一种特别的计算机程序,他通过...

什么是GPTs及创建步骤

什么是GPTs及创建步骤
北京时间 11 月 7 日凌晨 02:00,OpenAI 举办了首次 DevDay 开发者日活动。Sam Altman 用了 45 分钟的时间发布了多款新产品: 新的 GPT-4 Turbo 模型,功能更强大、价格更低廉且支持 128K 上下文窗口。 新的 Assistants API,允许开发人员轻松构建具有目标且能够调用模型及工具的 AI 助手应用。 平台提供新的多模态功能,包括视觉、图像创建(DALL-E 3)及文本转语音(TTS)等。 具体可见我们整理的:OpenAI 首届开发者大会11月7日 ,强烈推荐阅读。 其中 GPTs 是非常重要的功能,任何人都无需编码就可以创建 Cha...

【令爷推荐好文】到底什么是AI时代的教育?以及怎么实现AI教育学习赋能

【令爷推荐好文】到底什么是AI时代的教育?以及怎么实现AI教育学习赋能
到底什么是AI时代的教育?以及怎么实现AI教育学习赋能 以下文章来源于艾笑说 ,作者艾笑 teacherAi 一直有人咨询,且也需要作为教练指导AI+教育航海,索性写了一篇,把航海手册的这部分开个源吧 教育困境与 AI 时代的变革 不论是学前启蒙教育、小初高、还是大学,我们现在的教育和学习都存在着一些怪相和困境。且不说关于补课内卷、刷题应试、单一标准、专业和择业等问题。 首先,最为重要的就是孩子们因为教育的压力和旧有模式丧失了对于学习的兴趣,甚而产生了更广泛和严重的心理健康问题。 正如冲上热搜 top1 的新闻「开学一个月后儿童精神科爆满」。2023 年 10 月发布的《2023 年度中国...

吴恩达教授分享:如何用AI构建复杂的工作流程获得良好结果

吴恩达教授分享:如何用AI构建复杂的工作流程获得良好结果
吴恩达教授提出的四步法,用于构建复杂的AI工作流程和获得良好结果: 1. 编写初始Prompt:编写一个快速而简单的提示词,测试其初步效果。 2. 迭代改进Prompt:根据初步输出的不足之处,逐步改进和扩展提示词,使其更详细。 3. 加入示例或微调模型:如果改进后的提示词仍无法满足需求,可以考虑加入少量示例,或对AI模型进行轻微的微调。 4. 任务分解和代理工作流程:如果上述步骤仍不能产生满意的结果,将任务分解为多个子任务,并应用代理工作流程,让多个AI模型协同工作。 这四步法提供了一条清晰的路径,从初始测试到最终通过协同工作完成复杂任务,是开发AI应用和优化业务流程的有效方法。 g...

LLM 提示词大赛冠军 Co-STAR 模型

LLM 提示词大赛冠军 Co-STAR 模型
CO-STAR模型 根据新加坡提示工程大赛的获胜框架CO-STAR,来构建完整和有效的提示词: C - Context (清楚的背景信息) O - Objective (明确的目标设定) S - Style (生成文字的风格) T - Tone (生成文字的语调) A - Audience (目标受众的描述) R - Response (回应的类型,如表格、段落数量等) 具体的构建方法是这样的 首先,我提供了一个我经营的背景。 接着,我设定目标是撰写一个社交媒体(比如小红书风格)帖子以吸引人们购买。 然后,我设定我需要的风格,基本上是模仿小红书文案的方式。 其次,...

大模型解谜LLM Riddles题解

大模型解谜LLM Riddles题解
第一章 [/caption] 比较无脑,提供“不需要多余内容”的instruction就行 [/caption] 随便问,问“巧克力”也行 [/caption] 也简单 [/caption] 随便说一个无法理解的单字。本来以为这个做法是投机取巧的,直到第四章那道唯一做不出来的题 这个试了好几次,需要运气。小伙伴提供了另一种思路: 第二章 顺便说,LLM真是无法控制输出字数,我输入“输出七个字”得到的是。。 这题有点难的,这里可能答案判断的时候没考虑小数点。小伙伴机智地试了8848,总之就是有意义的数字就行 和上一题思路类似,想一些有意义的数 最简单的做法当然是“一一四...

谷歌提出一种称为“Step-Back Prompting”的Prompt技术

谷歌提出一种称为“Step-Back Prompting”的Prompt技术
来源于谷歌Deepmind在10月9日提交的一篇论文。 论文下载地址:https://arxiv.org/pdf/2310.06117.pdf 谷歌提出一种称为“Step-Back Prompting”的Prompt技术,让LLMs自己抽象问题,得到更高纬度概念和原理,再用这些知识推理并解决问题。 他们用PaLM-2L模型做了实验,发现这种Prompt技巧能显著提升密集推理任务(STEM、知识问答、多跳问题)的性能质量表现。 MMLU 物理和化学方面表现提高了7%,TimeQA 提高27%,MuSiQue 提高了7%。 MMLU:大规模多任务语言理解测试数据集 TimeOA:时间敏感问题测试数...

【AI帮你实现PPT自由】百度文心 VS Gamma,一分钟生成可实用的PPT

【AI帮你实现PPT自由】百度文心 VS Gamma,一分钟生成可实用的PPT
前言 用AI创作PPT已经不是个新鲜事了。 早在3、4月份,随着chatgpt的火爆,AI PPT也曾火过一阵子。 AI PPT的原理其实很简单,首先根据大语言模型比如chatgpt,按照用户promot提示词生成PPT大纲,然后结合大纲,结合固定的模板,一页一页在模板中添加内容。 我也试用了几个国内外几个热门的工具,比如国外的Tome、国内的chatppt、博思白板boardmix等。但在内容质量、图片相关性等方面始终差点意思,有些收费还不菲。让我觉得这个领域可能还有待优化。 然而AI工具的升级进化可谓日新月异,几个月过去,当下已经有不少成熟可实际提示生产力的AI PPT工具。 比如国外的...

DALL-E 3 惊艳发布,完全免费!比肩Midjourney的AI绘图工具诞生!

DALL-E 3 惊艳发布,完全免费!比肩Midjourney的AI绘图工具诞生!
使用DALL-E 3需要美国代理, 没有代理的,不用往下看了。 DALL·E 3是一款免费的高质量AI绘图工具,与知名AI绘图工具Midjourney相媲美。DALL·E 3具有先进的文本识别和处理能力,能够准确识别用户的提示内容。通过DALL·E 3,用户可以生成各种风格的图片,包括逼真照片、动画和油画风格等。该工具还具有出色的文本处理能力,能够精确处理英文文本。然而,DALL·E 3目前仅能生成正方形图片,并且缺乏相关参数设置。尽管如此,DALL·E 3仍然给用户带来了惊喜,展示了其在AI绘图领域的潜力。 DALL·E 3是一款免费的高质量AI绘图工具 DALL·E 3具有先进的文本...

提升ChatGPT性能的实用指南:Prompt Engineering的艺术

提升ChatGPT性能的实用指南:Prompt Engineering的艺术
一起探索 Prompt Engineering 的奥秘,并学习如何用它来让 ChatGPT 发挥出最大的潜力。 什么是提示工程? 提示工程是一门新兴学科,就像是为大语言模型(LLM)设计的"语言游戏"。通过这个"游戏",我们可以更有效地引导 LLM 来处理问题。只有熟悉了这个游戏的规则,我们才能更清楚地认识到 LLM 的能力和局限。 这个"游戏"不仅帮助我们理解 LLM,它也是提升 LLM 能力的途径。有效的提示工程可以提高大语言模型处理复杂问题的能力(比如一些数学推理问题),也可以提高大语言模型的扩展性(比如可以结合专业领域的知识...