从偶然的发现到必然的革命:语义计算如何催生AIGC

从偶然的发现到必然的革命:语义计算如何催生AIGC
引言:一次意外的发现,一个时代的开启 2013年,人工智能(AI)的历史被一个看似简单的向量等式悄然改写。托马斯·米科洛夫(Tomáš Mikolov)及其在谷歌的团队在研发Word2Vec模型时,无意中发现了一个令人震惊的现象——词语的意义竟然可以通过数学运算来精确捕捉 ^1^。这个后来家喻户晓的例子便是: vector(′King′)−vector(′Man′)+vector(′Woman′)≈vector(′Queen′)这个发现是“石破天惊”的 ^3^。它之所以震撼,并非因为其背后的算法有多么高深,而是因为这种捕捉复杂语义类比的能力,是模型在完成一个简单预测任务时 涌现出的、出乎意料的...

国王 – 男人 + 女人 = 女王:一场美丽的意外如何让AI读懂世界

国王 – 男人 + 女人 = 女王:一场美丽的意外如何让AI读懂世界
我们每天都在与人工智能对话,无论是使用搜索引擎、翻译软件,还是与智能助手聊天。这些AI似乎能“理解”我们的话语,但这背后并非真正的意识,而是一场精妙的数学与语言学的共舞。其核心魔法,便是将冰冷的文字转化为可以计算的“向量”(Vector)。 更令人惊奇的是,这些向量不仅代表了词语,还能进行运算,揭示出语义的深层关系,就像那个著名的公式:国王 - 男性 + 女性 ≈ 女王。 这一切是如何发生,又是如何被发现的?它是一场命中注定的技术革命,还是一连串美丽的意外?让我们一起回顾这段引人入sheng的探索之旅。 第一幕:语言学的奠基石——“观其友,知其人” 在计算机诞生之前,语言学家们早已播下了思想的...

AI大神最新解读:欢迎来到“软件3.0”时代,人人都是程序员

AI大神最新解读:欢迎来到“软件3.0”时代,人人都是程序员
最近,特斯拉前 AI 总监、OpenAI 的创始成员之一,AI 领域的传奇人物安德烈·卡帕西(Andrej Karpathy)发表了一篇关于 GPT 现状的深度长文,引起了广泛关注。 你可能每天都在用类似 ChatGPT 的工具,时而惊叹于它的博学和创意,时而又对它的胡说八道感到无奈。那么,这项技术到底发展到哪一步了?它的瓶颈在哪?它对我们意味着什么? 别担心,这篇文章就用最通俗易懂的方式,为你解读卡帕西的核心观点,让你彻底看懂我们正迎来一个怎样的时代。 核心观点一:GPT 不是一个“应用”,而是一个全新的“操作系统” 想象一下你的电脑或手机。Windows、macOS、iOS、安卓……它们是...

吴恩达提出「懒人提示词」:结构化 Prompt 不香了,Prompt 工程师要凉?

吴恩达提出「懒人提示词」:结构化 Prompt 不香了,Prompt 工程师要凉?
AI 领域的权威人物,被誉为“AI 教父”的吴恩达(Andrew Ng)最近分享了一个引人深思的观点,可能会改变我们与大语言模型(LLM)互动的方式。他认为,过度追求复杂的结构化 Prompt 可能并非总是最佳选择,一种更灵活、迭代的方法——他称之为「Lazy Prompting」(懒人提示词)——在许多场景下反而更高效。 但在深入探讨这个概念之前,我们必须先理解吴恩达强调的一个核心前提。 「懒人提示词」:首先,它是一种进阶玩法 吴恩达明确指出,「Lazy Prompting」并非简单的“偷懒”,而是一种需要使用者具备相当判断力的进阶技巧。 核心要点: 你需要清楚地知道什么时候可以“懒”(即...

AIGC的进化:从”能做”到”如何做得更好”的预期转变

AIGC的进化:从”能做”到”如何做得更好”的预期转变
从惊喜到期待:AIGC的发展阶段变迁 记得去年第一次用MidJourney生成图片时,那种"这居然是由AI生成的!"的惊叹感至今难忘。短短一年间,AIGC(人工智能生成内容)已经从令人惊喜的新奇事物,变成了我们日常工作生活中不可或缺的工具。这种转变不仅仅是技术上的进步,更是用户预期和心理定位的根本性变化。 最初阶段,AIGC给我们带来的是"居然可以做到"的震撼——无论是生成一张像样的图片、写一篇通顺的文章,还是创作一段旋律,都足以让我们惊叹于技术的魔力。而现在,我们已悄然进入"什么时候才能实现这个功能"和"怎么才能让它做得更...

机器学习之类别特征处理

机器学习之类别特征处理
来源: https://www.biaodianfu.com 类别型特征(categorical feature)主要是指职业,血型等在有限类别内取值的特征。它的原始输入通常是字符串形式,大多数算法模型不接受数值型特征的输入,针对数值型的类别特征会被当成数值型特征,从而造成训练的模型产生错误。 Label encoding Label Encoding是使用字典的方式,将每个类别标签与不断增加的整数相关联,即生成一个名为class_的实例数组的索引。 Scikit-learn中的LabelEncoder是用来对分类型特征值进行编码,即对不连续的数值或文本进行编码。其中包含以下常用方法: ...

机器学习入门

机器学习入门
拥抱人工智能,从机器学习开始 背景: 自“阿尔法狗”(AlphaGo)完胜人类围棋顶尖高手后,有关人工智能(AI)的讨论就从未停歇。工业4.0方兴未艾,人工智能引领的工业5.0时代却已悄然苏醒。 人工智能的火爆离不开互联网、云计算、大数据、芯片和软件等技术的发展,而深度学习的进步却是当今人工智能大爆炸的核心驱动。 作为一个跨学科产物,人工智能的内容浩如烟海,各种复杂的模型和算法更让人望而生畏。那么作为一个普通程序员,在已有语言技能的前提下,该如何拥抱变化,向人工智能靠拢?如何在自己的工作中应用人工智能?学习人工智能应该从哪里开始? 人工智能并非遥不可及,人人都可以做人工智能! 人工智能是让机器...

Python数据分析7步(Iris数据集)

Python数据分析7步(Iris数据集)
数据:iris.csv Python数据分析7步 graph LR A[1导入库] --> B[2导入数据] B --> C[3数据探索与处理] C --> D[4数据可视化] D --> E[5特征工程] E --> F[6模型训练与评估] F --> G[7预测新数据] 1 导入库 import pandas as pd # 数据处理和分析库 import numpy # 科学计算库 import matplotlib.pyplot as plt # 绘图库 import seabor...

垂直领域的开源模型、数据集及评测基准。

垂直领域的开源模型、数据集及评测基准。
Awesome Domain LLM https://github.com/luban-agi/Awesome-Domain-LLM 自以ChatGPT为代表的大语言模型出现以后,掀起了新一轮研究和应用浪潮,出现了许多包括LLaMA、ChatGLM、Baichuan、Qwen等在内的通用模型。 随后,来自不同领域的从业人员在通用模型的基础上通过持续预训练/指令微调将其应用于垂直领域。 本项目旨在收集和梳理垂直领域的 开源模型 、数据集及 评测基准 。 欢迎大家贡献本项目未收录的开源模型、数据集、评测基准等内容,一起推动大模型赋能各行各业! [2023/11/26] 增强网络安全大模型S...

《动手学大模型》系列编程实践教程

《动手学大模型》系列编程实践教程
About 《动手学大模型Dive into LLMs》系列编程实践教程 sjtullm.gitbook.io/dive-into-llms 项目动机 《动手学大模型》系列编程实践教程,由上海交通大学2024年春季《人工智能安全技术》课程(NIS3353)讲义拓展而来(教师:张倬胜),旨在提供大模型相关的入门编程参考。通过简单实践,帮助同学快速入门大模型,更好地开展课程设计或学术研究。 教程目录 教程内容 简介 地址 微调与部署 预训练模型微调与部署指南:想提升预训练模型在指定任务上的性能?让我们选择合适的预训练模型,在特定任务上进行微调,并将微调后的模型部署成方便使用的De...

【案例】我是如何用Coze搭建乔尔事务所Bot的

【案例】我是如何用Coze搭建乔尔事务所Bot的
我是如何用Coze搭建乔尔事务所Bot的 [乔尔事务所]() Albert是乔尔事务所的第一个bot,这篇文章梳理了搭建bot的思路,内容大多来自于对Albert的采访,重新排版整理后穿插了一些设计过程中的想法。 为什么要制作Bot 知道Coze是在灵感买家俱乐部的买房群里看到饭团的推荐。上手还算比较简单,可以免费使用8k版本的GPT-4,入门可以参考这个飞书文档[1]。 Bot是以自然语言进行交互的机器人。最初设计这个Bot的目的是作为我的「买房智囊」,毕竟买房是一个涉及宏观经济、城市规划、社会人口、金融政策等等领域的复杂问题,需要摄入大量碎片信息才能培养起一点市场认知。 在调试第一版Bo...

企业内部如何更好落地大模型

企业内部如何更好落地大模型
企业内部如何更好落地大模型 在微软推出 Copilot 后,工作场景中如何落地 LLM 很快成为业内关注的重点。钉钉、飞书等办公软件也快速在最新版本中集成 AI 功能。 对于软件企业而言,在已有的软件上增加 AI 功能,并带来新产值,已经被 Notion、多邻国等产品所验证。除此之外,在企业生产场景中,集成 LLM 的能力,并为企业组织赋能,也成为人们关注 AI 落地的一个视角。 Founder Park 研究中心访谈了多位第一批尝试用新技术在企业内部搭建应用的实践者。我们观察到,随着大模型技术话题的广泛破圈,相较于以往的技术升级,来自不同领域、行业的企业都更有意愿进行在内部生产环境中尝试 L...

黄仁勋集齐Transformer论文七大作者,对话一小时

黄仁勋集齐Transformer论文七大作者,对话一小时
文 / 腾讯科技 郭晓静 2017年,一篇具有里程碑意义的论文——《Attention is All You Need》横空出世,它首次引入了基于自注意力机制的Transformer模型,这一创新架构摆脱了传统的RNN和CNN的束缚,通过并行处理的注意力机制,有效克服了长距离依赖的难题,并显著提升了序列数据处理的速度。Transformer的编码器-解码器结构和多头注意力机制在人工智能领域掀起了一场风暴,大热的ChatGPT正是基于这一架构构建的。 想象一下,Transformer模型就像是你的大脑在和朋友交谈时,能够同时关注对方说的每个词,并理解这些词之间的联系。它赋予了计算机类似人类的语...

吴恩达教授分享:如何用AI构建复杂的工作流程获得良好结果

吴恩达教授分享:如何用AI构建复杂的工作流程获得良好结果
吴恩达教授提出的四步法,用于构建复杂的AI工作流程和获得良好结果: 1. 编写初始Prompt:编写一个快速而简单的提示词,测试其初步效果。 2. 迭代改进Prompt:根据初步输出的不足之处,逐步改进和扩展提示词,使其更详细。 3. 加入示例或微调模型:如果改进后的提示词仍无法满足需求,可以考虑加入少量示例,或对AI模型进行轻微的微调。 4. 任务分解和代理工作流程:如果上述步骤仍不能产生满意的结果,将任务分解为多个子任务,并应用代理工作流程,让多个AI模型协同工作。 这四步法提供了一条清晰的路径,从初始测试到最终通过协同工作完成复杂任务,是开发AI应用和优化业务流程的有效方法。 g...

普通人也能理解的 Transformer

Tableau免费了
普通人也能理解的 Transformer 闪念基因 引言 如今爆火的大模型,GPT-3,BERT 等,通过大量的参数和数据,为我们提供了前所未有的自然语言处理能力,使得机器能够更好地理解和生成人类的语言。而注意力机制无疑是重要的基石之一,作为一种新的神经网络结构,使得模型能够更好地捕捉序列中的长距离依赖关系,从而大大提高了模型的性能。 本文将从通俗和学术两个角度,详细介绍大模型和注意力机制的基础知识。无论你是对人工智能感兴趣的初学者,还是寻求深入理解的开发者,都能在本文中找到你需要的内容。我们将从 RNN 开始,介绍其原理和局限性,然后介绍 LSTM 如何解决这些问题,接着我们将深入探讨注意力...