向量数据库 – 令爷课程-曾确令(ColinZENG)AIGC玩家

Meta宣布彻底解决RAG最大痛点：速度提升30倍，上下文窗口暴增16倍，成本直接腰斩！

2026年7月28日2025年11月17日作者曾确令

来源：[大模型技术洞察] 大家有没有这种感觉：明明只想让大模型看10段资料，它偏偏要硬塞100段，消耗的token数像火箭一样增长，速度还慢得像乌龟？恭喜你，这个行业通病， Meta今天直接给治好了 **** 。他们刚开源了一个叫 **REFRAG **的新 RAG 方案，简单粗暴地说：把无关的上下文压缩到几乎不占地方，只给模型看真正有用的那部分 **** 。实测结果直接看傻人：首token延迟快30.85倍 **** 有效上下文窗口扩大16倍 **** 处理的token量减少2-4倍 **** 在16个主流RAG评测上全面吊打原版LLaMA **** 这不是小修小补...

从偶然的发现到必然的革命：语义计算如何催生AIGC

2026年7月28日2025年7月5日作者曾确令

引言：一次意外的发现，一个时代的开启 2013年，人工智能（AI）的历史被一个看似简单的向量等式悄然改写。托马斯·米科洛夫（Tomáš Mikolov）及其在谷歌的团队在研发Word2Vec模型时，无意中发现了一个令人震惊的现象——词语的意义竟然可以通过数学运算来精确捕捉 ^1^。这个后来家喻户晓的例子便是： vector(′King′)−vector(′Man′)+vector(′Woman′)≈vector(′Queen′)这个发现是“石破天惊”的 ^3^。它之所以震撼，并非因为其背后的算法有多么高深，而是因为这种捕捉复杂语义类比的能力，是模型在完成一个简单预测任务时涌现出的、出乎意料的...

国王 – 男人 + 女人 = 女王：一场美丽的意外如何让AI读懂世界

2026年7月28日2025年7月4日作者曾确令

我们每天都在与人工智能对话，无论是使用搜索引擎、翻译软件，还是与智能助手聊天。这些AI似乎能“理解”我们的话语，但这背后并非真正的意识，而是一场精妙的数学与语言学的共舞。其核心魔法，便是将冰冷的文字转化为可以计算的“向量”（Vector）。更令人惊奇的是，这些向量不仅代表了词语，还能进行运算，揭示出语义的深层关系，就像那个著名的公式：国王 - 男性 + 女性 ≈ 女王。这一切是如何发生，又是如何被发现的？它是一场命中注定的技术革命，还是一连串美丽的意外？让我们一起回顾这段引人入sheng的探索之旅。第一幕：语言学的奠基石——“观其友，知其人” 在计算机诞生之前，语言学家们早已播下了思想的...

Qwen3 Embedding：革新文本表示与排序技术

2026年7月28日2025年6月9日作者曾确令

阿里云Qwen团队隆重推出Qwen3嵌入式表征模型家族，这一系列全新模型基于Qwen3核心架构开发，专门服务于文本编码、信息检索以及内容排序等关键应用场景。凭借Qwen3在多语言理解领域的深厚积累，这些模型在各类基准测试中均展现出领先的性能表现。我们采用Apache 2.0开源许可将模型权重和配套代码公开在多个主流平台，同时发布了详细的技术手册与实现方案。排序模型性能对比模型名称参数量国际测试中文测试多语言测试长文本检索代码检索专项评估 Qwen3-Embedding-0.6B 0.6B 61.82 71.02 64.64 50.26 75.41 5.09 ...

秒懂RAG：“向量”究竟是个啥？

2026年7月28日2025年6月8日作者曾确令

你可能最近经常听到一个很火的人工智能技术——RAG（检索增强生成）。而在所有关于RAG的解释里，总有一个词会反复出现，并且听起来有点"数学"，有点"深奥"，这个词就是"向量"（Vector）。别担心，它其实一点也不复杂。看完这篇短文，你就能轻松理解它到底是什么，以及它为什么对 RAG 如此重要。一、从"描述一个人"说起——理解向量维度想象一下，你要向朋友介绍另一个人，比如你的同事小明。我们来看看如何从最简单的一个特征，逐步增加到多个特征：一维向量：只有一个特征最开始，你可能只说： "小明是个男...

C-MTEB 中文嵌入模型大详解

2026年7月28日2025年6月6日作者曾确令

文本嵌入（Text Embedding）是将文本（如单词、句子或段落）转换为密集、低维、连续的向量表示的一项关键技术。这些向量能够捕捉文本的语义信息，是构建现代AI应用（如语义搜索、问答系统、文本聚类、检索增强生成 RAG 等）的基石。 C-MTEB (Chinese Massive Text Embedding Benchmark) 是目前业界公认的最全面、最权威的中文文本嵌入模型评测基准。它涵盖了分类、聚类、排序、检索、语义相似度（STS）等多种任务和30多个数据集，能够全方位地评估模型在不同场景下的综合性能。以下是根据 C-MTEB 排行榜整理的当前表现最顶尖的十一大中文嵌入模型，我将...

警惕！大语言模型面临的新威胁：解读 Prompt 攻击的核心类型与案例

2026年7月28日2025年5月5日作者曾确令

随着大型语言模型（LLM）如 GPT、Gemini 等的普及，它们强大的自然语言处理能力在各个领域展现出巨大潜力。然而，伴随其发展，一种新的安全威胁也浮出水面——Prompt 攻击。攻击者通过精心构造的输入（Prompt），诱导或欺骗模型，使其绕过安全限制、泄露敏感信息或执行恶意任务。了解这些攻击的核心类型及其原理至关重要。什么是 Prompt 攻击？简单来说，Prompt 攻击就是利用模型处理和理解指令的方式，通过特定的输入文本（Prompt）来操纵模型的行为，使其偏离设计者的初衷或安全规范。以下是几种常见的 Prompt 攻击类型及其案例：类型一：“奶奶漏洞”（角色扮演诱导） ...

当文档分块成为艺术：解锁RAG技术背后的工程智慧

2026年7月28日2025年3月30日作者曾确令

检索增强生成技术的核心工作流程重新思考RAG技术的实现复杂度倘若你认为部署RAG系统仅仅是使用Dify等工具进行文档导入，那么可能尚未理解工业级AI应用的真实挑战。事实上，检索增强生成（Retrieval-Augmented Generation）系统的效能高度依赖于其信息处理管道的每个环节——特别是当涉及非结构化文本处理时，文档分块策略的选择往往成为决定成败的关键因素。分块策略的蝴蝶效应在自然语言处理领域，分块（Chunking）这一看似基础的操作，实则构成了影响后续所有处理步骤的基础性工作。就像米其林厨师对食材的预处理会直接影响最终菜品质量那样，文档分块的精细程度将直接决定： ...

机器学习算法之K-近邻（KNN）

2026年7月28日2024年9月7日作者曾确令

机器学习算法之K-近邻（KNN）来源： https://www.biaodianfu.com 什么是K-近邻算法？ K近邻法(k-nearest neighbor, k-NN)是1967年由Cover T和Hart P提出的一种基本分类与回归方法。它的工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出...

机器学习算法之线性回归

2026年7月28日2024年9月7日作者曾确令

机器学习算法之线性回归来源： https://www.biaodianfu.com 线性回归是统计学总最常用的算法之一。从根本上来说，当你想表示两个变量间数学关系时，就可以使用线性回归。当你使用它时，你首先假设输出变量（有时称为响应变量、因变量或标签）和预测变量（有时称为自变量、解释变量或特征）之间存在线性关系。当然这种线性关系也可能存在于一个输出变量和数个预测变量之间。输出变量于预测变量之间存在线性关系是一个大胆的假设，同时也是一个最简单的假设。从数学表示形式来看，线性函数比非线性函数更加简单。线性模型作为最简单的参数化方法，始终值得关注。这是因为很多问题，甚至本质是非线性的问题，也...

机器学习算法之支持向量机SVM

2026年7月28日2024年9月7日作者曾确令

机器学习算法之支持向量机SVM 来源： https://www.biaodianfu.com 什么是支持向量机（SVM）？支持向量机（support vector machines, SVM）是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（convex quadratic programming）的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化算法。支持向量机学习方...

机器学习算法之主成分分析PCA

2026年7月28日2024年9月7日作者曾确令

机器学习算法之主成分分析PCA 来源： https://www.biaodianfu.com 主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是PCA，下面我们就对PCA的原理做一个总结。首先考虑一个问题：对于正交属性空间中的样本点，如何用一个超平面（直线的高维推广）对所有样本进行恰当的表达？可以想到，若存在这样的超平面，那么它大概具有这样的性质：最近重构性：样本点到这个超平面的距离都足够近，即下图中所有红线（即投影造成的损失）加...

机器学习之类别特征处理

2026年7月28日2024年9月7日作者曾确令

来源： https://www.biaodianfu.com 类别型特征（categorical feature）主要是指职业，血型等在有限类别内取值的特征。它的原始输入通常是字符串形式，大多数算法模型不接受数值型特征的输入，针对数值型的类别特征会被当成数值型特征，从而造成训练的模型产生错误。 Label encoding Label Encoding是使用字典的方式，将每个类别标签与不断增加的整数相关联，即生成一个名为class_的实例数组的索引。 Scikit-learn中的LabelEncoder是用来对分类型特征值进行编码，即对不连续的数值或文本进行编码。其中包含以下常用方法： ...

机器学习之特征选择方法

2026年7月28日2024年9月7日作者曾确令

来源： https://www.biaodianfu.com 特征选择是特征工程里的一个重要问题，其目标是寻找最优特征子集。特征选择能剔除不相关(irrelevant)或冗余(redundant)的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。另一方面，选取出真正相关的特征简化模型，协助理解数据产生的过程。并且常能听到“ 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已 ”，由此可见其重要性。但是它几乎很少出现于机器学习书本里面的某一章。然而在机器学习方面的成功很大程度上在于如果使用特征工程。特征选择是一个过程，您可以自动选择数据中您感兴趣的对预测变量...