RAG – 第 2 页 – 令爷课程-曾确令(ColinZENG)AIGC玩家

AI驱动的数据抓取新时代：从BeautifulSoup到智能爬虫工具

2026年7月28日2025年3月16日作者曾确令

在数据驱动的AI时代，获取高质量的网络数据变得越来越重要。传统的网页抓取方法正在被新一代智能工具所取代，这些工具不仅简化了数据获取过程，还提高了数据质量。本文将带你了解从传统方法到最新AI驱动工具的演变，帮助你选择最适合自己项目的数据抓取解决方案。传统爬虫的局限性网络数据抓取一直是AI和数据分析项目的基础环节。长期以来，BeautifulSoup作为Python生态系统中的标准工具，帮助开发者从HTML文档中提取信息。然而，使用BeautifulSoup面临几个明显的挑战：需要编写复杂的规则和正则表达式对不同网站结构需要定制化处理处理动态加载内容困难对非结构化数据提取效果有限 ...

RAG基础：Markdown指南 – 专业文档结构化的破局之道

2026年7月28日2025年2月17日作者曾确令

RAG基础：Markdown指南 - 专业文档结构化的破局之道当非结构化文档成为RAG的阿喀琉斯之踵在金融、法律、医疗等专业领域，每天产生的PDF技术白皮书、Word版行业报告、PPT培训文档堆积如山。这些看似规范的专业文档，在RAG系统中却如同布满荆棘的迷宫——当我们尝试用LlamaIndex构建证券行业知识库时，发现PDF中的三线表格被解析为离散的文字碎片，Word文档里的流程图变成无序的段落代码，最终导致知识召回率不足35%。这种现象暴露了传统文档格式的致命缺陷：它们本质上是为人类视觉设计的"视觉结构化"格式，而非机器可理解的"逻辑结构化"数...

Python数据分析7步(IMDb Summer Movies Data)

2026年7月28日2024年8月14日作者曾确令

数据：summer_movies | summer_movie_genres 流程 graph LR A[1导入库] --> B[2导入数据] B --> C[3数据探索与处理] C --> D[4数据可视化] D --> E[5特征工程] E --> F[6模型训练与评估] F --> G[7预测新数据] 数据集说明以下是两个数据文件的详细说明：文件1：summer_movies.csv 数据预览： tconst title_type primary_title original_title ye...

【案例】我是如何用Coze搭建乔尔事务所Bot的

2026年7月28日2024年6月11日作者曾确令

我是如何用Coze搭建乔尔事务所Bot的 [乔尔事务所]() Albert是乔尔事务所的第一个bot，这篇文章梳理了搭建bot的思路，内容大多来自于对Albert的采访，重新排版整理后穿插了一些设计过程中的想法。为什么要制作Bot 知道Coze是在灵感买家俱乐部的买房群里看到饭团的推荐。上手还算比较简单，可以免费使用8k版本的GPT-4，入门可以参考这个飞书文档[1]。 Bot是以自然语言进行交互的机器人。最初设计这个Bot的目的是作为我的「买房智囊」，毕竟买房是一个涉及宏观经济、城市规划、社会人口、金融政策等等领域的复杂问题，需要摄入大量碎片信息才能培养起一点市场认知。在调试第一版Bo...

OpenAI 首次开发者日：新模型发布，支持 128K 上下文，价格直降，GPT 商店要来了

2026年7月28日2023年11月8日作者曾确令

大模型解谜LLM Riddles题解[/caption] 用普通人听得懂的人话总结： 1，新的chatgpt已经学完世界5000年以来的所有知识，一直到2023年，已经没有他不知道的任何知识。 2，ChatGPT已经为任何人及任何公司建立垂直小模型（中国几万家垂直细分的AI公司将100%全部倒闭）。 3、多模态：文字图片语音视频都完备了。 4、赚钱商业模式已经完成：你ChatGPT玩的好，有人买你的作品，就可以赚钱了。 5、任何人都可以用gpt写代码与程序了，最多3年，全球已经不需要，一个程序员及it技术工程师。 OpenAI 的首次 DevDay 开发者日活动，于北京时间 11 月...

提升ChatGPT性能的实用指南：Prompt Engineering的艺术

2026年7月28日2023年10月13日作者曾确令

一起探索 Prompt Engineering 的奥秘，并学习如何用它来让 ChatGPT 发挥出最大的潜力。什么是提示工程？提示工程是一门新兴学科，就像是为大语言模型（LLM）设计的"语言游戏"。通过这个"游戏"，我们可以更有效地引导 LLM 来处理问题。只有熟悉了这个游戏的规则，我们才能更清楚地认识到 LLM 的能力和局限。这个"游戏"不仅帮助我们理解 LLM，它也是提升 LLM 能力的途径。有效的提示工程可以提高大语言模型处理复杂问题的能力（比如一些数学推理问题），也可以提高大语言模型的扩展性（比如可以结合专业领域的知识...

GPTBots简介

2026年7月28日2023年9月22日作者曾确令

-- 为您的业务量身定制 AI Bot 应用 GPTBots.ai 将 LLM 与企业数据、服务能力无缝连接，高效构建 AI Bot 服务。可轻松将 AI Bot能力深度融合到企业实际业务中，让 AI 驱动业务增长和效率提升。《GPTBots产品框架》 GPTBots.ai 产品具有以下优势和特点： LLMs 支持开箱即用主流商业大模型，支持接入开源大模型和私有化部署服务无需再购入巨大精力在 LLM 部署、微调等工作,让开发者更专注企业核心业务无论商业或开源模型，都可以基于知识库数据、用户对话数据快速生成模型微调所需数据用于模型微调知识库支持doc/docx、pdf...

prompt方法论

2026年7月28日2023年9月4日作者曾确令

prompt方法论零样本提示如今，经过大量数据训练并调整指令的LLM能够执行零样本任务。我们在前一节中尝试了一些零样本示例。以下是我们使用的一个示例：提示：将文本分类为中性、负面或正面。文本：我认为这次假期还可以。情感：输出：中性请注意，在上面的提示中，我们没有向模型提供任何示例——这就是零样本能力的作用。指令调整已被证明可以改善零样本学习Wei等人（2022）(opens in a new tab)。指令调整本质上是在通过指令描述的数据集上微调模型的概念。此外，RLHF(opens in a new tab)（来自人类反馈的强化学习）已被采用以扩展指令调整，其中模型被调整以更...

Midjourney进阶补充

2026年7月28日2023年8月24日作者曾确令

正文一.喂图意义：从第一张起，可反复上传优化图片，来达到自己想要的图片。喂图过程：上传单张或者一组（4到5张，目前没有限制多少张，但一般来说4张刚刚好，太多会给AI带来困扰）到Midjourney输入框里（这里的上传有两种方法：1.点击输入框前方的加号上传。2.鼠标选择图片或一组拖到软件里），回车，点击上传后的图片，在左下角 “在浏览器打开链接“ 打开后复制浏览器上的链接，返回主界面，在输入框里 **“/imagine：粘贴刚才复制的链接+空格+你所描述的关键词+官方命令，就是所谓的喂图。”** 演示：加号方法点击上方“上传文件”，弹出弹窗，选择图片，选择上传。上传完毕，等待回...

AIGC高级应用：基于GPT4搭建本地知识库AI机器人

2026年7月28日2023年7月30日作者曾确令

背景在日常生活工作中我们会和很多文档打交道，今天这期我们将一起看下如何使用LlamaIndex和LangChain来构建一个基于GPT-4的本地文档知识库聊天机器人。在我们开始搭建本地自定义知识库之前，让我们先来聊下使用chatGPT网页端的一些限制。由于OpenAI网页端使用的是预训练模型，这意味着它的知识库只能包含在模型训练期间提供的数据。（目前数据还停留在2021年）因此，它无法回答特定的、最新的数据或一些私有未公开数据的问题。另外，网页端的GPT4还有3小时内只能回答25个问题的限制，所以我们这次的目的通过搭建本地知识库来突破这些限制原理首先介绍一些本地AI聊天知识库的原理，...

4.3 【prompt教程5】使用外部工具

2026年7月28日2023年7月10日作者曾确令

使用外部工具通过向GPT提供其他工具的输出来补偿GPT的弱点。例如，文本检索系统可以告诉GPT相关文档。代码执行引擎可以帮助GPT进行数学和运行代码。如果一项任务可以通过工具而不是GPT更可靠或高效地完成，请卸载它以充分利用两者。使用基于嵌入的搜索来实现高效的知识检索如果作为其输入的一部分提供，模型可以利用外部信息来源。这可以帮助模型产生更明智和最新的响应。例如，如果用户询问有关特定电影的问题，则在模型的输入中添加有关电影的高质量信息（例如演员、导演等）可能是有用的。嵌入可用于实现高效的知识检索，以便在运行时动态地将相关信息添加到模型输入中。文本嵌入是一种可以测量文本字符串之间相关性的...

4.3 【prompt教程3】将复杂的任务拆分为更简单的子任务

2026年7月28日2023年7月10日作者曾确令

将复杂的任务拆分为更简单的子任务正如软件工程中将复杂系统分解为一组模块化组件的良好做法一样，提交给GPT的任务也是如此。复杂的任务往往比简单的任务具有更高的错误率。此外，复杂的任务通常可以重新定义为更简单任务的工作流程，其中使用早期任务的输出来构建后续任务的输入。 1. 使用意图分类来识别与用户查询最相关的说明对于需要大量独立指令集来处理不同情况的任务，首先对查询类型进行分类并使用该分类来确定需要哪些指令是有益的。这可以通过定义与处理给定类别中的任务相关的固定类别和硬编码指令来实现。这个过程也可以递归地应用于将任务分解成一系列阶段。这种方法的优点是，与使用单个查询执行整个任务相比，每个查询...

【令爷】学习方法总结

2026年7月28日2023年7月6日作者曾确令

学习是一项持续的过程，它需要不断的努力和实践，以便在日常生活和工作中取得成功。在学习过程中，有许多不同的方法可以帮助我们更好地理解和掌握知识。 1.学习流程这里我们总结了三步学习方法：学得、习得和费曼学习法。 graph TD subgraph 知识组成帕累托法则双编码理论分块学习法多感官学习法 GROW模型 end 学得-->|专业指导|知识组成习得-->|刻意练习|知识组成知识组成--> 费曼输出 subgraph 学习原则番茄工作法 SQ3R方法艾宾浩斯遗忘曲线 end 学习原...