数据编程

机器学习之类别特征处理

作者
来源： https://www.biaodianfu.com 类别型特征（categorical feature）主要是指职业，血型等在有限类别内取值的特征。它的原始输入通常是字符串形式，大多数算法模型不接受数值型特征的输入，针对数值型的类别特征会被当成数值型特征，从而造成训练的模型产生错误。 Label encoding Label Encoding是使用字典的方式，将每个类别标签与不断增加的整数相关联，即生成一个名为class_的实例数组的索引。 Scikit-learn中的LabelEncoder是用来对分类型特征值进行编码，即对不连续的数值或文本进行编码。其中包含以下常用方法： ...

机器学习之特征选择方法

作者
来源： https://www.biaodianfu.com 特征选择是特征工程里的一个重要问题，其目标是寻找最优特征子集。特征选择能剔除不相关(irrelevant)或冗余(redundant)的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。另一方面，选取出真正相关的特征简化模型，协助理解数据产生的过程。并且常能听到“ 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已 ”，由此可见其重要性。但是它几乎很少出现于机器学习书本里面的某一章。然而在机器学习方面的成功很大程度上在于如果使用特征工程。 特征选择是一个过程，您可以自动选择数据中您感兴趣的对预测变量...

Pandas数据处理简明教程

作者
来源： https://www.biaodianfu.com 在使用Python处理分析数据的时候，用的最多的算是Pandas时，由于Pandas是个非常强大的工具，涉及到的功能非常多，所以平常使用的时候经常需要查询文档。这里记载了自己常用的一些功能及知识点。 Pandas简介 Pandas是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas...

数据科学中10个应用广泛的统计方法

作者
以下是数据科学中广泛应用的十个统计方法的详细描述： 1️⃣ 中心极限定理 (Central Limit Theorem, CLT) 描述： 中心极限定理告诉我们，无论原始数据的分布是什么样的，只要我们取足够多的样本（通常认为样本量大于30就够了），这些样本的均值分布会趋向于正态分布。这个理论是统计学的基石之一，因为它让我们能够在许多情况下使用正态分布来进行推断。 举例： 假设我们在调查一个城市中每天咖啡店的销售量。即使每天的销售量分布不均匀（有些天销售量很高，有些天则很低），但如果我们每天抽取一个样本，并记录这些样本的均值，随着样本数量的增加，这些均值会形成一个正...

Python数据分析7步(IMDb Summer Movies Data)

作者
数据：summer_movies | summer_movie_genres 流程 graph LR A[1导入库] --> B[2导入数据] B --> C[3数据探索与处理] C --> D[4数据可视化] D --> E[5特征工程] E --> F[6模型训练与评估] F --> G[7预测新数据] 数据集说明 以下是两个数据文件的详细说明： 文件1：summer_movies.csv 数据预览： tconst title_type primary_title original_title ye...

Python数据分析7步(Iris数据集)

作者
数据：iris.csv Python数据分析7步 graph LR A[1导入库] --> B[2导入数据] B --> C[3数据探索与处理] C --> D[4数据可视化] D --> E[5特征工程] E --> F[6模型训练与评估] F --> G[7预测新数据] 1 导入库 import pandas as pd # 数据处理和分析库 import numpy # 科学计算库 import matplotlib.pyplot as plt # 绘图库 import seabor...

健身房的正态分布例子

作者
以下是chatgpt 4o的描述 重量堆栈正态分布 这张图片显示了一个重量堆栈（可能是一个健身器材）的图示，其中每个重量位置上都有明显的磨损痕迹。这些磨损痕迹在图中形成了一个钟形曲线，类似于正态分布（即常态分布）。 具体来说，这种磨损痕迹集中在中间的重量区间（大约在40到60之间），而两端的重量位置（10-20和90-115之间）的磨损痕迹较少。这反映了大多数人使用中等重量的频率最高，而使用极轻或极重的重量的人相对较少。 从统计学角度来看，这表明使用这个器材的人在选择重量时，符合正态分布规律：大多数人的选择集中在一个中间值附近，极端值（非常轻或非常重的重量）选择的频率较低。 凑整的极端值 在...

数据分析工具介绍

作者
数据分析工具介绍 数据分析工具在现代商业和科学研究中扮演着重要角色。不同的工具适用于不同的数据规模和分析需求。本文将介绍几种常见的数据分析工具，并讨论它们的替代品和适用场景。 小规模数据分析工具 1. Excel 特点：适用于处理几千到几万行数据，提供基础的数据整理、分析和可视化功能。 用户：个人用户、小型企业和业务分析师。 替代品： Google Sheets：基于云端，方便团队协作。 Zoho Sheet：提供在线数据处理和协作功能。 LibreOffice Calc：开源的电子表格软件。 中等规模数据分析和商业智能工具 2. Power BI 特点：适用于处理数百万行数据，提供...

Tableau免费了

作者
⏩支持离线使用自动保存、支持将工作簿保存在本地而不是在线发布； ⏩企业数据可以安心在本地操作而不必泄漏； ⏩可直接选择发布到Public社区，而不必经过繁杂的数据提取再发布环节； 🆓最重要的是：免费！免费！免费！与付费专业版Tableau Desktop Professional Edition相比基本没什么差别，如果说有差别，主要在于：数据导入时专业版支持的多种数据库和云空间不再提供，数据筛选环节不支持实时连接和刷新。差别也就如此，其他专业版有的功能Tableau Public Desktop Edition全部都有！ https:/...

一个标星:17.4k⭐可视化爬虫软件:EasySpider

作者
EasySpider是一个可视化爬虫软件，它支持数据的定制和导出，适用于各种爬虫应用和数据采集需求。该项目在GitHub上非常受欢迎，过去一个月内增加了4,786个星星。其使用文档和示例可以在Issues中找到。项目教程包括如何爬需要登录的网站、自定义条件判断、如何爬取需要输入验证码的网站等。此外，它还提供了命令行执行任务和API调用等功能。

统计学派 18 种经典数据分析方法！

作者
本文为你列举了统计学派中18种经典的数据分析法。 Part1 描述统计 描述统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。 集中趋势分析： 集中趋势分析主要靠平均数、中数、众数等统计指标来表示数据的集中趋势。 例如被试的平均成绩多少？是正偏分布还是负偏分布？ 离中趋势分析：离中趋势分析主要靠全距、四分差、平均差、方差（协方差：用来度量两个随机变量关系的统计量）、标准差等统计指标来研究数据的离中趋势。例如，我们想知道两个教学班的语文成绩中，哪个班级内的成绩分布更分散...

Copilot+Python，Excel未来已来~

作者
一个月前，Excel宣布融入Python，在Excel中可以直接用Python来完成任务，引起圈内震动，当时我在文章中预计未来的Excel使用方式，是用Copilot写python代码： Python已经来了，Copilot还会远吗？或许不久之后，Excel用户的主要工作方式是用内置的Copilot帮忙写Python代码，自动完成各种任务，Excel的未来想象空间太大了…… 采悟，公众号：PowerBI星球如何用上Excel中的Python？你最关心的7大问题都在这里了 没想到这个"未来"，这么快就到来了！ 微软刚刚宣布Windows 11和Microsoft 365将...

Code Interpreter：数据分析师可以摸鱼啦～～

作者
上传了一份 excel 表单，还没说话呢，GPT 就自己哼哧哼哧处理起来了。 我用很随意的方式给了它一个任务。惊艳的是：它根据我的指令，自动发现找出视频类型内容的方法，以及用“标题”字段来区分“每个视频”。（以下我绝大多数指令都得很随意，探索一下 GPT 的能力边界。） 它选择柱状堆叠图算恰当吧。第一次画图时出错了。 它自动分析找到原因，添加了一句 fill_value=0，搞定！ 我排查错误的速度一定比它慢 用户数量比较多，它自作聪明选择了前五名来画图（代码习惯还挺好的，定义了 max_users_to_display 没有 magic number 到处飞。） 我要求它画所有用户的...

数据分析师的任务

作者
数据分析师是组织中的几个关键角色之一，他们帮助发现并解读信息，使公司保持平衡并有效运转。 因此，数据分析师需要清楚地了解自己的职责以及每日执行的任务，这至关重要。 数据分析师能够帮助组织从大量数据中获得有价值见解，并通过与组织中其他人紧密合作来发现有价值的信息，他们在这些方面起着不可或缺的作用。 下图显示了数据分析过程涉及的五个重要方面。 准备 作为数据分析师，可能会在任务准备和建模上花费大量时间。 有缺陷或不正确的数据可能产生重大影响，导致报表无效、可信度缺失，并可能对业务决策产生负面影响，从而导致收入损失、负面业务影响等。 创建报表之前，必须准备好数据。 数据准备是分析、清理和转换数据的...