数据分析

两种学科的故事：对统计学与大数据相互作用的详尽分析

作者
两种学科的故事：对统计学与大数据相互作用的详尽分析
引言 21世纪的黎明以数据的洪流为标志，将“大数据”一词推入了商业、技术和科学领域的词典核心。这个看似源于硅谷和软件的新范式，常常被认为是在挑战甚至取代拥有数百年历史、以严谨著称的统计学。 本报告旨在论证，这种观点是一种简单化的误读。统计学与大数据并非竞争对手，而是两个截然不同但又紧密相连的智力与技术潮流。统计学为推断和方法论的严谨性提供了理论基石，而大数据则以前所未有的规模提供了原始材料和计算能力。它们之间复杂的相互作用——一种分歧、张力与最终融合的动态过程——共同铸就了现代的、跨学科的数据科学领域。 本报告将首先追溯这两个学科各自独立的历史谱系，然后剖析它们在核心哲学和方法论上的差异，从数...

AI时代的专业选择指南——红榜、灰榜与黑榜深度剖析

作者
AI时代的专业选择指南——红榜、灰榜与黑榜深度剖析
摘要 本报告旨在为身处人工智能（AI）时代浪潮中的中国准大学生及其家庭，提供一个基于《普通高等学校本科专业目录（2024年）》的战略性专业选择框架。通过整合麦肯锡、世界经济论坛、普华永道及高盛等顶尖机构的全球宏观趋势分析，本报告将本科专业划分为“红榜”、“灰榜”与“黑榜”三大类别，并依据其与未来技能需求的契合度及对自动化风险的抵御能力进行深度剖析。核心研究发现：红榜专业是AI技术的核心创造者与赋能者，具备根本性与持久性价值；灰榜专业正被AI深刻重塑而非取代，其成功关键在于从业者从重复性执行者向战略性、创造性与人本关怀者的角色转变；而黑榜专业因其核心任务的高度程序化而面临最严峻的自动化挑战。报告...

正则表达式入门教程

作者
正则表达式入门教程
5分钟搞懂 —— 正则表达式 （by 令爷） 引言 正则表达式是一种强大的文本匹配和处理工具。它就像是一个神奇的模式识别系统,能帮助我们在文本中查找、匹配和替换特定的字符串。无论是验证用户输入、处理文本文件,还是进行数据分析,正则表达式都能大显身手。 让我们通过一个简单的例子开始。假设你需要在一篇文章中找出所有的电话号码,你会怎么做?如果手动查找,这将是一项耗时的工作。但使用正则表达式,我们可以用一行代码就能完成这个任务。 1. 基础匹配 在深入学习正则表达式之前,我们先从最简单的开始 - 普通字符的匹配。 当我们在文本中查找一个确切的词时,可以直接使用这个词作为正则表达式。比如: 要查找...

2023年5个自动化EDA库推荐

作者
2023年5个自动化EDA库推荐
2023年5个自动化EDA库推荐 来源：deephub EDA或探索性数据分析是一项耗时的工作，但是由于EDA是不可避免的，所以Python出现了很多自动化库来减少执行分析所需的时间。EDA的主要目标不是制作花哨的图形或创建彩色的图形，而是获得对数据集的理解，并获得对变量之间的分布和相关性的初步见解。我们在以前也介绍过EDA自动化的库，但是现在已经过了1年的时间了，我们看看现在有什么新的变化。 为了测试这些库的功能，本文使用了两个不同的数据集，只是为了更好地理解这些库如何处理不同类型的数据。 YData-Profiling 以前被称为Pandas Profiling，在今年改了名字。如果...

数据探索工具Dataprep.eda

作者
数据探索工具Dataprep.eda
数据探索工具Dataprep.eda 来源： https://www.biaodianfu.com Pandas-profiling（2016）被称为EDA（Exploratory Data Analysis）分析的典型工具，然而Pandas-profiling的一个主要缺点是它提供的是数据集的侧写，而EDA是一个迭代的过程，分析过程中会对对数据不断进行质疑、理解、处理、转换等。 Pandas-profiling严格的分析框架与当前EDA的最佳实践背道而驰。 Dataprep.eda（2020）是一个 Python 库，它支持迭代和以任务为中心的分析，就像 EDA 注定要做的那样。dat...

Pandas基础教程之替换SQL

作者
Pandas基础教程之替换SQL
Pandas基础教程之替换SQL 来源： https://www.biaodianfu.com 对于很多数据分析的同学来说，最熟悉的莫过于SQL，针对数据处理问题，脑海里的第一反应也往往都是SQL，而在日常的工作中往往也需要在Pandas的DataFrame数据上处理和分析数据，今天就一起来学习Pandas。 使用Pandas代替SQL 选择列 ## select COL1, COL2 from TABLE; # df.loc[:, ["COL1", "COL2"]] pandas中loc与iloc区别 在Pandas中，iloc和loc是两种...

统计学基础之摘要统计

作者
统计学基础之摘要统计 来源： https://www.biaodianfu.com 什么是摘要统计？ 摘要统计是一种用来描述、概括和呈现数据集特征的统计学工具。它们通常用于数据分析的初步阶段，可以帮助研究者理解数据的基本趋势和模式，但不用于从样本推断总体的结论。摘要统计主要包括两类指标：集中趋势的度量和离散程度的度量。 集中趋势的度量： 平均值（Mean）：数据集合中所有数值的总和除以数值的数量。 中位数（Median）：将数据集合按数值大小排列后处于中间位置的数值。 众数（Mode）：在数据集合中出现次数最多的数值。 离散程度的度量： 极差（Range）：数据集中最大值与最小值的...

探索性数据分析详解

作者
探索性数据分析详解
探索性数据分析详解 来源： https://www.biaodianfu.com 什么是探索性数据分析？ 探索性数据分析（Exploratory Data Analysis，简称EDA） 是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。 探索性数据分析（EDA）与传统统计分析（Classical Analysis）的区别： 传统的统计分析方法通常是先假设样本服从某种分布，然后把数据套入假设模型再做分析。但由于多数数据并不能满足假设的分布，因此，传统统计分析结果常常不能让人...

机器学习/数据分析之缺失值处理

作者
机器学习/数据分析之缺失值处理
机器学习/数据分析之缺失值处理 来源： https://www.biaodianfu.com 在机器学习数据预处理阶段经常需要对数据进行缺失值处理。关于缺失值的处理并没有想象中的那么简单。以下为一些经验分享。 数据缺失类型 完全随机丢失（MCAR，Missing Completely at Random） ：某个变量是否缺失与它自身的值无关，也与其他任何变量的值无关。例如，由于测量设备出故障导致某些值缺失。 随机丢失（MAR，Missing at Random） ： 在控制了其他变量已观测到的值后，某个变量是否缺失与它自身的值无关。例如，人们是否透露收入可能与性别、教育程度、职业等因素...

Pandas数据处理简明教程

作者
来源： https://www.biaodianfu.com 在使用Python处理分析数据的时候，用的最多的算是Pandas时，由于Pandas是个非常强大的工具，涉及到的功能非常多，所以平常使用的时候经常需要查询文档。这里记载了自己常用的一些功能及知识点。 Pandas简介 Pandas是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas...

数据科学中10个应用广泛的统计方法

作者
数据科学中10个应用广泛的统计方法
以下是数据科学中广泛应用的十个统计方法的详细描述： 1️⃣ 中心极限定理 (Central Limit Theorem, CLT) 描述： 中心极限定理告诉我们，无论原始数据的分布是什么样的，只要我们取足够多的样本（通常认为样本量大于30就够了），这些样本的均值分布会趋向于正态分布。这个理论是统计学的基石之一，因为它让我们能够在许多情况下使用正态分布来进行推断。 举例： 假设我们在调查一个城市中每天咖啡店的销售量。即使每天的销售量分布不均匀（有些天销售量很高，有些天则很低），但如果我们每天抽取一个样本，并记录这些样本的均值，随着样本数量的增加，这些均值会形成一个正...

从电力革命到AI：组织创新驱动下的生产力飞跃

作者
1.谷歌前CEO说现在像电力革命前夕 在2024年8月13日，谷歌前CEO埃里克·施密特在斯坦福大学的演讲中指出，尽管AI技术已经取得了显著的进步，并在许多领域得到了广泛应用，但其真正的潜力尚未完全释放。他强调，当前的AI应用大多集中在替代或辅助人类完成特定任务上，而未能引发深刻的组织变革。这种情况类似于19世纪末期电力刚被引入工厂时的情景，当时工厂只是简单地用电动机替代了蒸汽机，工厂布局和生产流程并未发生实质性的改变，直到数十年后，分布式电力系统彻底重塑了生产方式，才带来了生产力的飞跃。 施密特的观点为我们思考AI时代的未来提供了一个重要视角：要想真正释放AI的潜力，关键在于组织创新。本文...

Python数据分析7步(IMDb Summer Movies Data)

作者
Python数据分析7步(IMDb Summer Movies Data)
数据：summer_movies | summer_movie_genres 流程 graph LR A[1导入库] --> B[2导入数据] B --> C[3数据探索与处理] C --> D[4数据可视化] D --> E[5特征工程] E --> F[6模型训练与评估] F --> G[7预测新数据] 数据集说明 以下是两个数据文件的详细说明： 文件1：summer_movies.csv 数据预览： tconst title_type primary_title original_title ye...

Python数据分析7步(Iris数据集)

作者
Python数据分析7步(Iris数据集)
数据：iris.csv Python数据分析7步 graph LR A[1导入库] --> B[2导入数据] B --> C[3数据探索与处理] C --> D[4数据可视化] D --> E[5特征工程] E --> F[6模型训练与评估] F --> G[7预测新数据] 1 导入库 import pandas as pd # 数据处理和分析库 import numpy # 科学计算库 import matplotlib.pyplot as plt # 绘图库 import seabor...

健身房的正态分布例子

作者
健身房的正态分布例子
以下是chatgpt 4o的描述 重量堆栈正态分布 这张图片显示了一个重量堆栈（可能是一个健身器材）的图示，其中每个重量位置上都有明显的磨损痕迹。这些磨损痕迹在图中形成了一个钟形曲线，类似于正态分布（即常态分布）。 具体来说，这种磨损痕迹集中在中间的重量区间（大约在40到60之间），而两端的重量位置（10-20和90-115之间）的磨损痕迹较少。这反映了大多数人使用中等重量的频率最高，而使用极轻或极重的重量的人相对较少。 从统计学角度来看，这表明使用这个器材的人在选择重量时，符合正态分布规律：大多数人的选择集中在一个中间值附近，极端值（非常轻或非常重的重量）选择的频率较低。 凑整的极端值 在...