数据探索分析(EDA)

  • python爬虫工具集合

    python爬虫工具集合 主要针对python3 常用库 获取目标 chrome/firefox chrome开发者工具小技巧 史上最全的Chrome使用技巧集锦 fiddler project download-unofficial download-official articles Fiddler是最强大最好用的Web调试工具之一,它能记录所有客户端和服务器的http和https请求,允许你监视,设置断点,甚至修改…

    令爷课程 2024年10月8日 25
  • 50个最佳机器学习公共数据集

    外国自媒体mlmemoirs根据github、福布斯、CMU官网等信息,整理了一张50个最佳机器学习公共数据集的榜单,为大家分享一下~ 外国自媒体mlmemoirs根据github、福布斯、CMU官网等信息,整理了一张50个最佳机器学习公共数据集的榜单,为大家分享一下~ 提前说下须知: 一、寻找数据集的意义 根据CMU的说法,寻找一个好用的数据…

    令爷收藏 2024年10月1日 26
  • 用户调研之标准化可用性问卷

    用户调研之标准化可用性问卷 来源:https://www.biaodianfu.com/summary-of-examined-usability-surveys.html 最近收到了对两个平台进行对比调研的需求,原以为做下简单的问卷设计就可以了,找了一些资料发现中间的门道还是非常的深,想要很好的掌握实属不易。可用性测试的问卷有很多中,如下图: 什么是标准化的问卷 问…

    2024年9月10日 30
  • 2023年5个自动化EDA库推荐

    2023年5个自动化EDA库推荐 来源:deephub EDA或探索性数据分析是一项耗时的工作,但是由于EDA是不可避免的,所以Python出现了很多自动化库来减少执行分析所需的时间。EDA的主要目标不是制作花哨的图形或创建彩色的图形,而是获得对数据集的理解,并获得对变量之间的分布和相关性的初步见解。我们在以前也介绍过EDA自动化…

    2024年9月10日 27
  • 数据探索工具Dataprep.eda

    数据探索工具Dataprep.eda 来源: https://www.biaodianfu.com Pandas-profiling(2016)被称为EDA(Exploratory Data Analysis)分析的典型工具,然而Pandas-profiling的一个主要缺点是它提供的是数据集的侧写,而EDA是一个迭代的过程,分析过程中会对对数据不断进行质疑、理解、处理、转换等。 Pandas-profiling严格的…

    2024年9月8日 35
  • Pandas基础教程之替换SQL

    Pandas基础教程之替换SQL 来源: https://www.biaodianfu.com 对于很多数据分析的同学来说,最熟悉的莫过于SQL,针对数据处理问题,脑海里的第一反应也往往都是SQL,而在日常的工作中往往也需要在Pandas的DataFrame数据上处理和分析数据,今天就一起来学习Pandas。 使用Pandas代替SQL 选择列 ## select COL1, COL2 from …

    2024年9月8日 27
  • 统计学基础之摘要统计

    统计学基础之摘要统计 来源: https://www.biaodianfu.com 什么是摘要统计? 摘要统计是一种用来描述、概括和呈现数据集特征的统计学工具。它们通常用于数据分析的初步阶段,可以帮助研究者理解数据的基本趋势和模式,但不用于从样本推断总体的结论。摘要统计主要包括两类指标:集中趋势的度量和离散程度的度量。 集中趋…

    2024年9月8日 33
  • 探索性数据分析详解

    探索性数据分析详解 来源: https://www.biaodianfu.com 什么是探索性数据分析? 探索性数据分析(Exploratory Data Analysis,简称EDA) 是指对已有的数据(特别是调查或观察得来的原始数据)在尽量少的先验假定下进行探索,通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。 探索…

    2024年9月8日 28
  • 机器学习/数据分析之缺失值处理

    机器学习/数据分析之缺失值处理 来源: https://www.biaodianfu.com 在机器学习数据预处理阶段经常需要对数据进行缺失值处理。关于缺失值的处理并没有想象中的那么简单。以下为一些经验分享。 数据缺失类型 完全随机丢失(MCAR,Missing Completely at Random) :某个变量是否缺失与它自身的值无关,也与其他任何变量的…

    2024年9月8日 37
  • 机器学习算法之XGBoost

    机器学习算法之XGBoost 来源: https://www.biaodianfu.com 什么是XGBoost? 全称:eXtreme Gradient Boosting 作者:陈天奇(华盛顿大学博士) 基础:GBDT 所属:boosting迭代型、树类算法。 适用范围:分类、回归 优点:速度快、效果好、能处理大规模数据、支持多种语言、支持自定义损失函数等等。 缺点:算法参数过多,…

    2024年9月8日 33
  • 实证分析: T检验、方差分析(ANOVA)和卡方检验的对比分析

    以下是T检验、方差分析(ANOVA)和卡方检验的对比分析,以及它们在不同应用领域的详细描述。 统计方法 T检验 方差分析(ANOVA) 卡方检验 目的 比较两个组的均值差异 比较多个组的均值差异 比较分类变量的频数分布 数据类型 连续变量(通常是正态分布) 连续变量(通常是正态分布) 分类变量 适用条件 样本数量较小,正…

    数据探索分析 2024年9月8日 29
  • 机器学习算法之K-近邻(KNN)

    机器学习算法之K-近邻(KNN) 来源: https://www.biaodianfu.com 什么是K-近邻算法? K近邻法(k-nearest neighbor, k-NN)是1967年由Cover T和Hart P提出的一种基本分类与回归方法。它的工作原理是:存在一个样本数据集合,也称作为训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一个数据与所属分类…

    2024年9月7日 29
  • 关联分析算法之FP-Growth

    关联分析算法之FP-Growth 来源: https://www.biaodianfu.com 在Apriori算法的学习中,我们了解到Apriori算法需要不断生成候选项目队列和不断得扫描整个数据库进行比对,I/O是很大的瓶颈。为了解决这个问题,FP-Growth利用了巧妙的数据结构,无论多少数据,只需要扫描两次数据集,大大降低了Aproir挖掘算法的代价。FP-Gr…

    2024年9月7日 36
  • 相关性分析:Pearson、Kendall、Spearman

    相关性分析:Pearson、Kendall、Spearman 来源: https://www.biaodianfu.com 在分析特征间相关性时,常使用的方法是pandas.DataFrame.corr: DataFrame.corr(self, method=’pearson’, min_periods=1) 其中包含的方法主要为: pearson:Pearson相关系数 kendall:Kendall秩相关系数 Spearman:Spearman等级相关系数 Pear…

    2024年9月7日 37
  • 机器学习算法之线性回归

    机器学习算法之线性回归 来源: https://www.biaodianfu.com 线性回归是统计学总最常用的算法之一。从根本上来说,当你想表示两个变量间数学关系时,就可以使用线性回归。当你使用它时,你首先假设输出变量(有时称为响应变量、因变量或标签)和预测变量(有时称为自变量、解释变量或特征)之间存在线性关系。当然这种线…

    2024年9月7日 37

联系我们

15602395067

在线咨询:点击这里给我发消息

邮件:eden7@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code