统计学很无聊?谷歌统计学家带你证明

印尼稻米收成与粮食安全数据集2026年 本数据集收录印度尼西亚2026年水稻收成与粮食安全遥测数据,包含10000条稻米农业收成产量与粮食安全监测记录,围绕印尼国家粮食安全体系中的核心作物水稻展开。稻米是印尼逾两亿人口的主粮,其收成波动直接影响国家粮食安全与进口政策,本数据集将种植区域、收成产量、气候与土壤相关遥测指标整合为结构化表格,可支撑粮食产量预测、收成影响因素分析、区域粮食安全评估与农业政策模拟等研究任务。典型应用场景包括:农业时间序列产量预测模型构建、气候因子与水稻收成的关联分析、省份与地区层面的粮食自给率测算、粮食安全风险预警指标设计,也可作为农业经济、粮食政策与数据科学交叉课程的教学素材。数据为2026年最新版,规模约1.2MB、单CSV结构规整,字段命名清晰,适合Python、Pandas、Scikit-learn等主流工具链直接使用,便于开展探索性分析、可视化与机器学习全流程练习。重要说明:本数据为遥测整理数据,分析结论以数据集文档口径为准,农业决策请结合官方统计综合研判。许可:CC0公有领域,可自由使用与二次分发。 立即下载

编辑:大数据文摘

统计学是通过搜索、整理、分析、描述数据等手段,以达到推断所测对象的本质,甚至预测对象未来的一门综合性科学。

嗯,以上是统计学课本中对统计学的定义!

但是近日,一位来自谷歌的统计学家却发长文表示“统计学很无聊。“

这位统计学家叫Cassie Kozyrkov,目前是Google的首席决策师。在这篇文章中,她提到:“别看我们平时都是在做一些看起来'高大上'的计算,其实核心都很单调的;另外,数据是很无聊的,人性化的事情才是难点。”

让我们先普及一些统计学的入门级概念,然后跟着这位统计学家一起,看看她的逻辑证明。

总体

当一个普通人想到“population”这个词时,他会想到什么?人,对吗?不只是一两个,而是很多,几乎是所有的人!在我们的学科中,它更像是所有的事物的集合。总体可以是人、像素、南瓜、神奇宝贝,或者任何你喜欢的东西。

总体是我们感兴趣的所有项目的集合。

先停一下,在总体的确定上是需要花点时间的,因为这是研究的基础。

规则是这样的:通过写下你对总体的描述,你就确定了你的总体是什么,除此之外没有任何东西可以影响你的决定。通过进一步阅读,你就能接受这些术语和相应的限定条件了。

提出你感兴趣的总体并没有听起来那么令人望而生畏,请记住,是由你自己来选择你想要感兴趣的事物。没有错误的选择,只要它是具体和全面的就可以是一个总体。接下来我会讲得很详尽,并且建议以下图中的树木作为本文感兴趣的总体。

如果我的总体是这片森林中的树木,那么 它们就代表了我所关心的关于这个决定的一切。我对这些树感到很兴奋。坦白地说,这种兴奋是绝对真实的: 我非常喜欢这个图形,因为我在自己的讲座中使用它很多年了。请允许我再怀念它一次……当然,飞机上漂浮着一些树木,从空间上来说是非常合理的。

由于这是我的总体,我应该记住,我并没有理由从自己的分析中得出我已经从其他森林中的树木了解到的结论。我的发现充其量只适用于这些树木。最糟糕的是,嗯......我只想说数据科学家的生活中有时候是需要去构建特征的,不只是描述表面特征。

这里有你看不到的树吗?这样的研究没意义。它不是我们总体的一部分。挑选任何一棵树?同样没有意义,因为这不是你的整个总体。只有他们同时在一起对我们来说才是有意义的。这就是总体的概念。

样本

来自总体中的任意项目集合的样本。

样本是你拥有的数据,而总体是你“希望”拥有的数据。

这些橙色树木集合中的任何一个都是样本。我希望你们能有一些直觉知道哪个更好。在之后的文章中,我将告诉你如何使样本成为一个好样本。我将用这个例子的其余部分刺激专业人士来证明这一点。

观测值

观测值是对样品中单个项目的测量。

我们在这个蓝色标记的树上进行的测量是一个观测值。坚持使用精确语言的人会注意到,“sample”是一组观察结果的集合名词。从理论上讲,“samples”作为复数并不表示“观测到的多个值”,而是表示“多个观测值的集合”。

统计数据

啊哈!统计数据!这当然是很重要的,因为我们在研究了这些数据之后命名了我们的学科!

统计数据是通过任意一种方法去获得样本数据。

那么什么是统计数据?这只是统计我们拥有的数据的一种方式。是不是很失望,不用失望,事实证明,统计和统计学科是两码事。

统计数据的示例:如果我们对树的高度感兴趣,那么看到所有这些橙色标记树的平均高度等统计数据就不会感到惊讶。如果你愿意,你也可以采用那些样本树高,找到最高的前三个,把它们加起来,取对数,加上最低的两个树高的差值的平方根,通过这样的计算加工可以产生另一个统计数据!也许有用,也许不是那么有用,但也是一个统计数据。

如何证明统计学是无聊的

假设我们对树的平均高度感兴趣,对于这个样本,树的平均高度恰好是22.5米。这个数字对我们意义吗?

让我们回顾一下总体的概念:只对总体的研究是感兴趣的。这个样本是总体吗?不是。因此,它对我们来说并不重要。我们从一些无聊的树上取了一些无聊的测量值,然后我们把这些无聊的测量值进行加工计算……从这个过程中得出的结果也很无聊。

所以,我已经向你们证明了你们心中一直知道的事实:统计学是无聊的!证明完毕。

用词不当!

统计学家们疯了吗?为什么我们要用一些无聊的数字来命名我们的学科呢?实际上,这是用词不当。

如今我们对这些术语进行深度剖析,分析的是关于计算统计数据的学科,但统计学不仅仅是研究那些数据,而是要从那些数据中挖掘信息,从而实现对未知领域的探索,但也有可能这只是伊卡洛斯式的飞跃,最后得不到任何成果。

我们学科的真实名称(这个名称更能体现学科的含义)更加晦涩:统计数据的消化……但这听起来有点恶心,所以我们把它简化为平易近人的说法。

让我来解释一下。

参数

接下来讲我们的主角:参数。这个东西太花哨太闪亮。是那种演出结束后会获得一个花束的角色,它甚至有属于自己的希腊字母(通常是θ)。你可以将参数看作是总体里的一个统计量,它是由所有我们感兴趣的总体计算得来的,但是通常无法直接获得。

参数总结了总体特征

我们承认这些树木使我们深感兴奋,现在要我总结一下你关心的一切。

参数值显示:所有树木的真实平均高度恰好是21.1米。

想象一下,这是周六早上,你站在这片森林的空地中间。你还没测量过任何树木,但你超想知道这个数字,这是你梦寐以求的一切。

知道参数需要什么?

你必须精确的测量所有树!一旦做完了,你会有任何不确定的吗?不,你拥有了所有的信息。你可以通过分析继续计算平均值。因为你的样本是总体,这样统计量就是参数。你正在处理的纯粹是事实问题。由于拥有准确和完整的数据,因此无需进行复杂的计算。

我碰巧住在纽约市,尽可能远离树木。因此,当我面临像“精确测量所有这些树木”这样令人生畏的任务时,惰性就开始了。我真心想知道这个参数,但我反问自己:“我真的需要完全了解它还是只要测量一些树木?也许我只需对整个画面进行局部观察,以形成对该参数的最佳猜测......这表面上就足以完成工作要求了。”

当我这么想的时候,我在用统计学的方式思考!我永远不会知道答案。我的懒惰意味着我必须放弃获取事实或确定答案,但希望我最终会得到一些仍然有助于做决策的结果。我仍然可以把它变成一个合理的行动。这就是统计学的精髓。

无中生有?

你们当中有些人希望我会说,“有了这个神奇的公式,你就可以将不确定的变成确定!”不,当然不会。没有任何神奇的东西可以无中生有。

当我们不知道事实时,我们所能希望的是将数据与假设结合起来做出合理的决策。

假设

一个假设是描述宇宙可能的样子,但它不一定是真的。我们需要搞清楚,我们的样本是否使得之前的假设看上去很荒谬,以此判断是否要改变我们的想法,但这超出了本篇博文的范围,在这里提一下思路。

我在这里说了一些乱七八糟的话,如“所有树木的真正平均高度不到20米。”这是一个假设。你知道真相(我错了!)因为你在这个例子中无所不知......但我什么都不知道。我的陈述是一个完全有效的假设,描述了潜在的真实性。我将会在得到一些数据后才能知道自己的假设是否合理。

估计和估计量

如果知道参数,我们就不用做这些了。我们正在寻找事实,但不幸的是事实并不总能获得准确结果。由于我们无法计算参数,只能使用统计信息对其进行最佳猜测。

估计是对最佳猜测的一个华丽的表述

估计只是对参数真实值的最佳猜测的一个华丽表述。这是你的猜测值,而估计量是你用于获得该数字的公式。

让我告诉你,你在统计估计方面已经非常了不起。准备好了吗?

假设你只知道其中一棵树高23米。你能告诉我对所有树木的真实平均高度的估计吗?

23米?对,我也这么觉得!

如果这是我们唯一的信息,我们只能猜测23米;如果我们猜测其他任何数字,我们就是在胡诌。23米是我们知道的全部,所以我们只能猜23米。为了得到别的东西,我们必须结合更多的信息(在这个例子中没有)或者做出假设......这就又是另外的事情了。

好的,我们做另一个尝试!假设我们有一个样本,我们所知道的是它的高度平均为22.5米。现在你最好的猜测是什么。

22.5米?

根据几个教科书中的估计方法,包括矩法估计法,极大似然估计法等得到的最后答案和你的直觉是相同的!在现实生活中99%以上的案例表明,只需将你的样本视为你的总体并随意使用其中的任何内容即可获得最佳猜测。你不需要任何特殊课程。棒棒哒,我们完成了!

你总是需要统计学,这是一个谎言;你不需要。如果你只是想得到最好的猜测而获得灵感,分析是你的最佳选择。摆脱p值,你不需要不必要的压力。

相反,你可以选择按照这些原则生活:越多(相关)数据越好,并且你的直觉非常适合做出最好的猜测,但不知道这些猜测有多准确......所以要保持谦虚。

但是,请不要认为我在抨击我的学科。我花了十多年的时间致力于统计学,它并不是一门一无是处的学科。

所以,在合适的时候使用统计方法才是有用的,非常有用的。

最后,你什么时候真的需要统计学呢?Cassie也给出了这张决策图,拿好不谢????


推荐阅读

520 页机器学习笔记!图文并茂可能更适合你,文末附下载方法

李航老师《统计学习方法》(第2版)课件分享,文末附下载

Github | 吴恩达新书《Machine Learning Yearning》完整中文版开源

经典好书 | 141页的《Deep Learning with PyTorch》开源书籍

400页《TensorFlow 2.0 深度学习算法实战》中文版教材免费下载

欢迎扫码关注:

四分之一汽车模型主动悬架设计:在MATLAB_Simulink中实现比例积分控制、前馈扰动抑制和扰动估计,以优化乘坐舒适性和道路附着力。.rar 立即下载

相关推荐

Delphi 13.2控件之msquic4d.rar

Delphi 13.2控件之msquic4d.rar

统计学有多无聊?谷歌统计学家带你证明

https://www.toutiao.com/a6678870676780089869/ 大数据文摘出品 来源:medium 编译:王缘缘、蔡婕、小七 统计学是通过搜索、整理、分析、描述数据等手段,以达到推断所测对象的本质,甚至预测对象未来的一门综合性科学。 嗯,以上是统计学课本中对统计学的定义! 但是近日,一位来自谷歌的统计学家却发长文表示“统计学很无聊。“ ...

喜欢打酱油的老鸟 562

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

谷歌统计学家表示“统计学很无聊“

来源:数学加油吧机器学习算法与Python实战本文约3500字,建议阅读7分钟本文为你分享谷歌的统计学家 Cassie Kozyrkov 对于统计学的观点。统计学是通过搜索、整理、分析、描述数据等手段,以达到推断所测对象的本质,甚至预测对象未来的一门综合性科学。嗯,以上是统计学课本中对统计学的定义!但是近日,一位来自谷歌的统计学家却发长文表示“统计学很无聊。“这位统计学家叫 Cassie Ko...

数据分析 410

智慧环保生态保护行业可信数据空间应用规划方案(技术方案版).pptx

智慧环保生态保护行业可信数据空间应用规划方案(技术方案版).pptx

气象服务行业可信数据空间应用规划方案(技术方案版).pptx

气象服务行业可信数据空间应用规划方案(技术方案版).pptx

如何证明统计学很无聊?

来源:大数据文摘译者:王缘缘、蔡婕、小七统计学是通过搜索、整理、分析、描述数据等手段,以达到推断所测对象的本质,甚至预测对象未来的一门综合性科学。嗯,以上是统计学课本中对统计学的定义!但...

weixin_38754337的博客 136

机器视觉检测实战教程 19页成品课程光源选型Halcon标定海康相机VisionPro

内容概要:机器视觉检测实战教程,19页6章成品课程PDF:视觉检测光源选型对照表+五个翻车案例、Halcon模板匹配create_shape_model七参数整定、视觉标定三类(9点/旋转/手眼)、海康工业相机C#取图黑图丢帧排坑、VisionPro QuickBuild部署License迁移C#宿主、远心镜头选型。含C#/Halcon代码与现场案例。适用人群:机器视觉工程师、自动化检测开发、企业内训。使用场景:视觉方案设计、选型、标定部署、团队培训。原创整理。

MCGS的Http协议驱动,支持http协议

硬件配置 参数设置 设备属性 设备命令 通讯状态 附录 #HTTP 1、 设备简介 驱动类型 该驱动为独立设备,直接添加构件即可,不需要挂载到父设备下 通讯协议 采用标准HTTP1.1协议 通讯方式 驱动构件为客户端。 2、 硬件连接 本软件在通讯之前,请保证通讯连接正确。通讯连接方式:采用标准的RJ45接口的以太网接线(对调网线或使用HUB交换)。 3、 设备通讯参数 本设备为独立设备,无父设备参数 4、 设备构件参数设置 “HTTP设备”参数设置如下: <1> 内部属性: 构建url信息。 <2> 最小采集周期:本软件对设备进行操作的时间周期,单位为ms,默认为100ms。 <3> 通讯等待时间:通讯数据接收等待时间,默认设置为200ms,当采集速度要求较高或数据量较大时,设置值可适当减小或增大。 <4> HttpHead:http head添加需要的字段,不需要添加http head时值为空,默认不添加。 5、 设备命令 本设备构件提供设备命令,用于进行相应的操作,设备命令的格式如下: 设备命令 命令介绍 GetHttpHead 格式1 GetHttpHead(headStr) 用途 获取http head参数 参数 headStr 参数可以为字符型变量、字符串常量 例1 !SetDevice(设备0,6,"GetHttpHead(headStr)") 获取http head数据保存到headStr中 SetHttpHead 格式1 SetHttpHead(headStr) 用途 设置http head参数 参数 headStr 参数可以为字符型变量、字符串常量

【医疗器械制造】基于酸碱腐蚀环境的一次性乳胶手套铝合金手模失效机理分析与量产风险控制

内容概要:本文围绕一次性医用乳胶手套生产中使用的铝合金手模在酸碱环境下的失效风险展开系统性分析,重点探讨其在外表面腐蚀、清洗循环、氯介质侵入及表面粗糙度控制等方面的工程挑战。研究表明,尽管市场上已有带涂层的铝合金手模供应,但其能否在强碱、酸洗、毛刷摩擦、冷热交变和氯共存的复杂工况下长期维持Ra 1.0—2.5 μm的表面质量并实现稳定脱模,仍需经过严格的多阶段验证。常规阳极氧化+PTFE涂层方案已被实测排除,而316L不锈钢筒体在湿氯环境中出现的三个月内腐蚀失效案例提示必须重视内腔隔离设计。文章强调,采购决策应基于“小批量试制—离线加速试验—影子生产验证—条件性放行”的四阶段准入机制,结合表面参数、工艺相容性、手套成品性能与全生命周期成本进行综合评估,避免依赖供应商宣传数据。; 适合人群:从事医疗器械制造、材料工程、设备采购与工艺质量管理的技术人员及决策管理者,尤其是涉及乳胶手套生产线优化与手模选型的相关从业人员。; 使用场景及目标:①评估铝合金手模替代陶瓷手模的技术可行性与风险边界;②建立手模选型的系统验证流程,防范因表面失效导致的脱模异常、手套缺陷与非计划停机;③指导采购合同中技术条款的制定,确保供应商交付具备可验证数据支撑; 阅读建议:此资源以工程实证为导向,建议读者结合自身产线工艺参数,重点关注外表面Ra控制、内腔双密封设计、影子生产验证方法及失效链追溯体系的构建,在试制阶段严格执行多维度联合判定标准,审慎推进规模化替代。

【新能源电力系统】项目介绍 MATLAB实现基于GWO-VMD-SSA-LSTM灰狼优化算法(GWO)结合变分模态分解(VMD)、麻雀搜索算法(SSA)及长短期记忆网络(LSTM)进行辐照度-温度驱动

内容概要:本文提出了一种融合灰狼优化算法(GWO)、变分模态分解(VMD)、麻雀搜索算法(SSA)和长短期记忆网络(LSTM)的复合模型(GWO-VMD-SSA-LSTM),用于实现高精度的辐照度-温度驱动短期光伏功率预测。该模型首先通过GWO优化VMD的关键参数(模态数K和惩罚因子α),实现对非平稳光伏功率序列的高效多尺度分解,降低信号复杂性;随后利用SSA对LSTM的超参数(如隐藏层单元数、Dropout率、学习率等)进行智能寻优,提升网络训练效率与泛化能力;最后通过独立LSTM网络对各VMD模态进行预测并重构输出。模型结合了信号分解、智能优化与深度学习优势,显著提升了在多云、阴雨等复杂天气下的预测精度与稳定性,并通过MAE、RMSE、MAPE和R²等指标验证了有效性。文中还提供了完整的MATLAB实现流程,涵盖数据清洗、归一化、滑动窗口构建、参数优化与结果可视化等环节。; 适合人群:具备一定机器学习与时间序列预测基础,从事新能源发电预测、智能电网调度、电力系统自动化等相关领域的科研人员、工程师及研究生。; 使用场景及目标:①解决光伏功率受辐照度、温度等因素影响而导致的强随机性、非平稳性预测难题;②提升短期(15分钟至1小时)光伏出力预测精度,支撑电网经济调度、储能协同控制与电力现货市场申报;③为多源气象数据驱动的可再生能源预测提供可扩展的技术框架。; 阅读建议:建议结合提供的MATLAB代码逐步实践,重点关注GWO与SSA的优化机制、VMD分解效果及其与LSTM的集成方式,注意避免时间泄漏问题,推荐在实际数据上复现实验以深入理解模型性能。

【DBO三维路径规划】基于多策略改进的蜣螂算法MSDBO多无人机协同集群避障路径规划(目标函数:最低成本:路径、高度、威胁、转角)研究(Matlab代码实现)

内容概要:本文研究了基于多策略改进的蜣螂优化算法(MSDBO)在多无人机协同集群三维路径规划中的应用,旨在解决复杂三维环境下的避障与最优路径搜索问题。通过构建包含路径长度、飞行高度、威胁规避和转弯角度的综合成本目标函数,利用MSDBO算法对多无人机系统的飞行轨迹进行全局优化,实现在保证安全性与稳定性的前提下达到最低能耗与最优性能的目标。文中详细阐述了算法的多策略改进机制、三维环境建模方法以及多无人机协同避障策略,并通过Matlab仿真平台验证了该方法相较于传统优化算法在收敛速度、路径质量和鲁棒性方面的优越性能。; 适合人群:具备一定优化算法理论基础和无人机控制系统知识的科研人员及研究生,特别适用于从事智能优化算法、多智能体协同控制、路径规划与自主导航等相关领域的研究人员和技术开发者。; 使用场景及目标:①应用于灾害救援、军事侦察、智能巡检等复杂三维场景中多无人机协同任务的路径规划;②为多目标约束下的路径优化、动态避障与能耗平衡问题提供高效的算法支持与仿真验证工具;③推动智能优化算法在无人系统自主决策与协同控制中的实际应用与工程落地。; 阅读建议:建议读者结合提供的Matlab代码深入理解算法的具体实现过程,重点关注目标函数设计、多策略改进机制(如种群初始化、自适应参数调整、局部搜索增强等)及仿真结果分析部分,同时可尝试将该算法迁移至其他智能优化算法框架中进行对比研究,以深化对路径规划问题本质的理解与实践能力的提升。

华为2022硬件逻辑笔试题

单选题(每题两分) 1.以下关于过程赋值的描述,不正确的是() A在非阻塞性过程赋值中,使用赋值符号“< =” B赋值操作符是“=”的过程赋值是阻塞性过程赋值 C在非阻塞性过程赋值中,对目标的赋值是非阻塞的(因为时延),但可预定在将来某个时间步发生(根据时延:如果是0时延,那么在当前时间步结束) D非阻塞性过程赋值在其后所有语句执行前执行 解:D 2.芯片的功耗和下列哪种不强相关_____________。 A资源利用率 B核电压 C组合逻辑级数 D翻转率 解:A 3.下列说

weixin_44072819的博客 1万+
上一篇: 完全解读BatchNorm2d归一化算法原理
下一篇: 【Math】常见的几种最优化方法
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值