因果推断简介

因果推断知识点总结 因果关系 从与相关关系对比的角度来看, 因果关系严格区分了“原因”变量和“结果” 变量,在揭示事物发生机制和指导干预行为等方面有相关关系不能替代的重要作用。现有因果关系的研究集中在因果推断及因果性学习两个方面。 因果推断VS因果性学习 因果推断的目标是发现变量/事物背后的因果关系。随机控制实验是发现因果关系的传统方法。由于实验技术局限和实验耗费代价巨大等原因,越来越多的因果推断领域学者希望通过观察数据推断变量之间的因果关系,已成为当前因果推断领域的研究热点。在基于观察数据的因果推断领域研究方面的代表性进展包 阅读详情

前言

机器学习基本上可以算是统计机器学习问题,也就是通过大量的数据学习到一些潜在的数据之间的特征,从而得到数据与数据之前的相关关系,进而进行目标检测、追踪、知识问答等处理。很自然的一个问题就是,既然机器学习当前主流是以统计规律得到的相关关系为主,那么我们为什么要研究因果关系呢?因为辛普森悖论 (Yule-Simpson’s Paradox)所揭示的现象,统计规律有时候不一定是正确的,所以我们需要建立起数据之间的因果联系,这也是因果推理在机器学习中存在的价值。

文章内容来源于网络,作者通过整理,加上一些自己的理解。参考列表在文末。

什么是因果推断

关于因果关系,在《 牛津哲学词典》的定义是,“当一个事件的出现导致、产生或决定了另一个事件的出现,这两个事件之间的关系就被称为因果关系。例如,外面正在下雨,不带雨具出门会被淋湿衣服。下雨和淋湿衣服之间就是因果关系, 下雨是原因,淋湿衣服是结果。[ 1 ]

因果推断是统计学和数据科学的核心问题之一,在一种现象已经发生的情况下,推出因果关系结论的过程,就是因果推断。它在生物医学、经济管理和社会科学中有都有广泛应用,可以揭示变量之间的因果关系,发现现象背后的深层原因,比如:吸烟是否致癌?社会招聘是否存在性别歧视?也可以估计定量的因果效应,分析当原因改变时结果变量的响应,以帮助人们更科学的做决策干预,比如:教育水平如何影响一个人未来的收入?比如一种药物会使得病人生存期延长多少?等等。因果推断也被认为是人工智能领域的一次范式革命,是近年来该领域的研究热点之一。未来,能否让AI像人一样思考?强人工智能是否能实现?为AI模型赋予因果关系思维似乎成了解答这些问题的必要因素和必经之路。[1]

为什么要研究因果推断

当前的机器学习主要利用数据中的统计相关性进行建模。相关性的主要来源有:因果(causation)、混淆(confounding)、样本选择偏差(selection bias),三类分别对应以下三种结构:
三种结构
因果关系:其中T表示原因,Y表示结果,X表示混淆变量,S表示选择偏差。黑色的实线箭头表示直接的因果关系,灰色的虚线箭头表示假的相关关系。其中,只有由因果(causation)产生的相关,即因果关系(图中从左往右第一个),因果关系是一种稳定的机制,不随环境变化而变化;也只有这种稳定的结构是可解释的。例如,无论是在哪个国家,夏天时候天气变热(原因:T ),会导致冰淇淋的数量(结果:Y )上升。

混淆(Confounding):是指存在一个变量X,这个变量构成了T和Y的共同原因,如果忽略了X的影响,那么T与Y之间就是假的相关性关系。也就是说T并非Y的直接原因。比如在夏天的时候游泳溺水的人数增加,吃冰淇淋的人也增加了,如果单从数据上看,将吃冰淇淋与溺水人数交给深度学习模型,将会得到溺水人数与吃冰淇淋的人数正相关性。但是事实是溺水人数与吃冰淇淋的人数都是受到天气气温的影响。
例子1
样本选择偏差(selection bias):当两个相互独立的变量T 和Y 产生了一个共同结果变量 S ,引入S 则为T 和Y 之间打开了一条通路,从而误以为T 和Y 之间存在关联关系。例如,有些基础好且勤奋的人考入重点高中,他们高考之后考入名校,那么在样本选择偏差的背景下,会产生重点高中的同学可以考名校;而现实的情况是自身的付出才是考取名校的主要因素。重点高中与考名校之间的关系次之。
样本选择偏差
大量研究表明:过于依赖统计相关的建模方式,存在着严重的理论缺陷:缺乏因果关系考虑,仅从数据中学习到的相关性可能是错误的。首先,利用相关性学习的模型,泛化能力和稳定性差,极易受到场景变化或数据中异常值的影响;再者,过度依赖数据拟合的机器学习模型就像是一个黑盒子,缺乏可解释性。

随着人工智能的应用从互联网领域向工业、医疗、金融等领域的拓展,人工智能技术的优化方向也逐渐开始从「性能驱动」转向「风险敏感」。在这样的背景下,缺乏稳定性和可解释性极大地限制了AI模型的落地。在机器学习模型中加入因果机制,似乎已经成为弥补机器学习理论缺陷,进一步发展人工智能技术的必经道路。因果关系的稳定性和可解释性,强大到可以让人们有足够的信心去做科学且安全的决策,进而提高效率、降低成本、防止损失。

工业界和学术界存在大量使用因果推断改进人工智能模型的研究和应用案例。例如,在传统的网络营销中,为了研究网页上【了解更多】按钮还是【获取方案】按钮更促进转化,我们需要进行严格的控制实验,通过A/B测试去测量各个元素的转化效果。这种方法往往受到很多现实因素的限制,且成本昂贵。然而,我们可以通过在现有数据上使用因果推断来实现该目标。

如何进行因果推断的研究

当前有关因果推断的研究主要包括两个方向:一是因果发现(Causal Discovery),二是因果效应的估计(Causal Effect Estimation)。因果发现旨在从纷繁的数据中,挖掘出变量之间的因果关系,其本质是要找到用于描述变量间因果关系的图网络结构。因果效应估计主要研究原因变量对结果变量的影响程度,其本质是建立因果模型并输出对增量的预测值。

在现实生活中,人们通过行为干预(Intervention)认知因果。以冰淇淋的销量为例,虽然我们不能直接干预天气变化,但是我们可以通过选择在干旱地区,即那些即使在夏天也无人游泳的区域,比较冬天和夏天冰淇淋的销量,得出冰淇淋的销量会随着气温上升而增加的结论;同样,我们可以选择比较干旱地区和湿润地区的冰淇淋销量,得知冰淇淋销量的增加与溺水人数并无因果关系。这样的行为干预,直接表现为控制实验(Controlled Experiment)。严格的控制实验,已经成为了研究因果关系的经典方法。然而,因果革命还带来了另一个重要成果,即允许我们在不实际实施控制实验的情况下,仅仅从观测数据中进行因果发现,并对因果效应进行估计。

在日常生活中,我们讲因果关系的时候,要么吧因果关系当做一种认知方法,要么把因果关系当作事物内部固有的一种客观联系。可是人工智能当中讲的因果关系跟日常生活当中我们所理解的这两种都有差别。

在深度神经网络当中,我们只能观察到输入和输出,而不知道中间所发生的所谓“黑盒子”的过程,这样就没办法把模型往其他应用上推广。所以,为了推广和泛化我们就要研究因果关系。人工智能界经常用一个和我们不同的词叫“捕获”,如何从数据当中捕获因果关系?大家通过用词的不同也可以体会到,它和我们日常讲的因果关系是有很大的区别。它需要在许许多多不同的训练数据当中找到某种共同的不变性,这是人工智能讲的因果关系。

参考文献

[1].https://blog.youkuaiyun.com/jiey0407/article/details/126599496?spm=1001.2014.3001.5502
[2] https://zhuanlan.zhihu.com/p/559099450
[3] https://www.zhihu.com/people/c-ome
[4] https://zhuanlan.zhihu.com/p/397796913

因果推断|常用方法介绍 因果推断的总结小文,介绍因果推断的常用方法 阅读详情

相关推荐

KDD 2024|基于隐空间因果推断的微服务系统根因定位

由清华大学、南开大学、eBay、微软、中国科学院计算机网络信息中心等单位共同合作的论文《基于隐空间因果推断的受限可观测性场景的微服务系统根因定位》。该论文已被KDD 2024会议录用。

weixin_52705010的博客 2455

因果推断1--基本方法介绍(个人笔记)

因果推断是基于统计学方法刻画变量之间的因果关系。

as472780551的博客 1万+

一文读懂因果推断:给变量关系戴上 “因果紧箍咒”

因果推断作为一门重要的学科领域,在科学研究、商业决策、政策制定、风险评估以及机器学习等众多领域都发挥着至关重要的作用。从其悠久的发展历程可以看出,众多学者不断努力推动着因果推断理论和方法的完善。各种因果推断方法,如随机对照试验、倾向得分匹配、工具变量法、断点回归设计和双重差分法等,都有其独特的原理、适用场景和优缺点。

进一步有进一步的欢喜~ 2263

因果推断【Causal Inference】(一)

所谓因果推断,就是寻找变量间的因果关系,并估计由于因对果造成的效应大小。它之所以重要,是因为因果关系一旦被准确衡量,那么只要控制了原因,我们就能得到想要的结果。

薛定谔的猫的博客 4499

因果推断英文书单整理及简介

因果推断书单整理及简介@TOC 1.Causal inference for statistics, social, and biomedical sciences : an introduction[2015] Causal inference for statistics, social, and biomedical sciences : an introduction / Guido W. Imbens & Donald B. Rubin 1.1 简介 社会和生物医学科学中的大多数问题本质上

爱数据爱统计 3116

因果推断中文书单整理及简介

因果推断中文书单整理及简介@TOC 书单1: 为什么:关于因果关系的新科学[2019] 书单2: 别拿相关当因果!因果关系简易入门[2016] 书单3: 倾向值分析:统计方法与应用[2012] 书单4:基本无害的计量经济学:实证研究者指南[2012]

爱数据爱统计 6432

因果推断——简介

1. 因果推断是什么? 1.1 因果性与相关性 事件/变量之间的关系,最主要的有相关性和因果性。 相关性是指在观测到的数据分布中,X与Y相关,如果我们观测到X的分布,就可以推断出Y的分布 因果性是指在操作/改变X后,Y随着这种操作/改变也变化,则说明X是Y的因cause 在常用的机器学习算法中,关注的是特征之间的相关性,而无法去识别特征之间的因果性,而很多时候在做决策与判断的时候,我们需要的是...

机器学习,大数据 3万+

避坑指南:RK3588视频编码与SRT推流实战中,我遇到的5个典型问题及解决方案

本文深度解析RK3588平台视频编码与SRT推流实战中的五个典型问题,包括MIPI摄像头内存对齐、多线程数据传递、FFmpeg时间戳设置、SRT连接参数调优及系统资源监控。提供具体解决方案和优化技巧,帮助开发者高效实现实时视频网络传输。

weixin_28718793的博客 322

入门:因果推断 简介

因果推断也被认为是人工智能领域的一次范式革命,是近年来该领域的研究热点之一。未来,能否让AI像人一样思考?强人工智能是否能实现?为AI模型赋予因果关系思维似乎成了解答这些问题的必要因素和必经之路。...

jiey0407的博客 862

深入解析Incapsula reese84的生成机制与绕过策略

本文深入解析了Incapsula reese84的生成机制与绕过策略。reese84是一种基于客户端JavaScript挑战的Web安全防护,通过动态算法收集浏览器指纹并生成令牌Cookie。文章详细拆解了其两步验证流程,并提供了使用无头浏览器、逆向JS模拟请求以及Token维护等实战绕过方法,帮助开发者和安全研究人员应对自动化访问拦截。

weixin_29256771的博客 443

生成式引擎优化(GEO)全景指南:技术架构、实施策略与未来趋势

生成式引擎优化(GEO)全景指南摘要 GEO(生成式引擎优化)是针对AI生成内容(如ChatGPT、文心一言等)的优化策略,通过结构化数据、权威建设与语义优化提升企业内容在AI答案中的引用优先级,实现“无点击曝光”。其核心价值在于从流量竞争转向信任构建,突破传统SEO局限。技术架构依托RAG(检索增强生成)、向量数据库及反馈学习机制,动态优化内容生成与引用逻辑。实施策略包括:部署结构化数据(如JSON-LD)、维护动态知识图谱、适配多模态内容(3D/VR)、联合权威机构发布白皮书。行业案例显示,美妆、智能家

解锁AI流量新红利!🚀 GEO优化(生成引擎优化)助您掌控AI搜索,让AI成为您的品牌最佳代言人! 1451

基于大模型的急性重症胰腺炎全流程预测与诊疗方案研究

本研究构建了基于大模型的急性重症胰腺炎(SAP)全流程预测与诊疗系统,实现了从术前风险评估到术后康复管理的精准诊疗闭环。通过整合临床信息、实验室检查和影像学等多源数据,模型在测试集上预测准确率达X%,AUC为X,显著优于传统评分系统。研究创新性地将预测结果应用于手术方案制定、麻醉决策、并发症防控及个性化护理,形成智能化诊疗方案。验证结果显示模型具有良好的稳定性和临床适用性,同时配套的健康教育体系提升了患者自我管理能力。尽管存在样本局限性和模型可解释性等不足,该研究为SAP的精准诊疗提供了新范式,未来可通过扩

嵌入式毕设/课设资料清单(速查手册·文档模板·题库,持续更新)→ 见最新文章 1115

因果推断简介之五:因果图 (Causal Diagram) 丁鹏

原文 https://cosx.org/2012/10/causality5-causal-diagram 因果推断简介之五:因果图 (Causal Diagram) 丁鹏 这部分介绍 Judea Pearl 于 1995 年发表在 Biometrika 上的工作 “Causal diagrams for empirical research”,这篇文章是 Biometrika 创刊一百多年来少...

qq_42501075的博客 5110

Anomalib实战指南:从零开始构建自定义异常检测数据集

本文提供了一份详细的Anomalib实战指南,指导用户从零开始构建自定义异常检测数据集。文章深入解析了数据准备的核心步骤、目录结构规范,并对比了PatchCore与FastFlow等关键模型的适用场景。通过清晰的代码示例,手把手演示了环境配置、模型训练与推理评估的全流程,旨在帮助开发者快速掌握这一工业视觉异常检测利器,有效解决实际生产中的缺陷识别难题。

weixin_29054245的博客 643

SAP 物料的分割评估

SAP 物料的分割评估 前言 本文主要讲解SAP中物料的分割评估,通过分割评估来区分出同一物料不同来源下的核算方式。例如:同一物料分为自产或者采购,或者同一物料分为进口或者国内采购等。 一、概述 分割评估一般用于以下场景: 1、物料分为内部采购和外部采购; 2、物料分属于进口或者国内采购; 3、物料分属于不同的批次; 4、物料分为自制或者采购。 由于物料的来源不同可能导致物料的价格或者性质不同,需要用不同价格来区分出 二、配置步骤 1.激活分割评估 ...

五谷散熊 6791

使用双重机器学习进行因果推断简介:EconML案例

使用双重机器学习进行因果推断简介:EconML案例

素质云笔记 2544

Ubuntu零基础入门到精通【4.4讲】:网络、蓝牙、显示器、声音与输入法设置!

🏆 本文收录于 《滚雪球学 Ubuntu》 专栏。 本专栏面向有一定计算机基础,但尚未系统学习 Linux / Ubuntu 的读者,采用“滚雪球式学习法”:先装好、再会用、再理解、再优化、再实战,带你从第一次进入 Ubuntu 桌面 / 终端开始,逐步掌握 Ubuntu 的日常使用、命令操作、软件安装、系统配置、开发环境搭建与服务器部署能力。

**My Coding Family** 1486

python 因果推断_因果推断书Causal inference:What if简介(附:因果推断书单推荐)...

Causal Inference: What If内容简介:本书由哈佛大学 Miguel Hernan、Jamie Robins 教授编著,对因果推理的概念和方法做了系统性阐述。该书在知乎等各大平台一直是呼声很高的书籍,众多计量学者期待已久,该书提供了关于因果推断的一个连贯的概念,和方法,因果推理。书籍开源地址:https://www.hsph.harvard.edu/miguel-hernan/...

weixin_39997696的博客 2484

1-Wire 单总线硬件结构及软件时序分析(实测波形+C代码分析)

1根线就可以通信,是不是很神奇?因为其节省I/O口的优点而被广泛使用!

记得诚 1万+

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

自动化因果推断助手:Causal-Copilot 简介

Causal-Copilot, 因果推断,自动化建模,研究助手,AI 助手,Causal Inference, Python

Stata连享会 275

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

[因果推断] 什么是因果推断(一)

什么是因果推断?为什么研究因果推断?怎么进行因果推断研究? 01 什么是因果推断? 关于因果关系,在《牛津哲学词典》的定义是,“当一个事件的出现导致、产生或决定了另一个事件的出现,这两个事件之间的关系就被称为因果关系。例如,外面正在下雨,不带雨具出门会被淋湿衣服。下雨和淋湿衣服之间就是因果关系, 下雨是原因,淋湿衣服是结果。 因果推断是统计学和数据科学的核心问题之一,在一种现象已经发生的情况下,推出因果关系结论的过程,就是因果推断。它在生物医学、经济管理和社会科学中有都有广泛应用,可以揭示变量之间的因

摩登都市天空---专栏 2万+

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

【动手学因果推断】(一):因果推断入门

所谓因果推断,就是**寻找变量间因果关系,并估计由于因对果造成的效应大小**。它之所以重要,是因为因果关系一旦被准确衡量,那么只要控制了原因,我们就能得到想要的结果。例如我们知道了长高的原因,比如吃米饭是长高的唯一原因,那么如果我们想要长高,多吃米饭就可以了!因果推断应用到业务中也是一样,如果能发现某些事件与我们关心的业务指标间的因果关系,那么根据这些原因设计出有效的策略,就能得到我们想要的收益了。

阿里云专家博主、数据科学领域优质创作者、统计er在读 9409
上一篇: KaFSP: 大规模知识库会话问答的知识感知模糊语义分析
下一篇: JVM学习笔记二:类加载子系统
种花途。
博客等级 码龄10年 3粉丝 43原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值