数据挖掘中所需的概率论与数理统计知识

分享一下我老师大神的人工智能教程。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到我们人工智能的队伍中来！https://blog.youkuaiyun.com/jiangjunshow

               

数据挖掘中所需的概率论与数理统计知识、上

分类： 30.Machine L&Data Mining 2012-12-17 19:24  22890人阅读  评论(72)  收藏  举报

目录(?)[+]

数据挖掘中所需的概率论与数理统计知识、上

  （ 关键词：微积分、概率分布、期望、方差、协方差、数理统计简史、大数定律、中心极限定理、正态分布）

导言：本文从微积分相关概念，梳理到概率论与数理统计中的相关知识，但本文之压轴戏在本文第4节（彻底颠覆以前读书时大学课本灌输给你的观念，一探正态分布之神秘芳踪，知晓其前后发明历史由来），相信，每一个学过概率论与数理统计的朋友都有必要了解数理统计学简史，因为，只有了解各个定理.公式的发明历史,演进历程.相关联系，才能更好的理解你眼前所见到的知识，才能更好的运用之。

前言

    一个月余前，在微博上感慨道，不知日后是否有无机会搞DM，微博上的朋友只看不发的围脖评论道：算法研究领域，那里要的是数学，你可以深入学习数学，将算法普及当兴趣。想想，甚合我意。自此，便从rickjin写的“正态分布的前世今生”开始研习数学。

    如之前微博上所说，“今年5月接触DM，循序学习决策树.贝叶斯，SVM.KNN，感数学功底不足，遂补数学，从‘正态分布的前后今生’中感到数学史有趣，故买本微积分概念发展史读，在叹服前人伟大的创造之余，感微积分概念模糊，复习高等数学上册，完后学概率论与数理统计，感概道：微积分是概数统计基础，概数统计则是DM&ML之必修课。”包括读者相信也已经感觉到，我在写这个Top 10 Algorithms in Data Mining系列的时候，其中涉及到诸多的数学概念与基础知识(例如此篇SVM文章内诸多max.s.t.对偶.KKT条件.拉格朗日.松弛因子等问题则皆属于数学内一分支：最优化理论与算法范畴内)，特别是概率论与数理统计部分。更进一步，在写上一篇文章的时候，看到机器学习中那么多距离度量的表示法，发现连最起码的期望，方差，标准差等基本概念都甚感模糊，于此，便深感数学之重要性。

    很快，我便买了一本高等教育出版社出版的概率论与数理统计一书，此书“从0-1分布、到二项分布、正态分布，概率密度函数，从期望到方差、标准差、协方差，中心极限定理，样本和抽样，从最大似然估计量到各种置信区间，从方差分析到回归分析，bootstrap方法，最后到马尔可夫链，以前在学校没开概率论与数理统计这门课，现在有的学有的看了”。且人类发明计算机，是为了辅助人类解决现实生活中遇到的问题，然计算机科学毕竟只发展了数十年，可在数学.统计学中，诸多现实生活问题已经思考了数百年甚至上千年，故，计算机若想更好的服务人类解决问题，须有效借鉴或参考数学.统计学。世间万事万物，究其本质乃数学，于变化莫测中寻其规律谓之统计学。

    话休絮烦。本文结合高等数学上下册、微积分概念发展史，概率论与数理统计、数理统计学简史等书，及rickjin写的“正态分布的前世今生”系列(此文亦可看作读书笔记或读后感)与wikipedia整理而成，对数据挖掘中所需的概率论与数理统计相关知识概念作个总结梳理，方便你我随时查看复习相关概念，而欲深入学习研究的课后还需参看相关专业书籍.资料。同时，本文篇幅会比较长，简单来说：

1. 第一节、介绍微积分中极限、导数，微分、积分等相关概念；
2. 第二节、介绍随机变量及其分布；
3. 第三节、介绍数学期望.方差.协方差.相关系数.中心极限定理等概念；
4. 第四节、依据数理统计学简史介绍正态分布的前后由来；
   
5. 第五节、论道正态，介绍正态分布的4大数学推导。
   

    5部分起承转合，彼此依托，层层递进。且在本文中，会出现诸多并不友好的大量各种公式，但基本的概念.定理是任何复杂问题的根基，所以，你我都有必要硬着头皮好好细细阅读。最后，本文若有任何问题或错误，恳请广大读者朋友们不吝批评指正，谢谢。

第一节、微积分的基本概念

    开头前言说，微积分是概数统计基础，概数统计则是DM&ML之必修课”，是有一定根据的，包括后续数理统计当中，如正态分布的概率密度函数中用到了相关定积分的知识，包括最小二乘法问题的相关探讨求证都用到了求偏导数的等概念，这些都是跟微积分相关的知识。故咱们第一节先复习下微积分的相关基本概念。

    事实上，古代数学中，单单无穷小、无穷大的概念就讨论了近200年，而后才由无限发展到极限的概念。

1.1、极限

    极限又分为两部分：数列的极限和函数的极限。

1.1.1、数列的极限

    定义  如果数列{xn}与常a 有下列关系:对于任意给定的正数e (不论它多么小), 总存在正整数N , 使得对于n >N 时的一切xn, 不等式 |xn-a |<e都成立, 则称常数a 是数列{xn}的极限, 或者称数列{xn}收敛于a , 记为或

    也就是说，

1.1.2、函数的极限

    设函数f(x)在点x0的某一去心邻域内有定义. 如果存在常数A, 对于任意给定的正数e (不论它多么小), 总存在正数d, 使得当x满足不等式0<|x-x0|<d 时, 对应的函数值f(x)都满足不等式     |f(x)-A|<e , 那么常数A就叫做函数f(x)时的极限, 记为

    也就是说，

    几乎没有一门新的数学分支是某个人单独的成果，如笛卡儿和费马的解析几何不仅仅是他们两人研究的成果，而是若干数学思潮在16世纪和17世纪汇合的产物，是由许许多多的学者共同努力而成。

    甚至微积分的发展也不是牛顿与莱布尼茨两人之功。在17世纪下半叶，数学史上出现了无穷小的概念，而后才发展到极限，到后来的微积分的提出。然就算牛顿和莱布尼茨提出了微积分，但微积分的概念尚模糊不清，在牛顿和莱布尼茨之后，后续经过一个多世纪的发展，诸多学者的努力，才真正清晰了微积分的概念。

    也就是说，从无穷小到极限，再到微积分定义的真正确立，经历了几代人几个世纪的努力，而课本上所呈现的永远只是冰山一角。

1.2、导数

    设有定义域和取值都在实数域中的函数 。若 在点 的某个邻域内有定义，则当自变量 在 处取得增量 （点 仍在该邻域内）时，相应地函数 取得增量 ；如果 与 之比当 时的极限存在，则称函数 在点 处可导，并称这个极限为函数 在点 处的导数，记为 。

    即：

    也可记为：，或。

1.3、微分

    设函数 在某区间 内有定义。对于 内一点 ，当 变动到附近的 （ 也在此区间内）时。如果函数的增量 可表示为 （其中 是不依赖于 的常数），而 是比 高阶的无穷小，那么称函数 在点 是可微的，且 称作函数在点 相应于自变量增量 的微分，记作 ，即 ， 是 的线性主部。通常把自变量 的增量 称为自变量的微分，记作 ，即 。 

    实际上，前面讲了导数，而微积分则是在导数 的基础上加个后缀 ，即为： 。

1.4、积分 

    积分是微积分学与数学分析里的一个核心概念。通常分为定积分和不定积分两种。

不定积分的定义

    一个函数 的不定积分，也称为原函数或反导数，是一个导数等于 的函数 ，即

    不定积分的有换元积分法，分部积分法等求法。

定积分的定义

    直观地说，对于一个给定的正实值函数 ，在一个实数区间 上的定积分 ：

    定积分与不定积分区别在于不定积分便是不给定区间，也就是说，上式子中，积分符号没有a、b。下面，介绍定积分中值定理。

    如果函数f(x)在闭区间[a,b]上连续, 则在积分区间[a,b]上至少存在一个点, 使下式成立：

    这个公式便叫积分中值公式。

牛顿-莱布尼茨公式

    接下来，咱们讲介绍微积分学中最重要的一个公式：牛顿-莱布尼茨公式。

     如果函数F (x)是连续函数f(x)在区间[a, b]上的一个原函数, 则