统计分析知识之--描述性统计

数据统计之描述性统计：

变量类型

包括分类变量和连续变量。如果细分分类变量又可以分为名义变量和等级变量，名义变量没有高低贵贱之分，如男女性别，等级变量存在等级之间的划分，如成绩的优良、中等、及格等：

度量标准

分类变量：
分类变量使用频次和百分比（行汇总、列汇总呢、总计百分比）来进行度量，至于频次就可以使用列联表来进行展示，百分比可以用柱形图等。
连续变量：
连续变量的度量就比较复杂了，主要包含三个方面：集中趋势、离散程度、偏态和峰度，具体可见下图所示，图片来源于dmer老师，当然了有些时候为了方便看变量的分布会把连续变量分组，变成离散变量，然后看各个区间的数据分布。

----------------------集中趋势-----------------------

均值：
就是平均数，在这里不多讲，需要注意的一点是我们在求平均值的时候一般是剔除掉缺失值的。均值比较容易被大众理解，但是很容易被极值带偏，想起一个笑话：张村有个张千万，隔壁九个穷光蛋，平均起来算一算，人人都是张百万，所以说我们一般在变量基本符合正态分布的时候，才使用均值来对变量进行描述。
中位数：
就是对变量按照从小到大的排序，如果样本数量为奇数个就是最中间的那个数，如果样本数量是偶数个，就是最中间2个数的均值。中位数比较稳定，不容易受到极端值的影响，在样本左右偏的时候可以用中位数来进行度量。
众数：
就是样本中出现次数最多的那个数，这个一般在样本质量较好的情况下使用，比如有些时候你拿到数据，没太注意，人家用了9999来代替缺失值和异常值，这个时候一统计，可能就会出现一些问题，这个时候需要用到异众比率来衡量众数的代表性。
异众比率越大，说明非众数组的频数占总频数的比重越大，众数的代表性就越差；异众比率越小，说明非众数组的频数占总频数的比重越小，众数的代表性越好。

均值、中位数和众数之间的关系如下图所示，一般变量是对称分布的时候使用均值来度量，左偏和右偏使用中位数来进行度量。如果牵涉到建模，发现变量的概率密度函数左右偏的时候，一般取log将其转化成正态分布。

--------------------离散程度-----------------------

衡量一个变量的离散程度，可以用极差、方差、标准差、平均绝对偏差、四分位差、离散系数等指标来进行度量。
极差
极差 = 样本最大值 - 样本的最小值
方差
方差也没啥可讲的，只是分母下面是n-1，需要注意一下，因为牵涉到一个无偏估计的问题，如果样本量很少，特别是那种生物医学实验，一般对照样本量很少（50个以内），这个1就很重要了，对于现在上千上万的数据量而言，这个1其实基本上就没什么影响了，感兴趣的可以参考下面的博文，关于为什么分母是N-1的问题：
https://blog.youkuaiyun.com/aaronmorgan/article/details/87521392

标准差
没什么可说的哈，就是方差开根号。
平均绝对偏差

四分位差
四分位差 = 上四分位数 - 下四分位数，描述的是50%样本的离散程度，上四分位数的位置是3(n+1)/4，下四分位数的位置是(n+1)/4。那么四分位数怎么求呢？以下四分位数为例，假设有10个样本，先对它进行排序，然后下四分位数的位置(10+1)/4=2.75，那么下四分位数=第2个位置的值 + (第三个位置的值 - 第二个位置的值) * 0.75。
一般用箱线图来表达。

离散系数
当进行两个或多个资料离散程度的比较时，如果度量单位与均值相同，可以直接利用标准差来比较。如果单位和（或）平均数不同时，比较其离散程度就不能采用标准差，而需采用标准差与平均数的比值（相对值）来比较 ：

--------------------分布形状-----------------------

偏态系数
数据偏斜程度的测定。

SK表示偏斜系数：偏态系数小于0，因为平均数在众数之左，是一种左偏的分布，又称为负偏。偏态系数大于0，因为均值在众数之右，是一种右偏的分布，又称为正偏；当SK=0时，数据完全对称分布。在建模的时候一般认为|SK|<1，便认为他是服从正态分布的；一般说来，右边的变量取个log之后就能转化成正态分布，方便建模。
峰态系数
数据扁平程度的测定。

当K=3时，扁平程度适中；当K>3时为尖峰分布；当K<3时为扁平分布。