python做统计分析_[原创博文] 用Python做统计分析 （Scipy.stats的文档）

这个文档说了以下内容，对python如何做统计分析感兴趣的人可以看看，毕竟Python的库也有点乱。有的看上去应该在一起的内容分散在scipy,pandas,sympy等库中。这里是一般统计功能的使用，在scipy库中。像什么时间序列之类的当然在其他地方，而且它们反过来就没这些功能。

随机变量样本抽取

84个连续性分布（告诉你有那么多，没具体介绍）

12个离散型分布

分布的密度分布函数，累计分布函数，残存函数，分位点函数，逆残存函数

分布的统计量：均值，方差，峰度，偏度，矩

分布的线性变换生成

数据的分布拟合

分布构造

描述统计

t检验，ks检验，卡方检验，正态性检，同分布检验

核密度估计（从样本估计概率密度分布函数）

Statistics (scipy.stats)

Introduction

介绍

Inthis tutorial we discuss many, but certainly not all, features of scipy.stats. The intention here is to provide a user with a working knowledge of this package. We refer to the reference manual forfurther details.

在这个教程我们讨论一些而非全部的scipy.stats模块的特性。这里我们的意图是提供给使用者一个关于这个包的实用性知识。我们推荐reference manual来介绍更多的细节。

Note: This documentationis work inprogress.

注意：这个文档还在发展中。

Random Variables

随机变量

There are two general distribution classes that have been implementedfor encapsulating continuous random variables anddiscrete random variables . Over 80 continuous random variables (RVs) and 10 discrete random variables have been implemented using these classes. Besides this, newroutines and distributions can easily added by the end user. (If you create one, please contribute it).

有一些通用的分布类被封装在continuous random variables以及discrete random variables中。有80多个连续性随机变量(RVs)以及10个离散随机变量已经用这些类建立。同样，新的程序和分布可以被用户新创建（如果你创建了一个，请提供它帮助发展这个包）。

All of the statistics functions are locatedin the sub-package scipy.stats and a fairly complete listing of these functions can be obtained using info(stats). The list of the random variables available can also be obtained from the docstring for the stats sub-package.

所有统计函数被放在子包scipy.stats中，且有这些函数的一个几乎完整的列表可以使用info(stats)获得。这个列表里的随机变量也可以从stats子包的docstring中获得介绍。

In the discussion below we mostly focus on continuous RVs. Nearly all applies to discrete variables also, but we pointout some differences here: Specific Points forDiscrete Distributions.

在接下来的讨论中，沃恩着重于连续性随机变量(RVs)。几乎所有离散变量也符合下面的讨论，但是我们也要指出一些区别在Specific PointsforDiscrete Distributions中。

Getting Help

获得帮助

First of all, all distributions are accompanied with help functions. To obtain just some basic information we can call

在开始前，所有分布可以使用help函数得到解释。为获得这些信息只需要使用简单的调用：>>>

>>> fromscipy import stats>>> fromscipy.stats import norm>>>print norm.__doc__

To find the support, i.e., upper and lower bound of the distribution, call:

为了找到支持，作为例子，我们用这种方式找分布的上下界>>>

>>> print 'bounds of distribution lower: %s, upper: %s' %(norm.a,norm.b)

bounds of distribution lower:-inf, upper: inf

We can list all methods and properties of the distribution with dir(norm). As it turnsout, some of the methods are private methods although they are not named as such (their name does not start with a leading underscore), for example veccdf, are only available for internalcalculation (those methods will give warnings when one tries to use them, and will be removed at some point).

我们可以通过调用dir(norm)来获得关于这个（正态）分布的所有方法和属性。应该看到，一些方法是私有方法尽管其并没有以名称表示出来（比如它们前面没有以下划线开头），比如veccdf就只用于内部计算（试图使用那些方法将引发警告，它们可能会在后续开发中被移除）

To obtain the real main methods, we list the methods of the frozen distribution. (We explain the meaning of a frozen distribution below).

为了获得真正的主要方法，我们列举冻结分布的方法（我们将在下文解释何谓“冻结分布”）>>>

>>> rv =norm()>>>dir(rv) # reformatted

['__class__', '__delattr__', '__dict__', '__doc__', '__getattribute__','__hash__', '__init__', '__module__', '__new__', '__reduce__', '__reduce_ex__','__repr__', '__setattr__', '__str__', '__weakref__', 'args', 'cdf', 'dist','entropy', 'isf', 'kwds', 'moment', 'pdf', 'pmf', 'ppf', 'rvs', 'sf', 'stats']

Finally, we can obtain the list of available distribution through introspection:

最后，我们能通过内省获得所有的可用分布。>>>

>>>import warnings>>> warnings.simplefilter('ignore', DeprecationWarning)>>> dist_continu = [d for d in dir(stats) if... isinstance(getattr(stats,d), stats.rv_continuous)]>>> dist_discrete = [d for d in dir(stats) if... isinstance(getattr(stats,d), stats.rv_discrete)]>>> print 'number of continuous distributions:', len(dist_continu)

number of continuous distributions:84

>>> print 'number of discrete distributions:', len(dist_discrete)

number of discrete distributions:12Common Methods

通用方法

The mainpublic methods forcontinuous RVs are:

连续随机变量的主要公共方法如下：

rvs: Random Variates

pdf: Probability Density Function

cdf: Cumulative Distribution Function

sf: Survival Function (1-CDF)

ppf: Percent Point Function (Inverse of CDF)

isf: Inverse Survival Function (Inverse of SF)

stats: Return mean, variance, (Fisher’s) skew, or (Fisher’s) kurtosis

moment: non-central moments of the distribution

rvs:随机变量

pdf：概率密度函。

cdf：累计分布函数

sf：残存函数（1-CDF）

ppf：分位点函数（CDF的逆）

isf：逆残存函数（sf的逆）

stats:返回均值，方差，（费舍尔）偏态，（费舍尔）峰度。

moment:分布的非中心矩。

Let’s take a normal RVasan example.

让我们取得一个标准的RV作为例子。>>>

>>> norm.cdf(0)0.5To compute the cdf at a number of points, we can pass a list or a numpy array.

为了计算在一个点上的cdf，我们可以传递一个列表或一个numpy数组。>>>

>>> norm.cdf([-1., 0, 1])

array([0.15865525, 0.5 , 0.84134475])>>> import numpy asnp>>> norm.cdf(np.array([-1., 0, 1]))

array([0.15865525, 0.5 , 0.84134475])

Thus, the basic methods suchaspdf, cdf, and so on are vectorized with np.vectorize.

Other generally useful methods are supported too:

相应的，像pdf,cdf之类的简单方法可以被矢量化通过np.vectorize.

其他游泳的方法可以像这样使用。>>>

>>> norm.mean(), norm.std(), norm.var()

(0.0, 1.0, 1.0)>>> norm.stats(moments = "mv")

(array(0.0), array(1.0))

To find the median of a distribution we can use the percent point function ppf, whichisthe inverse of the cdf:

为了找到一个分部的中心，我们可以使用分位数函数ppf，其是cdf的逆。>>>

>>> norm.ppf(0.5)0.0To generate asetof random variates:

为了产生一个随机变量集合。>>>

>>> norm.rvs(size=5)

array([-0.35687759, 1.34347647, -0.11710531, -1.00725181, -0.51275702])

Don’t think that norm.rvs(5) generates 5variates:

不要认为norm.rvs(5)产生了五个变量。>>>

>>> norm.rvs(5)7.131624370075814This brings us,infact, to the topic of the next subsection.

这个引导我们可以得以进入下一部分的内容。

Shifting and Scaling

位移与缩放（线性变换）

All continuous distributions take loc and scaleas keyword parameters to adjust the location and scale of the distribution, e.g. for the standard normal distribution the location is the mean and the scale isthe standard deviation.

所有连续分布可以操纵loc以及scale参数作为修正location和scale的方式。作为例子，标准正态分布的location是均值而scale是标准差。>>>

>>> norm.stats(loc = 3, scale = 4, moments = "mv")

(array(3.0), array(16.0))

In general the standardized distributionfor a random variable X is obtained through the transformation (X - loc) / scale. The default values are loc = 0 and scale = 1.

通常经标准化的分布的随机变量X可以通过变换(X-loc)/scale获得。它们的默认值是loc=0以及scale=1.

Smart use of loc and scale can help modify the standard distributionsin many ways. To illustrate the scaling further, the cdf of an exponentially distributed RV with mean 1/λ isgiven by

F(x)=1−exp(−λx)

By applying the scaling rule above, it can be seen that by taking scale= 1./lambda we getthe proper scale.

聪明的使用loc与scale可以帮助以灵活的方式调整标准分布。为了进一步说明缩放的效果，下面给出期望为1/λ指数分布的cdf。

F(x)=1−exp(−λx)

通过像上面那样使用scale，可以看到得到想要的期望值。>>>

>>> fromscipy.stats import expon>>> expon.mean(scale=3.)3.0The uniform distributionisalso interesting:

均匀分布也是令人感兴趣的：>>>

>>> fromscipy.stats import uniform>>> uniform.cdf([0, 1, 2, 3, 4, 5], loc = 1, scale = 4)

array([0. , 0. , 0.25, 0.5 , 0.75, 1. ])

Finally, recallfrom the previous paragraph that we are left with the problem of the meaning of norm.rvs(5). As it turns out, calling a distribution like this, the first argument, i.e., the 5, gets passed to setthe loc parameter. Let’s see:

最后，联系起我们在前面段落中留下的norm.rvs(5)的问题。事实上，像这样调用一个分布，其第一个参数，在这里是5，是把loc参数调到了5，让我们看：>>>

>>> np.mean(norm.rvs(5, size=500))4.983550784784704Thus, to explain the output of the example of the last section: norm.rvs(5) generates a normally distributed random variate with mean loc=5.

I prefer toset the loc and scale parameter explicitly, by passing the values as keywords rather than as arguments. This is less of a hassle as it may seem. We clarify thisbelow when we explain the topic of freezing a RV.

在这里，为解释最后一段的输出：norm.rvs(5)产生了一个正态分布变量，其期望，即loc=5.

我倾向于明确的使用loc,scale作为关键字而非参数。这看上去只是个小麻烦。我们澄清这一点在我们解释冻结RV的主题之前。