Jack.Xu 专栏

摘要概率编程允许在用户自定义的概率模型上进行自动贝叶斯推断。新的MCMC(Markoc chain Monte Carlo)采样方法允许在复杂模型上进行推断。这类MCMC采样方法被称为HMC(Hamliltinian Monte Carlo)，但是其推断需要的梯度信息有时候是不获得的。PyMC3是一个用Python编写的开源的概率编程框架，使用Theano通过变分推理进行梯度计算，并使用了C实现加速

GLM：线性回归GLM即Generalized linear model，广义线性模型。 贝叶斯统计的一些软件工具包JAGS, BUGS, Stan 和 PyMC，使用这些工具包需要对将要简历的模型有充分的了解。线性回归的传统形式通常，频率学派将线性回归表述为： Y=Xβ+ϵ Y = X\beta + \epsilon 其中， YY 是我们期望预测的输出（因变量）； XX 是预测因子（自变量

数据产生上一篇文章中使用的是仿真数据，然而在真实数据中往往存在许多异常值，本文向仿真数据中添加一些异常值来探讨如何增加线性回归的鲁棒性。%matplotlib inlineimport pymc3 as pmimport matplotlib.pyplot as pltimport numpy as np像上一篇文章一样构造防止数据，但是添加一些异常值。size = 100true_inter

《贝叶斯统计 - 茆诗松》茆诗松《贝叶斯统计》目前看过的讲贝叶斯方法最通俗易懂的书了 下载了在这里第一章 先验分布和后验分布1.1 三种信息 统计学的两个主要学派：频率学派，贝叶斯学派 统计推断的三种信息：1）总体信息：总体分布，总体所属分布族提供的信息。2）样本信息：从总体抽样的样本提供的信息。通过对样本的加工处理对总体特征进行估计。-------------

# 背景在测量中经常会出现多组相关的结果，比如在计算心理学中对同一个任务中的多个对象进行测试的结果，然后需要估计一组参数来建立一个数学模型，用来描述这个测试任务中的行为。可以对每个测试对象进行独立建模（假设其间不具有共性），也可以将所有的测试对象的结果混在一起统一建模。分层建模兼具这两种方式的优点，可以对测试对象的共性进行建模也可以对每个对象独立的参数进行估计。本文中使用经典的层次线性回归的例子来预

本文翻译至Neural Networks in PyMC3 estimated with Variational Inference(c) 2016 by Thomas Wiecki。当前机器学习趋势当前机器学习界的三大趋势：概率编程，深度学习，大数据，在概率编程（Probabilistic Programming, PP）中，许多创新让变分推理（Variational Inference）更加广泛