xu_aml的博客

RBi 技术文档1、Getting started2、The bi_model class3、Generating a dataset4、The `libbi` class5、Fitting a model to data using PMCMC6、Analysing an MCMC run7、Predictions8、Sample observations9、Filtering10、Plotting11、Saving and loading libbi objects12、Creating libbi

Copula,最小二乘法及lasso回归, 岭回归Copula函数Sklar定理(1959)多元正态Copula函数多元t−Copulat-Copulat−Copula函数阿基米德Copula函数收缩方法(shrinkage method)最小二乘法岭回归lasso回归图Lasso方法的罚图模型之前讨论班准备的笔记，截取部分保存起来。Copula函数当边缘分布（marginal probability distribution）不同的随机变量（random variable），互相之间并不独立的时候，

Particle Filter 粒子滤波贝叶斯滤波重要性采样Sequential Importance Sampling (SIS) Filter重采样Sampling Importance Resampling Filter (SIR)人都喜欢自以为是。心外无事，就没事了。本文抄自:https://blog.youkuaiyun.com/heyijia0327/article/details/40899819贝叶斯滤波假设有一个系统,我们知道它的状态方程和测量方程如下状态方程:xk=fk(xk−1,vk−

python 机器学习 (四)、回归预测1、线性回归器step1：美国波士顿地区房价数据描述step2：美国波士顿地区房价数据分割step3：训练与测试数据标准化处理step4：使用线性回归模型LinearRegression 和 SGDRegressor分别对数据进行学习和预测step5：使用三种回归评价机制对模型回归能力进行评价2、支持向量机(回归)step1：使用三种不同核函数配置的支持向量机模型进行训练，并作出预测step2：对三种核函数配置下的支持向量机回归模型在相同测试集上进行性能评估3、kkk

python机器学习1、决策树step1：泰坦尼克号乘客数据库step2：使用决策树模型预测泰坦尼克号乘客的生还情况step3：决策树模型对泰塔尼克乘客是否生还的预测性能2、集成模型step1：使用集成模型对泰坦尼克号乘客是否生还的预测step2：集成模型对泰塔尼克乘客是否生还的预测性能1、决策树step1：泰坦尼克号乘客数据库# 导入pandas用于数据分析。import pandas as pd# 利用pandas的read_csv模块直接从互联网收集泰坦尼克号乘客数据。titanic =

Python 机器学习(二） 支持向量机，朴素贝叶斯，k 近邻(分类) python实现1、 支持向量机(分类）step1：手写体数据读取代码样例# 从sklearn.datasets里导入手写体数字加载器。from sklearn.datasets import load_digits# 从通过数据加载器获得手写体数字的数码图像数据并储存在digits变量中。digits = load_digits()# 检视数据规模和特征维度。digits.data.shape(1797L, 6

Python 机器学习(一）Logistic Regression，SGDC应用于预测Tips线性关系：f(w,x,b)=wTx+bf(\boldsymbol{w},\boldsymbol{x},b) = \boldsymbol{w}^T\boldsymbol{x}+bf(w,x,b)=wTx+bLogistic函数：g(z)=11+e−z g(z)= \frac{1}{1+e^{-z}}g(z)=1+e−z1​整合上面两式子得到 Logistic Regression:h(w,b)(x)=

MCMC方法的许多应用是关于贝叶斯统计分析问题的，这些贝叶斯统计分析中常常需要计算后验分布的一些数字特征，如后验期望、后验方差、后验众数、后验分位数等。蒙特卡洛抽样方法\textbf{蒙特卡洛抽样方法}蒙特卡洛抽样方法设 p(x∣θ)p(\boldsymbol{x}|\theta)p(x∣θ)表示样本的概率函数（或称为参数θ\thetaθ 的似然函数), π(θ)\pi(\theta)π(θ)...

本文为《蒙特卡罗方法理论和应用》笔记1.动态空间模型\textbf{1.动态空间模型}1.动态空间模型动态空间模型包括过程模型和观测模型，分别由状态方程和观测方程描述，状态方程和观测方程为：x(t)=a(x(t−1),u(t))y(t)=b(x(t),v(t))\begin{aligned} \boldsymbol{x}(t) &=a(\boldsymbol{x}(t-1), \b...

来自：https://www.cnblogs.com/ycwang16/p/5999034.html虽然Kalman滤波器已经被广泛使用，也有很多的教程，但我们在Bayes滤波器的框架上，来深入理解Kalman滤波器的设计，对理解采用Gaussian模型来近似状态分布的多高斯滤波器(Guassian Multi-Hyperthesis-Filter)等都有帮助。一. 背景知识回顾\t...

细说贝叶斯滤波：Bayes filters(一)概率论公式全概率公式：离散情况下：p(x)=∑yp(x,y)=∑yp(x∣y)p(y)p(x)=\sum_{y}p(x,y)=\sum_{y} p(x|y)p(y)p(x)=y∑​p(x,y)=y∑​p(x∣y)p(y)连续情况下：p(x)=∫p(x,y)dy=∫p(x∣y)p(y)dyp(x)=\int p(x,y)dy=\int ...

EM算法及其应用目录：一、极大似然估计二、混合高斯模型及其求解困境三、EM算法四、EM算法应用于高斯混合模型一、极大似然估计考虑一个高斯分布 p(x∣θ)p(\boldsymbol{x}|\theta)p(x∣θ), 其中θ=(μ,Σ)\theta=(\mu,\Sigma)θ=(μ,Σ). 样本集X={x1,...,xN}X=\{x_1,...,x_N\}X={x1​,...,xN​}中每个...

目录：一、贝叶斯点估计二、区间估计三、 假设检验四、预测推断五、假设检验与模型选择六、贝叶斯模型评价一、贝叶斯点估计条件方法后验分布π(θ∣x)\pi(\theta|x)π(θ∣x)是在样本xxx给定下θ\thetaθ的条件分布，基于后验分布的统计推断就意味着只考虑已出现的数据（样本观测值），而认为未出现的数据与推断无关，这一重要的观点被称为“条件观点”，基于这种观点提出的统计推断方法被...

EM\mathrm{EM}EM算法EM\mathrm{EM}EM算法是一种迭代算法，用于含有隐变量(hidden  variable)\text{(hidden\;variable)}(hiddenvariable)的概率模型参数的极大似然估计,其每次迭代分为两步：EEE步，求期望； MMM步，求极大；所以这一算法也称为期望极大算法(expectation&T...

支持向量机__线性不可分时的线性支持向量机假设给第一个特征空间上的训练数据集T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}T={(x1​,y1​),(...

非线性支持向量机与核函数本节包括以下内容1.非线性分类问题2.核函数的定义3.核技巧在支持向量机中的应用4.正定核   \; 核心问题：核函数满足什么条件才能称为核函数？5.常用核函数6.非线性支持向量机学习算法1.非线性分类问题非线性分类问题是指通过利用非线性模型才能很好地进行分类的问题。下图是一个例子，图一的左图是一个分类问题，由图可见，无法...

SVM序列最小最优化算法SMOSMO算法简介两个变量二次规划的求解方法变量的选择方法SMO算法流程SMO算法简介序列最小最优化(sequential minimal optimization SMO)算法 ，由Platt于1998年提出，可以高效地实现支持向量机学习问题.SMO算法要解如下凸二次规划的对偶问题min⁡α12∑i=1N∑j=1NαiαjyiyjK(xi,xj)−∑i=1Nαi...

隐马尔可夫模型隐马尔可夫模型(hidden  Markov  model,HMM)\text{(hidden\;Markov\;model,HMM)}(hiddenMarkovmodel,HMM)是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫随机生成观测序列的过程，属于生成模型。1 隐马尔可夫模型的基本概念定义1(隐马尔可夫模型...

马尔可夫模型的学习，根据训练数据是包括观测序列和对应的状态序列还是只有观测序列，可以分别由监督学习和非监督学习实现。本部分首先介绍监督学习，后介绍非监督学习Baum-Welch算法监督学习方法假设已给训练数据包含sss个长度相同的观测序列和对应的状态序列{(O1,I1),(O2,I2),⋯ ,(Os,Is)}\left\{\left(O_{1}, I_{1}\rig...

《 统计学习方法》笔记统计学习中需要掌握的概念一、损失函数统计学习常用的损失函数(1)(1)(1) 0−10-10−1损失函数 L(Y,f(X))={1,Y≠f(X)0,Y=f(X)L(Y, f(X))=\left\{\begin{array}{ll}{1,} & {Y \neq f(X)} \\ {0,} & {Y=f(X)}\end{array}\rig...

感知器学习日志感知器———二类分类的线性分类模型一、定义感知机假设输入空间 （特征空间）是X⊆Rn\mathcal{X} \subseteq \mathbf{R}^{n}X⊆Rn，输出空间是Y={+1,−1}\mathcal{Y}=\{+1,-1\}Y={+1,−1}，输入x∈Xx \in \mathcal{X}x∈X表示实例的特征向量，对应于输入空间（特征空间）的点；输出y∈Yy \in ...

kkk近邻算法学习日志第三章 kkk近邻算法kkk近邻算法：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的kkk个实例，这kkk个实例的多数属于某个类，就把该输入实例分为这个类。输入：训练数据集T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\left\{\left(x_{1}, y_{1}\right),\left(x_...

朴素贝叶斯法学习日志第四章 朴素贝叶斯法的学习和分类通过学习以下先验概率分布及条件概率分布学习联合分布概率分布P(X,Y)P(X,Y)P(X,Y)即学习以下先验概率分布及条件概率分布先验概率分布P(Y=ck),k=1,2,⋯ ,KP\left(Y=c_{k}\right), \quad k=1,2, \cdots, KP(Y=ck​),k=1,2,⋯,K条件概...

逻辑回归 (logistic regression)1 逻辑分布(logistic distribution)定义 设XXX是连续随机变量，XXX服从logistic分布是指，XXX具有下列分布函数和密度函数：F(x)=P(X⩽x)=11+e−(x−μ)/γF(x)=P(X \leqslant x)=\frac{1}{1+\mathrm{e}^{-(x-\mu) / \gamma}}F(x...

最大熵模型最大熵原理最大熵原理：学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型通常用约束条件来确定概率模型的集合，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。设离散随机变量XXX的概率分布是P(X)P(X)P(X)，其熵是H(P)=−∑xP(x)log⁡P(x)H(P)=-\sum_{x} P(x) \log P(x)H(P)=−x∑​P(x...

支持向量机-线性可分支持向量机支持向量机是一种二类分类模型.它的基本模型是定义在特征空间上的间隔最大的线性分类器。其学习策略是间隔最大化，可形式化为求解凸二次规划问题，也等价于正则化的合叶损失函数的最小化问题。支持向量机学习方法包含构建由简至繁的模型，可分为线性可分支持向量机、线性支持向量机、非线性支持向量机。线性可分支持向量机：当训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器...