贾维斯的小屋

【注】转载于http://www.cnblogs.com/pinard/p/6117515.html1. scikit-learn SVM算法库使用概述　　　　scikit-learn中SVM的算法库分为两类，一类是分类的算法库，包括SVC， NuSVC，和LinearSVC 3个类。另一类是回归算法库，包括SVR， NuSVR，和LinearSVR 3个类。相关的类都包裹

1、基本原理1.1   Logistic分布X是随机变量，X服从Logistic分布即X满足下式：分布函数的图像如下：X取值在正负无穷大之间，P(X)在0-1之间取值，呈S型单调上升曲线。1.2   二项Logistic回归二项Logistic回归中，X取值为实数，Y取值为0或1。Logistic回归模型如下：x=

1、基本原理1.1 贝叶斯公式有训练集T={(x1,y1),(x2,y2)……,(xn,yn)},由P(X,Y)独立同分布产生。X为输入空间，即样本的属性。Y为输出空间，即样本的分类结果，设有k类，每类为ck。套用贝叶斯公式可得：其中P(Y=ck|X=x)为后验概率，P(Y=ck)为先验概率，P(X=x|Y=ck)为后验概率或似然概率，P(X=x)为先验概率。由

1、决策树学习有如下数据集：序号天气是否周末是否有促销销量1坏是是高2坏是是高3坏是是高4坏否是高5坏是是高6坏否是高7坏是否高8好是是

一、逻辑回归1、逻辑斯谛回归模型我们可以用线性模型z=wTx+bz=\boldsymbol{w}^{\mathrm{T}} \boldsymbol{x}+bz=wTx+b 来做回归任务，如果我们用此线性模型来做分类任务，需要用一个单调可微函数g(⋅)g(\cdot)g(⋅)将分类任务的真实标签yyy与线性回归模型的预测值联系起来：(1)y=g−1(wTx+b)y=g^{-1}\left(\...

一、贝叶斯决策论设输入空间X∈Rd\mathcal{X} \in \Bbb R^{d}X∈Rd是ddd维向量的集合，输出空间为标签集合Y={c1,c2,…,cN}\mathcal{Y}=\left\{c_{1}, c_{2}, \dots, c_{N} \right\}Y={c1​,c2​,…,cN​}，XXX是定义在输入空间上的随机变量，YYY是定义在输出空间上的随机变量，P(X,Y)P(X,...

一、EM算法EM算法是一种迭代算法，用于含有隐含变量的概率模型参数的极大似然估计。设Y为观测随机变量的数据，Z为隐藏的随机变量数据，Y和Z一起称为完全数据。观测数据的似然函数为：模型参数θ的极大似然估计为：这个问题只有通过迭代求解，下面给出EM算法的迭代求解过程：step1、选择合适的参数初值θ(0)，开始迭代step2、E步，求期望。θ(i)为第i次迭代θ

一、k近邻法，k-NNk近邻法是一种懒惰学习，没有明显的训练学习过程，对于输入的新的实例，根据其k个最近的训练实例来确定其所属类别。k值选择、距离度量和分类决策规则是k近邻法的三个基本要素。k值的选择会对算法结果产生重大影响，开始时k值越大分类性能会越来越好之后k再增大分类效果会逐渐下降，最优的k值并不好确定。距离度量是空间中两个实例点的距离，一般常用的是欧式距离。分类决策规则常常用的是多数表

【注】我也是刚刚接触强化学习的内容，对这部分理解不是很透彻，代码写的可能也会有不对或不完善的地方，还请各位批评指正。这个问题是个作业，这是我自己编的代码，老师提供的答案出来后再更。【问题描述】图中S为起点，G为终点，每次能前、后、左、右、左前、左后、右前、右后移动。当到达第4-9列的某一列时，会在某一状态的基础上向上被吹一格。如某一时刻到达了第4行第4列，则会被吹到第3行第4列。在

1. 基本概念1.1 向量及其转置一个ddd维列向量xxx及其转置xtx^txt可记作：(1)x=[x1x2⋮xd] 和xt=[x1x2…xd]x=\left[\begin{matrix}x_1 \\x_2 \\\vdots\\x_d\\ \end{matrix} \right]\ 和 x^t=\left[\begin{matrix}x_1 &amp...

一、线性回归给定由ddd个属性描述的样本x=(x1;x2;..;xd)\boldsymbol{x}=(x_1; x_2; .. ; x_d)x=(x1​;x2​;..;xd​)（列向量），数据集D={(x1,y1),(x2,y2),…,(xm,ym)}D=\left\{\left(\boldsymbol{x}_{1}, y_{1}\right),\left(\boldsymbol{x}_{2},...

一、偏差与方差设测试样本为x\bf xx，yDy_DyD​为x\bf xx在数据集中的标签，yyy为x\bf xx的真实标签，fff为训练集DDD上学习得到的模型，f(x;D)f({\bf x};D)f(x;D)为fff在x\bf xx上的预测输出。1、期望预测f‾(x)=ED[f(x;D)]\overline{f}({\bf x})=\mathbb{E}_{D}[f({\bf x} ; D...