Dynomite的博客

机器学习(二)线性模型—线性回归2.1 线性回归  2.1.1 基本形式：  给定样本x=(x1,x2,...,xd)x=(x1,x2,...,xd)\textbf{x}=(x_1,x_2,...,x_d)，线性模型通过如下方式计算预测值： f(x)=w1x1+w2x2+...+wdxd+b=w⋅x+b(1)(1)f(x)=w1x1+w2x2+...+wdxd+b=w⋅x+bf(\tex...

机器学习(七)EM算法7.1 EM 已知X为观测变量，Z为隐变量，θθ\theta为模型参数，欲对θθ\theta做极大似然估计 LL(θ|X,Z)=lnP(X,Z|θ)(7.1.1)(7.1.1)LL(θ|X,Z)=lnP(X,Z|θ)LL(\theta|X,Z)=lnP(X,Z|\theta)\tag{7.1.1} Z为隐变量无法直接求解上式，转为求解： LL(θ|X)=lnP(X...

机器学习(六)采样方法6.1 蒙特卡洛数值积分 计算f(x)f(x)f(x)的积分时，∫baf(x)dx∫abf(x)dx\int_a^bf(x)dx复杂不好求，可采用蒙特卡洛积分来近似 思想：   ∫baf(x)dx=∫baf(x)q(x)q(x)dx∫abf(x)dx=∫abf(x)q(x)q(x)dx\int_a^bf(x)dx=\int_a^b\frac{f(x)}{q(x)}q...

机器学习(五)降维5.1 PCA 用d′d′d\prime维向量表示ddd维向量样本，使得降维后的数据与源数据平方误差最小（投影到低维子空间中，使得原始数据在这个子空间的各个方向方差最大化）从最大重构性推导：   假设样本进行了中心化，∑ixi=0∑ixi=0\sum_ix_i=0，假设投影变换后得到的新坐标系为{w1,w2,...,wd′}{w1,w2,...,wd′}\{w_1,w...

机器学习(一)1.基础1.1 数据集划分方式留出法 按正负例比例划分数据集，多次训练模型取平均交叉验证 k折交叉验证形成k个数据集，每次取其中的1k1k\frac{1}{k}作为验证集 Bootstrapping每次从样本容量为D的集合重复的取元素D次，形成新的样本容量为D数据集某一样样本始终不出现的概率为 (1−1D)D(1−1D)D(1-\frac{1}{D}...

机器学习(四)聚类算法4.1 K-means 基于原型的聚类 假设类的结构可以用一组原型来刻画 划分方法 目标函数： E=∑i=1k∑x∈ci||x−μi||2(4.1.1)(4.1.1)E=∑i=1k∑x∈ci||x−μi||2E=\sum_{i=1}^k\sum_{x\in c_i}||x-\mu_i||^2\tag{4.1.1} 贪心策略：   随机选择k初始均值向量   ...

机器学习(三)树模型3.1 划分选择 3.1.1 信息增益 熵的定义如下，熵越小，纯度越高 Entropy(D)=−∑k=1|y|pklogpk(3.1.1)(3.1.1)Entropy(D)=−∑k=1|y|pklogpkEntropy(D)=-\sum_{k=1}^{|y|}p_klogp_k\tag{3.1.1} 信息增益定义如下,属性a有v个取值 Gain(D,a)==Ent...

机器学习(二)线性模型—SVM2.3 SVM   2.3.1 概述   SVM在特征空间找到一个超平面使得超平面能将两类分开，且间隔最大(解唯一)   i. 当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机；   ii. 当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机；   iii. 当训练数据线...

机器学习(二)线性模型—LR2.2 LR   2.2.1 基础   LR是一种二分类模型，属于线性模型的一种，是广义线性分类模型，采用极大似然估计，具有概率可解释性   条件概率： P(y=1|x)=σ(w⋅x)(14)(14)P(y=1|x)=σ(w⋅x)P(y=1|x)=\sigma(w\cdot x)\tag{14} P(y=0|x)=1−σ(w⋅x)(15)(15)P(y=...

Target Encoding二分类问题：记号：  Target Y∈{0,1},Categorical feature XiTarget\text{ }Y\in\{0,1\}, Categorical \text{ }feature\text{ }X_iTarget Y∈{0,1},Categorical feature Xi...