jianhun987的博客

机器学习任务的一般步骤一、确定特征：（收集训练数据）1 > 数据探索：（为什么要进行数据探索呢：有助于选择 合适的 数据预处理方法 和 建模方法） （1）数据质量分析 -- 缺失值 -- 异常值 （2）特征分布特性的分析 -- 统计量 -- 直方图 （3）特征之间相关性分析...

数据标准化：（StandardScaler）对每维特征单独处理：x、i=xi−uσxi、=xi−uσx_i ^、 = \frac{x_i - \mathcal{u}}{\sigma}u=∑i=1Nxi,σ=∑i=1N(xi−u)2u=∑i=1Nxi,σ=∑i=1N(xi−u)2\mathcal{u} = \sum_{i=1}^{N}x_i , \sigma = \sum_{i=1...

在神经科学中: 神经元对其输入进行加权求和：f(x)=WTXf(x)=WTXf(x) = W^TX如果该和大于某个阀值f(x)>tf(x)>tf(x)>\mathcal{t},神经元发放脉冲在Logistic回归，定义Log Odd Ratio: LOR(X)=logp(y=1|X,W)p(y=0|X,W)=log[11+e−WTX1+e−WTXe−WTX]LOR(X)=lo...

基本模型： 线性模型：线性回归、logistic回归、svm非线性模型：（线性模型核化）、分类会归树集成学习模型：（随机森林、GBDT）数据预处理：数据清晰、特征工程、降维、聚类融合模型： 这是我们根据个人对数据的理解对模型进行融合...

监督学习（Supervised Learning） 分类（Classification）回归（Regression）排序（Ranking）非监督学习（Unsupervised Learning） 聚类 （Clutering）降维（Dimensionality Reduction）概率密度估计（density estimation）增强学习（Reinforcement Learni...

假设回归模型为：$y=f(X|\theta) 如在现行回归中：f(X|W)=WTXf(X|W)=WTXf(X|W)=W^TX,模型参数为W（线性组合权重）训练：根据训练数据{Xi,yi}Ni=1D{Xi,yi}i=1N\mathcal{D}\{X_i,y_i\}_{i=1}^{N}学习映射fff(模型参数)预测：对新的测试数据X进行预测：ŷ =f(X)y^=f(X)\hat{...

目标函数通常包括两项：损失函数 和 正则项J(θ)=1N∑i=1NL(f(Xi:θ),y)+R(θ)J(θ)=1N∑i=1NL(f(Xi:θ),y)+R(θ)J(\theta)=\frac{1}{N}\sum_{i=1}^{N}L(f(X_i:\theta),y) + R(\theta)

损失函数：度量模型预测值与真实值之间的差异对于回归问题：令残差r=f(X)−yr=f(X)−yr=f(X)-y L2损失：L2(r)=12r2L2(r)=12r2L_2(r)=\frac{1}{2}r^2L1损失：L1(r)=|r|L1(r)=|r|L_1(r)=|r|Huber损失：Lδ(r)={12r2,δ|r|−12δ2,if |r|<=δ&