求道问术

经典定义个人理解学习：从任务中得到经验并应用经验改进下次任务监督学习目的：需要得到一个预测函数减少预测函数和真实输出的差值提高预测函数的泛化能力条件：输入（特征）和输出都是明确的操作通过算法调整预测函数参数来减少差值并提高泛化能力无监督学习目的：的从任务结果评价中得到经验并应用经验改进下次任务结果；手动调整预测函数参数随机调整预测函数参数：进化算法......

SVMsvm(support vector machine)：支持向量机介绍上图所示，正样本为实心圆点，负样本为空心圆点。正负样本特征为xi,xi∈Rdx_i, x_i\in \mathbb{R}^dxi​,xi​∈Rd，正负样本的类别（标签）是1或-1，即yi∈{1,−1}y_i\in \{1,-1\}yi​∈{1,−1}H:w.x+b=0\textbf{w}.\textbf{x}+b=0w.x+b=0，二分类问题的边界H1：w.x+b=1\textbf{w}.\textbf{x}+b=1w

原理算法说明特点ID3信息增益C4.5todoCARTtodo公式信息熵参考网址H(X)=−∑i=1nP(xi)log⁡2P(xi)H(X)=-\sum\limits_{i=1}^nP(x_i)\log_2P(x_i)H(X)=−i=1∑n​P(xi​)log2​P(xi​)条件熵H(X∣Y)=∑yP(y)H(X∣Y=y)=−∑yP(y)∑xP(x∣y)log⁡2(P(x∣y))\begin{aligned}H(X|Y)&=\su

熵熵的本质是一个系统内在的“混乱程度”系统内部越混乱熵越大信息熵描述信息的“混乱程度”信息越混乱熵越大人类语言信息熵举例信息A：无大就吗一贴句哦信息B：我想要吃海天盛筵信息A和信息B谁的熵大：信息A直观很混乱，所以信息A的信息熵>信息B的信息熵混乱 ≈\approx≈ 不确定，越混乱 越不确定，越不混乱越确定信息确定性与信息熵成反相关确定性与概率有关建模信息A：无大就吗一贴句哦信息B：我想要吃海天盛筵目的：要确定信息A和信息B的信息熵已知：信息确定

方向导数介绍梯度批量梯度下降（batch）小批量梯度下降（mini-batch）随机梯度下降（stochastic）对比批量/小批量梯度下降小批量/随机梯度下降批量/随机梯度下降

简介生物神经元人工神经元生物神经网络人工神经网络原理图片神经元anla_n^lanl​：l（layer）层数，n（number）编号，第几个神经元权重wi,jlw_{i,j}^lwi,jl​：i=上一层神经元编号=anl的ni=上一层神经元编号=a_n^l的ni=上一层神经元编号=anl​的n，j=下一层神经元编号=anl+1的nj=下一层神经元编号=a_n^{l+1}的nj=下一层神经元编号=anl+1​的n偏置（bias）偏置可以更好的拟合数据偏置值将激活函数

神经网络介绍xn=a1(n)x_n=a_1^{(n)}xn​=a1(n)​an(l)a_n^{(l)}an(l)​：l（layer）层数，n（number）编号，第几个神经元wi,j(l)w_{i,j}^{(l)}wi,j(l)​：i=上一层神经元编号=an(l)的ni=上一层神经元编号=a_n^{(l)}的ni=上一层神经元编号=an(l)​的n，j=下一层神经元编号=an(l+1)的nj=下一层神经元编号=a_n^{(l+1)}的nj=下一层神经元编号=an(l+1)​的nan(l)=g(

简介非监督学习聚类算法，样本自动聚集成类，使得成本函数最小，使得样本点到聚类中心的欧式距离最小原理过程初始化簇中心：随机选择k个数据对象作为初始簇中心聚类剩余数据对象：对剩余的每个对象，根据其与各簇中心的相似度（距离），将它赋给与其最相似（距离最近）的簇中心对应的簇判断成本函数（样本点到聚类中心的欧式距离）是否达到最优（样本点的聚类中心不再发生变化）或者达到最大迭代次数：达到最优或者最大迭代次数则退出，否则进入第4步重新计算新簇中心：计算每个簇中所有对象的平均值，作为新的簇中心相似

简介KNN(K Nearest Neighbors)可用于分类问题也可用于回归问题分类问题和回归问题又划分为是否带权重举例介绍已经有的类别红色的三角形和蓝色的正方形新输入的这个绿色点应该属于什么类型（红色的三角形还是蓝色的正方形）当K=3时，找到1个蓝色的正方形和2个红色的三角形，少数服从多数，认为新输入的绿色点是红色三角形类别极端情况，当K=1时，距离新输入的绿色点最近的那个图形是什么形状，新输入的绿色点就是什么形状极端情况，当K=训练集样本数时，整个训练集样本那个类别的图形数

原理预测函数：分类：0≤hθ(x)≤10\leq h_\theta(x)\leq10≤hθ​(x)≤1传统：hθ(x)≫1∣∣hθ(x)≪0h_\theta(x)\gg 1 || h_\theta(x)\ll 0hθ​(x)≫1∣∣hθ​(x)≪0传统预测函数转换为分类预测函数：传统预测函数hθ(x)h_\theta(x)hθ​(x)⟶sigmoid\stackrel{sigmoid}{\longrightarrow}⟶sigmoid​分类预测函数hθ(x)h_\theta(x)hθ​(x)

原理预测函数：hθ(x)=θ0+θ1x1+θ2x2+θ3x3h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+\theta_3x_3hθ​(x)=θ0​+θ1​x1​+θ2​x2​+θ3​x3​参数：θ0,θ1,θ2,θ3\theta_0, \theta_1, \theta_2, \theta_3θ0​,θ1​,θ2​,θ3​成本函数：最小二乘法J(θ0,θ1,θ2,θ3)=1m∑i=1m(hθ(x(i))−y(i))2J(\theta_0,\theta_