Languedoc_Roussillon的博客

拉格朗日乘数法拉格朗日乘数法是求变量在一个或多个约束下的极值问题eg：已知双曲线 xy=3xy=3xy=3，求曲线上距离原点最近的点。由题我们可以得出如下式子：minf(x,y)=x2+y2 min f(x,y) =x^{2}+y^{2}minf(x,y)=x2+y2\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad subject...

1. 简介机器学习分为监督学习和无监督学习，监督学习又可分为生成模型和判别模型。当给定训练数据D，确定假设空间H种的最佳假设。通常我们的做法是寻找一个最佳分类面，当来了一个数据X时，判断其在各个分类上的概率，输出概率最大的分类，此种方法为判别模型，常见的生成模型有SVM，逻辑回归，K近邻等。朴素贝叶斯则属于生成模型，即先学习各分类下的特点，当来了一个数据X时，判断X在各个分类下的概率，概...

代码参考：https://github.com/apachecn/AiLearning/blob/master/blog/ml/6.支持向量机.md其他内容主要参考李航《统计学习方法》以下是函数的输入输出，也就是算法通过迭代最后得出bbb和α\alphaαsmoSimple Args: dataMatIn 数据集 cl...

梯度下降梯度梯度下降和梯度上升梯度下降梯度上升使用场景Python实现：梯度对多元函数的参数α\alphaα求偏导数，把各个偏导数结合在一起，就是梯度。对于多元函数f=(x1,x2,x3......xn)f=(x_1,x_2,x_3......x_n)f=(x1​,x2​,x3​......xn​)的梯度是一个长度为nnn的向量，向量中第kkk个值就是其对函数fff的偏导数。Δf(x1,x2...

主要参考斯坦福大学机器学习第五周内容单层神经元单层神经元(无中间层)可以用来计算逻辑或，逻辑与运算如图，θ0=−50,θ1=20,θ2=20\theta_0=-50,\theta_1=20 , \theta_2=20θ0​=−50,θ1​=20,θ2​=20,所以函数为hθ(x)=g(−50+20x1+20x2)h_\theta(x)=g(-50+20x_1+20x_2)h...