机器学习这件小事
关注
分享
扫一扫
文章平均质量分 91
使用Python，手把手教你实现机器学习经典算法！
红色石头Will
个人网站：https://redstonewill.github.io/
展开
-
【通俗易懂】机器学习中 L1 和 L2 正则化的直观解释
L=Ein+λ∑j|wj|L=Ein+λ∑j|wj|L=E_{in}+\lambda\sum_j |w_j|∑jw2j≤C∑jwj2≤C\sum_jw_j^2\leq C∇Ein∇Ein\nabla E_in∇Ein+λw=0∇Ein+λw=0\nabla E_{in}+\lambda w=0∂∂w(12λw2)=λw∂∂w(12λw2)=λw\frac{\partia...原创 2018-06-21 09:08:41 · 124229 阅读 · 48 评论 -
机器学习中牛顿法凸优化的通俗解释
之前，我发过一篇文章，通俗地解释了梯度下降算法的数学原理和推导过程，推荐一看。链接如下：为什么局部下降最快的方向就是梯度的负方向？我们知道，梯度下降算法是利用梯度进行一阶优化，而今天我介绍的牛顿优化算法采用的是二阶优化。本文将重点讲解牛顿法的基本概念和推导过程，并将梯度下降与牛顿法做个比较。1. 牛顿法求解方程的根有时候，在方程比较复杂的情况下，使用一般方法求解它的根并不容易。...原创 2018-06-27 08:50:35 · 5429 阅读 · 3 评论 -
通俗易懂！白话朴素贝叶斯
P(瓜熟,瓜蒂脱落)=P(瓜熟|瓜蒂脱落)⋅P(瓜蒂脱落)=P(瓜蒂脱落|瓜熟)⋅P(瓜熟)P(瓜熟,瓜蒂脱落)=P(瓜熟|瓜蒂脱落)⋅P(瓜蒂脱落)=P(瓜蒂脱落|瓜熟)⋅P(瓜熟)P(瓜熟,瓜蒂脱落)=P(瓜熟|瓜蒂脱落)\cdot P(瓜蒂脱落)=P(瓜蒂脱落|瓜熟)\cdot P(瓜熟)P(瓜蒂脱落)=P(瓜蒂脱落|瓜熟)⋅P(瓜熟)+P(瓜蒂脱落|瓜生)⋅P(瓜生)P(瓜蒂脱落)...原创 2018-07-06 09:26:39 · 9769 阅读 · 3 评论 -
基于线性SVM的CIFAR-10图像集分类
个人网站：红色石头的机器学习之路 优快云博客：红色石头的专栏 知乎：红色石头 微博：RedstoneWill的微博 GitHub：RedstoneWill的GitHub 微信公众号：AI有道（ID：redstonewill）之前我用了六篇文章来详细介绍了支持向量机SVM的算法理论和模型，链接如下：1. 线性支持向量机LSVM2. 对偶支持向量机D...原创 2018-06-12 09:49:13 · 12691 阅读 · 5 评论 -
三分钟带你对 Softmax 划重点
个人网站：红色石头的机器学习之路 优快云博客：红色石头的专栏 知乎：红色石头 微博：RedstoneWill的微博 GitHub：RedstoneWill的GitHub 微信公众号：AI有道（ID：redstonewill）1. 什么是SoftmaxSoftmax 在机器学习和深度学习中有着非常广泛的应用。尤其在处理多分类（C > 2）问题，分...原创 2018-06-14 09:18:28 · 107417 阅读 · 30 评论 -
简单的交叉熵损失函数，你真的懂了吗？
个人网站：红色石头的机器学习之路 优快云博客：红色石头的专栏 知乎：红色石头 微博：RedstoneWill的微博 GitHub：RedstoneWill的GitHub 微信公众号：AI有道（ID：redstonewill）说起交叉熵损失函数「Cross Entropy Loss」，脑海中立马浮现出它的公式：L=−[ylog y^+(1...原创 2018-06-19 15:56:45 · 126955 阅读 · 23 评论 -
多元函数的泰勒(Taylor)展开式
多元函数的泰勒展开式实际优化问题的目标函数往往比较复杂。为了使问题简化，通常将目标函数在某点附近展开为泰勒(Taylor)多项式来逼近原函数。一元函数在点xkx_k处的泰勒展开式为： f(x)=f(xk)+(x−xk)f′(xk)+12!(x−xk)2f′′(xk)+onf(x) = f(x_k)+(x-x_k)f'(x_k)+\frac{1}{2!}(x-x_k)^2f''(x_k)+o^n原创 2017-04-20 15:17:22 · 227427 阅读 · 17 评论 -
机器学习中的维度灾难
一、介绍本篇文章，我们将讨论所谓的“维度灾难”，并解释在设计一个分类器时它为何如此重要。在下面几节中我将对这个概念进行直观的解释，并通过一个由于维度灾难导致的过拟合的例子来讲解。考虑这样一个例子，我们有一些图片，每张图片描绘的是小猫或者小狗。我们试图构建一个分类器来自动识别图片中是猫还是狗。要做到这一点，我们首先需要考虑猫、狗的量化特征，这样分类器算法才能利用这些特征对图片进行分类。例如我们可以通过翻译 2017-05-11 20:31:39 · 14394 阅读 · 4 评论 -
为什么局部下降最快的方向就是梯度的负方向？
个人网站：红色石头的机器学习之路 优快云博客：红色石头的专栏 知乎：红色石头 微博：RedstoneWill的微博 GitHub：RedstoneWill的GitHub 微信公众号：AI有道（ID：redstonewill）什么是梯度？对于梯度下降算法（Gradient Descent Algorithm），我们都已经很熟悉了。无论是在线性回...原创 2018-05-06 19:31:42 · 25242 阅读 · 18 评论 -
一看就懂的感知机算法PLA
本文所有的源代码均放在了我的GitHub上，需要的点击文末「阅读原文」获取。如果对你有用的话，别忘了Fork和Star哦！什么是感知机「Perceptron」PLA全称是Perceptron Linear Algorithm，即线性感知机算法，属于一种最简单的感知机（Perceptron）模型。感知机模型是机器学习二分类问题中的一个非常简单的模型。它的基本结构如下图所示：其...原创 2018-05-29 09:37:59 · 28650 阅读 · 10 评论 -
通俗解释优化的线性感知机算法：Pocket PLA
在上一篇文章：一看就懂的感知机算法PLA我们详细介绍了线性感知机算法模型，并使用pyhon实例，验证了PLA的实际分类效果。下图是PLA实际的分类效果：但是，文章最后我们提出了一个疑问，就是PLA只能解决线性可分的问题。对于数据本身不是线性可分的情况，又该如何解决呢？下面，我们就将对PLA进行优化，以解决更一般的线性不可分问题。1. Pocket PLA是什么?首先，我们来...原创 2018-06-04 23:44:09 · 3541 阅读 · 1 评论 -
距离产生美？k近邻算法python实现
个人网站：红色石头的机器学习之路 优快云博客：红色石头的专栏 知乎：红色石头 微博：RedstoneWill的微博 GitHub：RedstoneWill的GitHub 微信公众号：AI有道（ID：redstonewill）1. 什么是k近邻算法？k最近邻(k-Nearest Neighbor，kNN)分类算法是一个比较成熟也是最简单的机器学习(...原创 2018-06-07 13:39:32 · 2869 阅读 · 0 评论