Allure Love的博客

1.快捷键https://blog.youkuaiyun.com/breeze_blows/article/details/84192374

在知乎上看到一段介绍卷积神经网络的文章，感觉讲的特别直观明了，我整理了一下。首先介绍原理部分。       通过一个图像分类问题介绍卷积神经网络是如何工作的。下面是卷积神经网络判断一个图片是否包含“儿童”的过程，包括四个步骤：图像输入（InputImage）→卷积（Convolution）→最大池化（MaxPooling）→全连接神经网络（Fully-ConnectedNeural Network...

第一部分：中文翻译第二部分：英文原文

详解softmax函数以及相关求导过程忆臻哈尔滨工业大学 计算机科学与技术博士在读303 人赞了该文章这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流！一、softmax函数softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softm...

一、在了解正则化之前，先引入一个概念“过拟合”定义给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h的错误率小，那么就说假设h过度拟合训练数据。也就是说 一个假设在训练数据上能够获得比其他假设更好的拟合， 但是在训练数据外的数据（试验集）集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。出现这种现象的主要原...

说蒙特卡罗规划方法的思想挺简洁的，但我在理解它的实现过程时我还是费了些功夫。这里主要以简单的四子棋为例描述一下蒙特卡罗方法是如何解决人机博弈这一类问题的。 UCT算法是蒙特卡罗规划方法的改进，是将UCB1算法（信心上限算法）思想用于蒙特卡罗规划的特定算法，它比单纯的蒙特卡罗规划更容易获得最优解。首先贴一段伪代码：这段伪代码来自于一本我也不知道名字的书的第八章——蒙特卡罗博弈方法。首...

策略迭代与值迭代都属于强化学习里面策略求解中的动态规划方法。其区别是什么呢。首先看一张图片： 首先看策略迭代：  １.initialization 初始化所有状态的v(s)以及π(s)（初始化为随机策略） 2.poicy evaluation 用当前的v(s)对当前策略进行评估，计算出每一个状态的v(s)，直到v(s)收敛，才算训练好了这个状态价值函数V(s) 3.policy...

1. 基于TextRank的关键词提取　　关键词抽取的任务就是从一段给定的文本中自动抽取出若干有意义的词语或词组。TextRank算法是利用局部词汇之间关系（共现窗口）对后续关键词进行排序，直接从文本本身抽取。其主要步骤如下：　　（1）把给定的文本T按照完整句子进行分割，即　　（2）对于每个句子，进行分词和词性标注处理，并过滤掉停用词，只保留指定词性的单词，如名词、动词、形容词，即，其...

方差（variance)：衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。                       概率论中的方差表示方法 ：                       样本方差，无偏估计、无偏方差（unbiased variance）。...

设卷积之前，过程如下：则，1，2,3,4只是标号，不是数值则有：C1 = P1K4 + P2K3 + P4K2 + P5K1C2 = P2K4 + P3K3 + P5K2 + P6K1C3 = P4K4 + P5K3 + P7K2 + P8K1C4 = P5K4 + P6K3 + P8K2 + P9K1 则下面根据这个前向计算的步骤来分解出反向传播的步骤：...

　在求解最优化问题中，拉格朗日乘子法（Lagrange Multiplier）和KKT（Karush Kuhn Tucker）条件是两种最常用的方法。在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。　　我们这里提到的最优化问题通常是指对于给定的某一函数，求其在指定作用域上的全局最小值(因为最小值与最大值可以很容易转化，即最大值问题可以转化成最小值问题)。提到KKT条件一般会附带...

配置文件内容如下：c.NotebookApp.ip='*'c.NotebookApp.password=u''c.NotebookApp.open_browser=Falsec.NotebookApp.port=9000c.NotebookApp.allow_remote_access = True关于IP和端口点击打开链接点击打开链接...

1.ID3决策树算法https://blog.youkuaiyun.com/qq_36330643/article/details/774154512.C4.5决策树算法https://blog.youkuaiyun.com/zhihua_oba/article/details/706326223.GBDT详解基于残差的gbdt是一种特殊的gbdt模型，它的损失函数是平方损失函数，常用来处理回归类的问...

https://www.zhihu.com/search?type=content&q=padding%3DSAME

前言：一元线性回归是数据挖掘的基础模型，其中包含了非常重要的数学回归的概念，是学习多元回归，广义线性回归的基础。本文主要讲解1）基础原理2）数学推导3）R语言演示，来介绍一元线性回归。关键词：一元线性回归基础原理、最小二乘法、数学推导、R语言整体思路：根据已知点求一条直线，希望直线与各个点距离之和为最小，根据最小二乘法算出最小时直线的参数。正文：一、基础原理：假设已知铅笔销量和时代的关系，如下图散...

Apriori算法是一种用于关联规则挖掘（Association rule mining）的代表性算法，它同样位居十大数据挖掘算法之列。关联规则挖掘是数据挖掘中的一个非常重要的研究方向，也是一个由来已久的话题，它的主要任务就是设法发现事物之间的内在联系。欢迎关注白马负金羁的博客 http://blog.youkuaiyun.com/baimafujinji，为保证公式、图表得以正确显示，强烈建议你从该地址上查...

上节我们讨论到解SVM问题最终演化为求下列带约束条件的问题： minW(α)=12(∑i,j=1Nαiyiαjyjxi∗xj)−∑i=1Nαis.t.0≤αi≤C∑i=1Nαiyi=0问题的解就是找到一组αi=(α1,α2,...,αn)使得W最小。现在我们来看看最初的约束条件是什么样子的： 1−yi(Wxi+b)≤0这是最初的一堆约束条件吧，现在有多少个约束条件就会有多少个αi。那么KKT条件的...

在之前介绍过决策树的ID3算法实现，今天主要来介绍决策树的另一种实现，即CART算法。 Contents    1. CART算法的认识   2. CART算法的原理   3. CART算法的实现  1. CART算法的认识    Classification And Regression Tree，即分类回归

前言:      最近打算稍微系统的学习下deep learing的一些理论知识，打算采用Andrew Ng的网页教程UFLDL Tutorial，据说这个教程写得浅显易懂，也不太长。不过在这这之前还是复习下machine learning的基础知识，见教程网页。内容其实很短，每小节就那么几分钟，且讲得非常棒。教程中的一些术语:      Model represe

本篇部分代码的下载地址：https://github.com/frombeijingwithlove/dlcv_for_beginners/tree/master/chap5上篇：给深度学习入门者的Python快速教程 - 基础篇5.3 Python的科学计算包 - Numpynumpy(Numerical Python extensions)是一个第三方的

无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行了，没错，这是专门为程序员写的文章。虽然文中会有

1.下载anaconda4.2 版本网址：http://www.bubuko.com/infodetail-2153091.html2.安装成功后在cmd输入：conda create -n tensorflow python=2.73.继续输入命令激活tensorflow环境：activate tensorflow4接下来你可以选择安装CPU版本tensorflow，也可以安装GPU

这是使用 TensorFlow 实现流行的机器学习算法的教程汇集。本汇集的目标是让读者可以轻松通过案例深入 TensorFlow。这些案例适合那些想要清晰简明的 TensorFlow 实现案例的初学者。本教程还包含了笔记和带有注解的代码。项目地址：https://github.com/aymericdamien/TensorFlow-Examples教程索引

原文见 http://blog.youkuaiyun.com/acdreamers/article/details/27365941Logistic回归为概率型非线性回归模型，是研究二分类观察结果与一些影响因素之间关系的一种多变量分析方法。通常的问题是，研究某些因素条件下某个结果是否发生，比如医学中根据病人的一些症状来判断它是否患有某种病。 在讲解Logisti

机器学习中的范数规则化之（一）L0、L1与L2范数zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09        今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。

k-近邻算法（kNN）工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本中每一数据与所属分类的对应关系，输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前K个相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k...

今天，我来讲解的是决策树。对于决策树来说，主要有两种算法：ID3算法和C4.5算法。C4.5算法是对ID3算法的改进。今天主要先讲ID3算法，之后会讲C4.5算法和随机森林等。 Contents      1. 决策树的基本认识     2. ID3算法介绍     3. 信息熵与信息增益     4. ID3算法的C++实现

朴素贝叶斯分类算法1、朴素贝叶斯分类算法原理1.1、概述贝叶斯分类算法是一大类分类算法的总称贝叶斯分类算法以样本可能属于某类的概率来作为分类依据朴素贝叶斯分类算法是贝叶斯分类算法中最简单的一种注：朴素的意思是条件概率独立性P(A|x1x2x3x4)=p(A|x1)*p(A|x2)p(A|x3)p(A|x4)则为条件概率独立P(xy|z)=p(xyz)/p(z)=p(xz)/p(z)*p(yz)/p...

一：Sigmoid函数和Logistic回归分类器1：Sigmoid函数单位阶跃函数（或者称为海维塞德阶跃函数）：在二分问题下，函数的输出类别是0和1，Simoid函数就是属于这种函数其函数表达式为：其显示的图象为：                            2：Logistic回归分类器Simoid函数的输入记为：z=w0x0 + w1x1 + w2x2 .... + wnxn如果采...

写在之前支持向量机（SVM），一个神秘而众知的名字，在其出来就受到了莫大的追捧，号称最优秀的分类算法之一，以其简单的理论构造了复杂的算法，又以其简单的用法实现了复杂的问题，不得不说确实完美。 本系列旨在以基础化的过程，实例化的形式一探SVM的究竟。曾经也只用过集成化的SVM软件包，效果确实好。因为众人皆说原理复杂就对其原理却没怎么研究，最近经过一段时间的研究感觉其原理还是可以理解，这里希望以一个从...

上节我们探讨了关于拉格朗日乘子和KKT条件，这为后面SVM求解奠定基础，本节希望通俗的细说一下原理部分。一个简单的二分类问题如下图：  我们希望找到一个决策面使得两类分开，这个决策面一般表示就是WTX+b=0,现在的问题是找到对应的W和b使得分割最好，知道logistic分类 机器学习之logistic回归与分类的可能知道，这里的问题和那里的一样，也是找权值。在那里，我们是根据每一个样本的输出值与...

C4.5是机器学习算法中的另一个分类决策树算法，它是基于ID3算法进行改进后的一种重要算法，相比于ID3算法，改进有如下几个要点：用信息增益率来选择属性。ID3选择属性用的是子树的信息增益，这里可以用很多方法来定义信息，ID3使用的是熵（entropy， 熵是一种不纯度度量准则），也就是熵的变化值，而C4.5用的是信息增益率。在决策树构造过程中进行剪枝，因为某些具有很少元素的结点可