<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[JN_rainbow的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/JN_rainbow</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; JN_rainbow]]></copyright><item><title><![CDATA[集成算法梳理——XGBoost]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/89194166</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/89194166</guid><author>JN_rainbow</author><pubDate>Wed, 10 Apr 2019 20:44:07 +0800</pubDate><description><![CDATA[文章目录算法原理损失函数分裂结点算法正则化对缺失值处理优缺点优点缺点应用场景xgb API
算法原理
算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数，去拟合上次预测的残差。当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数，最后只需要将每棵树对应的分数加起来就...]]></description><category></category></item><item><title><![CDATA[集成学习算法梳理——GBDT]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/89074766</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/89074766</guid><author>JN_rainbow</author><pubDate>Sun, 07 Apr 2019 20:44:45 +0800</pubDate><description><![CDATA[文章目录GBDT概述前向分步算法损失函数负梯度拟合损失函数分类算法正则化优缺点优点缺点sklearn APIsklearn.ensemble.GradientBoostingClassifier()应用场景参考资料
GBDT概述
GBDT(Gradient Boosting Decision Tree, 梯度提升决策树)不仅可以用于分类问题，还可以用于回归问题，GBDT的核心思想在于，每一棵树学习...]]></description><category></category></item><item><title><![CDATA[集成学习算法梳理——RF]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/88993591</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/88993591</guid><author>JN_rainbow</author><pubDate>Wed, 03 Apr 2019 13:52:54 +0800</pubDate><description><![CDATA[文章目录集成学习集成学习的理论基础PAC(probably approximately correct)，可能近似正确学习框架强可学习&amp;弱可学习主要算法Boosting、BaggingBoostingBaggingBootstrapBagging(Bootstrap aggregating)结合策略平均法投票法stackingblending随机森林随机森林推广Extra trees优缺点...]]></description><category></category></item><item><title><![CDATA[Connecting language and knowledge with heterogeneous representations for neural relation extraction]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/88972193</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/88972193</guid><author>JN_rainbow</author><pubDate>Tue, 02 Apr 2019 14:56:07 +0800</pubDate><description><![CDATA[This is a paper about relationship extraction on NAACL 2019. Connecting language and knowledge with heterogeneous representations for neural relation extraction
Problem
In the process of building a kn...]]></description><category></category></item><item><title><![CDATA[Resample方法]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/85709087</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/85709087</guid><author>JN_rainbow</author><pubDate>Thu, 03 Jan 2019 17:59:33 +0800</pubDate><description><![CDATA[文章目录BootstrapBaggingBoostingAdaBoost
Bootstrap
在原有的训练数据集上重复性地随机选取n个数据.
核心思想在于，给定训练集，当你认为给定的训练集不能够很好地反应数据的真实分布时，可以采用重采样的方法，来增大样本.
Bagging
bootstrap aggregating
在原有的训练数据集DDD上，采用bootstrap的方法独立选取mmm个训练集分别...]]></description><category></category></item><item><title><![CDATA[基于adaboost的人脸快速检测]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/85532736</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/85532736</guid><author>JN_rainbow</author><pubDate>Tue, 01 Jan 2019 12:52:52 +0800</pubDate><description><![CDATA[文章目录人脸检测方法基于肤色特征的检测高斯肤色模型肤色模型的缺点基于AdaBoost的快速人脸检测Haar-like矩形特征Haar-like特征的表示快速计算任意矩阵内所有像素的亮度之和AdaBoost基于AdaBoost的快速人脸检测基于分级分类器的加速策略分级分类器的构建
人脸检测方法

基于规则/知识方法
归纳描述人脸特征的规则，如灰度分布、比例关系、纹理信息等.
基于模板的方法
固定模板...]]></description><category></category></item><item><title><![CDATA[最大熵模型]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/85274280</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/85274280</guid><author>JN_rainbow</author><pubDate>Thu, 27 Dec 2018 10:58:08 +0800</pubDate><description><![CDATA[文章目录最大熵原理最大熵模型的定义最大熵模型的学习参考资料
最大熵原理
最大熵模型是由最大熵原理推导实现的.
最大熵原理认为，学习概率模型时，在所有可能的概率模型的中，即在所有可能的概率分布中，熵最大的模型时最好的模型. 当有约束条件时，就在满足约束条件的情况下选取熵最大模型.
假设离散随机变量X的概率分布为P(X)P(X)P(X)，则其熵为
H(P)=−∑xP(x)log⁡P(x)
H(P) =...]]></description><category></category></item><item><title><![CDATA[L1正则为什么会产生稀疏解]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/85273563</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/85273563</guid><author>JN_rainbow</author><pubDate>Thu, 27 Dec 2018 10:27:00 +0800</pubDate><description><![CDATA[文章目录正则化的本质L2正则化直观解释数学解释L1正则化直观解释数学解释
在机器学习中，当模型过于复杂时，为了防止产生过拟合的现象，最常用的方法时采用正则化，如L1正则和L2正则.
正则化的本质
L2正则就是在原来的损失函数的基础上加上权重参数的平方和.
L=L0+λ∑jwj2L = L_0 + \lambda\sum_j w_j^2L=L0​+λj∑​wj2​
其中L0L_0L0​时训练样本误差...]]></description><category></category></item><item><title><![CDATA[SVM和LR对比]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/85268744</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/85268744</guid><author>JN_rainbow</author><pubDate>Wed, 26 Dec 2018 21:00:25 +0800</pubDate><description><![CDATA[文章目录SVM和LR的相同之处SVM和LR的不同
SVM和LR的相同之处

二者都是监督学习方法.
二者都是分类算法.
二者都是线性分类算法，二者的分类决策面都是线性的，即求解一个超平面…
SVM可以通过核技巧拓展到非线性.
二者都是判别模型
判别模型不会计算联合概率，而是直接生成表示条件概率的判别函数. 生成模型先计算联合概率，然后通过贝叶斯转化为条件概率. 常用的生成模型有朴素贝叶斯、隐马尔科...]]></description><category></category></item><item><title><![CDATA[AdaBoost详解]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/85262050</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/85262050</guid><author>JN_rainbow</author><pubDate>Wed, 26 Dec 2018 14:49:43 +0800</pubDate><description><![CDATA[文章目录提升方法的思路强可学习和弱可学习PAC学习AdaBoostAdaBosst算法AdaBoost算法的训练误差分析前向分步算法前向分步算法和AdaBoost参考文献
提升方法的思路
对于一个复杂任务，将多个决策进行适当的综合所得出的判断，要比其中任何一个决策更为准确.
对于分类问题，提升方法的就是从弱学习方法出发，反复学习，得到一系列弱分类器，然后组合这些弱分类器，构成一个强分类器，大多数提...]]></description><category></category></item><item><title><![CDATA[transformer-pytorch实现]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/84929231</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/84929231</guid><author>JN_rainbow</author><pubDate>Sun, 09 Dec 2018 16:37:08 +0800</pubDate><description><![CDATA[transformer-pytorch实现

]]></description><category></category></item><item><title><![CDATA[逻辑斯谛回归(对数几率回归)]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/84927473</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/84927473</guid><author>JN_rainbow</author><pubDate>Sun, 09 Dec 2018 13:47:58 +0800</pubDate><description><![CDATA[文章目录LR简介损失函数参考
LR简介
逻辑斯谛回归是一种经典的线性分类方法，又被称为对数几率回归，其属于对数线性模型。
线性回归完成了数据的拟合，我们通过引入一个sigmoidsigmoidsigmoid函数，即可在线性回归模型的基础上实现分类。
sigmoid函数定义如下
y=11+e−z
y = \frac{1}{1 + e^{-z}}
y=1+e−z1​

以二分类任务为例，取y∈{0,1...]]></description><category></category></item><item><title><![CDATA[牛顿法与拟牛顿法]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/84724078</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/84724078</guid><author>JN_rainbow</author><pubDate>Sun, 02 Dec 2018 18:03:06 +0800</pubDate><description><![CDATA[牛顿法和拟牛顿法是求解无约束最优化的常用方法，有收敛速度快的优点. 牛顿法属于迭代算法，每一步需要求解目标函数的海赛矩阵的逆矩阵，计算复杂.  拟牛顿法通过正定矩阵近似海赛矩阵的逆矩阵，简化了这个过程.
牛顿法
对于无约束优化
min⁡x∈Rnf(x)
\min_{x\in R^n} f(x)
x∈Rnmin​f(x)
x∗x^*x∗是目标的极小值点.
假设f(x)f(x)f(x)有二阶连续偏导数...]]></description><category></category></item><item><title><![CDATA[《Attention Is All You Need》]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/84712660</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/84712660</guid><author>JN_rainbow</author><pubDate>Sun, 02 Dec 2018 14:31:00 +0800</pubDate><description><![CDATA[本文是对Google2017年发表于NIPS上的论文&quot;Attention is all you need&quot;的阅读笔记.
对于深度学习中NLP问题，通常是将句子分词后，转化词向量序列，转为seq2seq问题.


RNN方案
采用RNN模型，通常是递归地进行yt=f(yt−1,xt)y_t=f(y_{t-1},x_t)yt​=f(yt−1​,xt​)，优点在于结构简单，十分适合序列建模；缺点在于需要...]]></description><category></category></item><item><title><![CDATA[自然语言处理(四)神经网络语言模型及词向量]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/84674875</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/84674875</guid><author>JN_rainbow</author><pubDate>Sat, 01 Dec 2018 16:26:05 +0800</pubDate><description><![CDATA[神经网络语言模型
用句子SSS的概率p(S)p(S)p(S)来定量刻画句子。
统计语言模型是利用概率统计方法来学习参数p(wi∣w1…wi−1)p(w_i|w_1\dots w_{i-1})p(wi​∣w1​…wi−1​)，神经网络语言模型则通过神经网络学习参数.
统计语言模型的缺点

平滑技术错综复杂且需要回退至低阶，使得该模型无法面向更大的n元文法获取更多的词信息.
基于最大似然估计的语言模型...]]></description><category></category></item><item><title><![CDATA[自然语言处理(三)语言模型]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/84638113</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/84638113</guid><author>JN_rainbow</author><pubDate>Thu, 29 Nov 2018 19:01:47 +0800</pubDate><description><![CDATA[文章目录语言模型基本概念n元文法(n-gram)语言模型参数估计参数估计数据平滑性能评价语言模型应用改进的语言模型n-gram存在的问题基于缓存的语言模型基于混合方法的语言模型参考资料
语言模型基本概念
用数学的方法描述语言规律，即用句子S=w1,w2…wnS = w_1,w_2\dots w_nS=w1​,w2​…wn​的概率p(S)p(S)p(S)刻画句子的合理性.
对语句合理性判断：

规则...]]></description><category></category></item><item><title><![CDATA[拉格朗日对偶性]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/84587345</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/84587345</guid><author>JN_rainbow</author><pubDate>Wed, 28 Nov 2018 17:00:33 +0800</pubDate><description><![CDATA[拉格朗日对偶性
在机器学习中，我们经常会遇到给定某些约束条件求解某个函数最大值或最小值的情况，称之为约束最优化，通常的做法是利用拉格朗日对偶性将原始问题转化为对偶问题，通过解对偶问题进而得到原始问题的解. 在机器学习的很多方法中都有用到此方法，如最大熵模型和SVM.
原始问题
我们假设f(x),ci(x),h(x)f(x),c_i(x),h_(x)f(x),ci​(x),h(​x)是定义在RnR^...]]></description><category></category></item><item><title><![CDATA[自然语言处理(二)概率论信息论基础]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/84574783</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/84574783</guid><author>JN_rainbow</author><pubDate>Tue, 27 Nov 2018 22:22:20 +0800</pubDate><description><![CDATA[概率论
概率
概率的统计定义

频率
事件A在n次重复随机试验中出现的次数与n的比值。
概率
在同一条件下做的大量重复试验中，若事件A发生的频率总是在一个确定的常数p附近摆动，并且逐渐稳定于p，那么数p就表示事件A发生的可能性大小，并成为事件A的概率.

概率的公理化定义
设E是随机试验，Ω是E的样本空间，对于E 的每一个事件A赋予一个实数值，
表示事件发生的可能性（记为P(A)P(A)P(A)）...]]></description><category></category></item><item><title><![CDATA[自然语言处理(一)NLP概述]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/84574767</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/84574767</guid><author>JN_rainbow</author><pubDate>Tue, 27 Nov 2018 22:21:10 +0800</pubDate><description><![CDATA[NLP概述
NLP是利用计算机为工具，对人类特有的书面形式和口头形式的自然语言的信息进行各种类型处理和加工的技术.
NLP内容结构

NLP基础技术
词法分析
词法分析目的是从句子中分出单词，找出词汇的各个词素，从中获得单词的语言学信息并确定单词的词性. 词法分析是很多中文信息处理任务的必要步骤.

自动分词
命名实体识别
词性标注

句法分析
句法分析是对句子和短语结构进行分析，如句子的形式结构...]]></description><category></category></item><item><title><![CDATA[数据降维(四)ISOMAP]]></title><link>https://blog.youkuaiyun.com/JN_rainbow/article/details/84572424</link><guid>https://blog.youkuaiyun.com/JN_rainbow/article/details/84572424</guid><author>JN_rainbow</author><pubDate>Tue, 27 Nov 2018 19:58:05 +0800</pubDate><description><![CDATA[流形学习——ISOMAP算法
Isomap（Isometric Feature Mapping）是流行学习的一种，用于非线性数据降维，是一种无监督算法.
流形
流形是一个局部具有欧式空间性质的拓扑空间，流形能很好地近似任意高维的子空间.
测地线距离
测地距离(Geodesic Distance),在高维空间中度量距离不应当直接使用欧式距离,而应当使用测地距离.
测地线距离定义

邻近的点:输入空间...]]></description><category></category></item></channel></rss>