u014033218的专栏

统计学习基础回顾 1. 后验概率 2 2. . 极大似然法 (MLE)  信息论基础 1. （互）信息 2. 熵、条件熵 3. 交叉熵、相对熵  最大熵模型 1 1 . 凸优化理论推导 Maxent 2. 与 MLE 的关系  EM 算法 1 1 . GMM 实例 2. MLE 推导 我希望自己能通俗地把它理解或者说明白，但是，EM这个问题感觉真的不太好用通俗的语言去

GloVe stands for global vectors for word representation. It is an unsupervised learning algorithm developed by Stanford for generating word embeddings by aggregating global word-word co-occurrence mat...

基础 一切树模型的都是基于特征空间划分的条件概率分布，都具有方差大的特性，对量纲无要求，所以我们先介绍几种条件概率公式：一,条件概率二,全概率三,贝叶斯1. 决策树递归树，它将特征空间划分为互不相交的单元。递归划分特征 ，生成多个if-then的规则，每条规则对应一个从根节点到叶子节点的条件概率分布单元，该单元由总的条件概率分布计算得来，表示给定...

XGBoost: A Scalable Tree Boosting System Tianqi Chen University of Washington tqchen@cs.washington.edu Carlos Guestrin University of Washington guestrin@cs.washington.edu ...

机器学习资料合计（一）https://zhuanlan.zhihu.com/p/32057026今日头条算法原理（全）http://mp.weixin.qq.com/s/DXPMZN9SwKTxI4roaQmeMw今日头条资深算法架构师曹欢欢：本次分享将主要介绍今日头条推荐系统概览以及内容分析、用户标签、评估分析，内容安全等原理。系统概览推荐系统，如果用形式化的方式...

1998年，由Platt提出的序列最小最优化算法(SMO)可以高效的求解上述SVM问题，它把原始求解N个参数二次规划问题分解成很多个子二次规划问题分别求解，每个子问题只需要求解2个参数，方法类似于坐标上升，节省时间成本和降低了内存需求。每次启发式选择两个变量进行优化，不断循环，直到达到函数最优值。https://blog.youkuaiyun.com/m_buddy/article/details/524...

一、常用的评价指标对于回归模型效果的判断指标经过了几个过程，从SSE到R-square再到Ajusted R-square, 是一个完善的过程：SSE(误差平方和)：The sum of squares due to errorR-square(决定系数)：Coefficient of determinationAdjusted R-square：Degree-of-freedom ...

1. 问题描述​ 近来, 在python环境下使用xgboost算法作若干的机器学习任务, 在这个过程中也使用了其内置的函数来可视化树的结果, 但对leaf value的值一知半解; 同时, 也遇到过使用xgboost内置的predict对测试集进行打分预测, 发现若干样本集的输出分值是一样的. 这个问题该怎么解释呢? 通过翻阅Stack Overflow上的相关问题, 以及搜索到的gi...

https://link.jianshu.com/?t=https://arxiv.org/pdf/1609.04747.pdf在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arx...

RSS订阅原数据挖掘学习笔记之人工神经网络（二）多层网络和反向传播算法 我们知道单个感知器仅能表示线性决策面。然而我们可以将许多的类似感知器的模型按照层次结构连接起来，这样就能表现出非线性决策的边界了，这也叫做多层感知器，重要的是怎么样学习多层感知器，这个问题有两个方面： 1、 要学习网络结构； 2、 要学习连接权值 对于一...2014-03-27 21:04:51阅...

使用树集合进行特征转换¶将您的功能转换为更高维度的稀疏空间。然后训练这些特征的线性模型。First fit an ensemble of trees (totally random trees, a random forest, or gradient boosted trees) on the training set. Then each leaf of each tree in th...

FFT（FastFourier Transform，快速傅立叶变换）是离散傅立叶变换的快速算法，也是我们在数字信号处理技术中经常会提到的一个概念。在大学的理工科课程中，在完成高等数学的课程后，数字信号处理一般会作为通信电子类专业的专业基础课程进行学习，原因是其中涉及了大量的高等数学的理论推导，同时又是各类应用技术的理论基础。关于傅立叶变换的经典著作和文章非常多，但是看到满篇的复杂...

https://www.bilibili.com/video/av15944258?from=search&seid=11912212970276160225贝叶斯决策首先来看贝叶斯分类，我们都知道经典的贝叶斯公式：其中：p(w)：为先验概率，表示每种类别分布的概率；：类条件概率，表示在某种类别前提下，某事发生的概率；而为后验概率，表示某事发生...

John Mount∗ September 23, 2011 AbstractAs our colleague so aptly demonstrated ( http://www.win-vector.com/blog/2011/09/the-simplerderivation-of-logistic-regression/ (link) ) there is one derivatio...

1. 前言熟悉机器学习的童鞋都知道，优化方法是其中一个非常重要的话题，最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单，coding 方便，是训练模型的必备利器之一。这篇博客主要总结一下使用导数的最优化方法的几个基本方法，梳理梳理相关的数学知识，本人也是一边写一边学，如有问题，欢迎指正，共同学习，一起进步。2. 几个数学概念1) 梯度（一阶导数）...

Introduction to Conditional Random FieldsImagine you have a sequence of snapshots from a day in Justin Bieber’s life, and you want to label each image with the activity it represents (eating, sleepi...

凸优化算法 I: 内点法(interior point method)求解线性规划问题0前言内点法是一种处理带约束优化问题的方法，其在线性规划，二次规划，非线性规划等问题上都有着很好的表现。在线性规划的问题上，相对于鼎鼎大名的单纯形法，内点法是多项式算法，而单纯形法并非多项式算法。从实际应用的效果来说，内点法也达到了足以和单纯形法分庭抗衡的地步，尤其针对大规模的线性规划问题内点法有着更大的...

文 本 智 能 处 理 专 家达观数据联合创始人 于敬 目录达观数据介绍推荐系统概述搭建推荐系统的关键算法难点分析和解决方法深度学习在推荐系统中的应用进阶资源推荐数据型产品的标配-推荐系统淘宝淘宝为每位不同的用户呈现不同的首页商品网易云音乐网易云音乐根据用户的音乐口味推荐不同的歌曲今日头条今日头条根据每个用户的兴趣推荐不用的新闻资讯--文本：新闻、博客、小...

牛顿法凸优化当损失函数逼近于0的时候，求解参数的问题？1. 牛顿法求解方程的根有时候，在方程比较复杂的情况下，使用一般方法求解它的根并不容易。牛顿法通过迭代的方式和不断逼近的思想，可以近似求得方程较为准确的根。 牛顿法求根的核心思想是泰勒一阶展开。例如对于方程 f(x) = 0，我们在任意一点 x0 处，进行一阶泰勒展开： f(x)=f(x0)+(x−x0)f′(x0)...

项目中对离散特征,比如在广告系统中，用户的性别，用户的地址,注册资本,注册资本币种,所属行业，用户的兴趣爱好等等一系列特征，都是一些分类值。这些特征一般都无法直接应用在需要进行数值型计算的算法里.比如CTR预估中最常用的LR。那针对这种情况最简单的处理方式是将不同的类别映射为一个整数，比如男性是0号特征，女性为1号特征。这种方式最大的优点就是简单粗暴，实现简单。那最大的问题就是在这种处理方式中，各...

机器学习算法与Python学习机器学习系列阶段总结！1. 机器学习（1）之入门概念 2. 机器学习（2）之过拟合与欠拟合 3. 机器学习（3）之最大似然估计 4. 机器学习（4）之线性判别式（附Python源码） 5. 机器学习(5)之决策树ID3及Python实现 6. 机器学习(6)之朴素贝叶斯NB及实例 7. 机器学习(7)之感知机python实现 8. 机器学习(8)...

https://blog.youkuaiyun.com/wuaini_1314/article/details/79562400线性最小二乘问题，我们可以通过理论推导可以得到其解析解，但是对于非线性最小二乘问题，则需要依赖迭代优化的方法，。梯度下降主要是从一阶目标函数的一阶导推导而来的，形象点说，就是每次朝着当前梯度最大的方向收敛；二牛顿法是二阶收敛，每次考虑收敛方向的时候，还会考虑下一次的收敛的方向...

Logistic Regression（逻辑回归）原理及公式推导https://blog.youkuaiyun.com/programmer_wei/article/details/52072939逻辑回归原理详细推导https://blog.youkuaiyun.com/qq_38923076/article/details/82925183逻辑回归跟最大熵模型到底有啥区别呢？简单粗暴的回答是：...

四. 经典流形学习算法：Isomap：等距映射。前提假设为低维空间中的欧式距离等于高维空间中的侧地线距离，当然该算法具体实施时是高维空间中较近点之间的测地线距离用欧式距离代替，较远点距离用测地线距离用最短路径逼近。LLE:局部线性嵌入。前提假设是数据所在的低维流形在局部是线性的，且每个采样点均可以利用其近邻样本进行线性重构表示。LE：拉普拉斯特征映射。前提假设是在高维中很近的点投影到低...

局部线性嵌入-用户特征降维，相对于PCA，对非线性结构的数据拥有更好的保持原始数据结构的能力，它主要利用了总体非线性分布的数据，在某个局部范围数线性分布的，对这个局部数据进行PCA降维，就好像地球是圆的，但地球上的操场可以是平面的。LLE算法的原理如下：所谓LLE即”local linear embedding”的降维算法，在处理所谓的流形降维的时候，效果比PCA要好很多。下面介绍具体实现方法...

http://blog.youkuaiyun.com/hk_jh/article/details/8961449主题wxPythonpytesser是谷歌OCR开源项目的一个模块，在python中导入这个模块即可将图片中的文字转换成文本。pytesser调用了tesseract。在python中调用pytesser模块，pytesser又用tesseract识别图片中的文字。下...

一、探讨识别图形验证码可以说是做爬虫的必修课，涉及到计算机图形学，机器学习，机器视觉，人工智能等等高深领域……简单地说，计算机图形学的主要研究内容就是研究如何在计算机中表示图形、以及利用计算机进行图形的计算、处理和显示的相关原理与算法。图形通常由点、线、面、体等几何元素和灰度、色彩、线型、线宽等非几何属性组成。计算机涉及到的几何图形处理一般有 2维到n维图形处理，边界区分，...

gbdt 的算法的流程？ gbdt 如何选择特征 ？ gbdt 如何构建特征 ？ gbdt 如何用于分类？ gbdt 通过什么方式减少误差 ？ gbdt的效果相比于传统的LR，SVM效果为什么好一些 ？ gbdt 如何加速训练？ gbdt的参数有哪些，如何调参 ？ gbdt 实战当中遇到的一些问题 ？ gbdt的优缺点 ？GBDT 详解https://blog.csdn....

树模型总结1.树模型基础介绍。 什么是树模型？ 一种基于特征空间划分的具有树形分支结构的模型。 树模型的特点？ 方差大、对量纲没有要求、由多条规则组成、能够处理数值型和类别型数据、有较高的解释性。 树模型的优点？ 1）需要准备的数据量不大。 2）算法时间的复杂度是用于训练决策树的数据点的对数。 3）能够处理数值型和类别型数据。 4）相对对神经网络，解释性比较强。 ...