longlovefilm的博客

 一 dropout作用：1 使深度模型变小，相当于减小参数个数，这样在小规模训练集的情况下自然可以防止过拟合；2 cannot rely on any one feature, so have to spread out weights. 每个node随机删除，这样可以防止模型过度依赖某几个node. 比如某一个node有四个输入参数x1 x2 x3 x4, 这样将四个输入的权重分散，相当于减小...

https://blog.youkuaiyun.com/sgfmby1994/article/details/68489944最近的一个月完成了TLD、CF、Muster等一些算法的学习和整理，由于是在word中整理，不便于再在csdn中编辑，就直接截图发上来了，尽请谅解。（其实还是我自己太懒了，不想再重新编辑一遍了...）如果csdn可以直接发布文档成博客就好了，也希望csdn能够尽快完善这一功能。本文是对...

参考资料及博客： 李航《统计学习方法》 Gradient Boosting wiki GBDT理解二三事 GBDT（MART） 迭代决策树入门教程 | 简介 前言 For Xgboost:在前几篇笔记中以及详细介绍了决策树及提升方法的相关原理知识，本文是提升树与梯度提升方法的学习笔记，同时阅读了网络上的一些关于GBDT的博文，加强理解。为了能好好理解Xgboost，一步步把决策树以及提升学习方法...

https://www.cnblogs.com/dengdan890730/p/5495078.htmlPCA算法是怎么跟协方差矩阵/特征值/特征向量勾搭起来的?PCA, Principle Component Analysis, 主成份分析, 是使用最广泛的降维算法.......(关于PCA的算法步骤和应用场景随便一搜就能找到了, 所以这里就不说了. )假如你要处理一个数据集, 数据集中的每条记...

http://blog.youkuaiyun.com/v_july_v/article/details/407187990 引言    一直想写Adaboost来着，但迟迟未能动笔。其算法思想虽然简单：听取多人意见，最后综合决策，但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午，在我组织的机器学习班 第8次课上Z讲师讲决策树与Adaboost，其中，Adaboost讲得酣畅淋漓，讲完后，我知道，...

支持向量机通俗导论（理解SVM的三层境界）作者：July 。致谢：pluskid、白石、JerryLead。说明：本文最初写于2012年6月，而后不断反反复复修改&优化，修改次数达上百次，最后修改于2016年11月。声明：本文于2012年便早已附上所有参考链接，并注明是篇“学习笔记”，且写明具体参考了pluskid等人的文章。文末2013年的PDF是为证。前言    动笔写这个支持向量机...

本文主要参考了了博客：http://blog.pluskid.org/?p=685  更详细的讲解可以参考原博客。      1、为什么引入核函数呢？      为了回答这个问题，我们先来说明什么是线性不可分数据。如下左图所示，如果数据能用一条直线或一个超平面分开的数据，就是线性不可分数据。那么什么是线性不可分数据呢？如下右图所示，我们无法用一条直线或一个超平面分开的数据。     很不幸的是我们...

SVM的水真是太深了，只能一点一点的解决了，今天这篇博客简单讲解SVM的目标函数从原始问题到对偶问题的转换。在这里再给大家一个大牛的博客链接：http://blog.pluskid.org/?p=6851、转化对偶问题上篇博客中我们得到的目标函数：（1）我们在优化时喜欢求最小值，将上式转化正等价的求最小值如下：      （2）对于（2）式，这是一个凸二次规划问题，我们可以使用拉格朗日乘数法进行优...

机器学习----SVM（1） 转载 2016年05月04日 15:39:49 ...

一个基本的python实现聚类的例子# -*- coding: utf-8 -*- """Excercise 9.4"""import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport sysimport randomdata = pd.read_csv('E:/study/python_ml/20180414/...

具体可以参考优酷 七月算法  播主的视频http://v.youku.com/v_show/id_XOTQ4MjUwOTY0.html?spm=a2hzp.8253869.0.0http://v.youku.com/v_show/id_XMTQwMjc4MjY1Mg==.html还有其他视频机器学习第三课（EM算法和高斯混合模型）极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。...

只是知道CNN是不够，我们需要对其进行解剖，继而分析不同部件存在的意义CNN的目的简单来说，CNN的目的是以一定的模型对事物进行特征提取，而后根据特征对该事物进行分类、识别、预测或决策等。在这个过程里，最重要的步骤在于特征提取，即如何提取到能最大程度区分事物的特征。如果提取的特征无法将不同的事物进行划分，那么该特征提取步骤将毫无意义。而实现这个伟大的模型的，是对CNN进行迭代训练。特征在图像中（举...

1 随机森林在大数据量和feature较多的时候效果比较好，反之的环境下还不如单独的决策树。森林中的每棵树都是独立的，99.9%不相关的树做出的预测结果涵盖所有的情况，这些预测结果将会彼此抵消。少数优秀的树的预测结果将会超脱于芸芸“噪音”，做出一个好的预测。...