机器学习算法总结
关注
分享
扫一扫
文章平均质量分 75
manjhOK
这个作者很懒，什么都没留下…
展开
-
机器学习算法__1__牛顿法,拟牛顿法,DFP,BFGS,L-BFGS 原理及代码详解(1)
一.牛顿法Taylor公式 – Maclaurin公式:1.求根问题:牛顿法的最初提出是用来求解方程的根的。我们假设点x∗为函数f(x)的根，那么有f(x∗)=0。现在我们把函数f(x)在点xk处一阶泰勒展开有： 那么假设点xk+1为该方程的根，则有 那么就可以得到 这样我们就得到了一个递归方程，我们可以通过迭代的方式不断的让...原创 2018-04-16 21:59:26 · 1406 阅读 · 0 评论 -
卡尔曼滤波
https://blog.youkuaiyun.com/heyijia0327/article/details/17487467首先假设我们知道一个线性系统的状态差分方程为 其中x是系统的状态向量，大小为n*1列。A为转换矩阵，大小为n*n。u为系统输入，大小为k*1。B是将输入转换为状态的矩...转载 2019-04-26 15:57:15 · 12294 阅读 · 0 评论 -
scikit-learn GBDT参数
class sklearn.ensemble.GradientBoostingRegressor(loss='ls', learning_rate=0.1, n_estimators=100, subsample=1.0, criterion='friedman_mse', min_samples_split=2, min_samples_leaf=1, min_weight_fraction_l...原创 2018-08-24 14:52:48 · 2090 阅读 · 0 评论 -
sklearn中惩罚参数C和alpha对训练结果的影响
1.岭回归Ridge 回归通过对系数的大小施加惩罚来解决 普通最小二乘法 的一些问题。 岭系数最小化的是带罚项的残差平方和，其中， 是控制系数收缩量的复杂性参数： 的值越大，收缩量越大，这样系数对共线性的鲁棒性也更强较大的值则具有更强的正则化。 Alpha对应于其他线性模型中的C ^ -1，例如LogisticRegression或LinearSVC。2.lasso回归...原创 2018-08-30 16:42:20 · 7196 阅读 · 0 评论 -
HMM隐马尔可夫模型图文详解
https://www.cnblogs.com/skyme/p/4651331.htmlhttps://www.zhihu.com/question/20962240隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。是在被...转载 2018-07-31 09:21:23 · 2842 阅读 · 0 评论 -
cart树回归
树回归切分伪代码如果数据集中目标变量只有一种： 不进行后续切分，直接将此数据集构建为叶节点 对每个特征： 对每个特征值： 将数据集切分为两份 计算切分后两个子数据集的误差和 如果此误差和小于当前最小误差： 将当前切分设定为最佳切分并更新最小误差 如果数据集上的误差和当前最小误差之间没有达到设定的容许误差下降值： 不进行后续切分，直接将此数据集构建为叶节点 如...原创 2018-07-13 10:23:17 · 387 阅读 · 0 评论 -
梯度下降，随机梯度下降
import numpy as npimport randomimport jsonimport matplotlib.pyplot as pltfrom sklearn import linear_modelfrom sklearn.svm import SVRreg = linear_model.Ridge(alpha=.5)#linear_model.LinearRegressi...转载 2018-07-09 09:22:18 · 280 阅读 · 0 评论 -
EM算法基础推导及代码实现
出处：https://blog.youkuaiyun.com/m624197265/article/details/79254304需要阅读完整版的，请到我的下载资源里面去下载http://download.youkuaiyun.com/download/m624197265/10239447 需要阅读完整版的，请到我的下载资源里面去下载 http://download.youkuaiyun.com/download/...转载 2018-07-17 10:35:01 · 5185 阅读 · 5 评论 -
强化学习：Q-学习
这篇教程通过简单且易于理解的实例介绍了Q-学习的概念知识，例子描述了一个智能体通过非监督学习的方法对未知的环境进行学习。假设我们的楼层内共有5个房间，房间之间通过一道门相连，正如下图所示。我们将房间编号为房间0到房间4，楼层的外部可以被看作是一间大房间，编号为5。注意到房间1和房间4可以直接通到房间5。我们可以用图来表示上述的房间，将每一个房间看作是一个节点，每一道门看作是一条边（链路）。在这个例...转载 2018-05-29 11:23:37 · 2940 阅读 · 3 评论 -
DTW算法
Dynamic Time Warping（DTW）是一种衡量两个时间序列之间的相似度的方法，主要应用在语音识别领域来识别两段语音是否表示同一个单词。1. DTW方法原理在时间序列中，需要比较相似性的两段时间序列的长度可能并不相等，在语音识别领域表现为不同人的语速不同。而且同一个单词内的不同音素的发音速度也不同，比如有的人会把“A”这个音拖得很长，或者把“i”发的很短。另外，不同时间序列可能仅仅存在...转载 2018-05-28 14:00:00 · 10564 阅读 · 0 评论 -
机器学习算法___3___拉格朗日乘子法及KKT条件,对偶问题
1.约束优化方法之拉格朗日乘子法及KKT条件2.拉格朗日对偶问题转载 2018-04-27 12:11:07 · 358 阅读 · 0 评论 -
机器学习算法__2__人工神经网络及BP逆向传播算法参数更新公式纯手推导
原创 2018-04-25 21:32:03 · 404 阅读 · 0 评论 -
机器学习算法__1__牛顿法,拟牛顿法,DFP,BFGS,L-BFGS 原理及代码详解(4)
此上最后部分LBFGS算法的展开式有疑议正确参考如下图所示:补充几点：######################## 拟牛顿_L-BFGS算法#######################'''拟牛顿法(如BFGS算法)需要计算和存储海森矩阵，其空间复杂度是n2，当n很大时，其需要的内存量是非常大的。为了解决该内存问题，有限内存BFGS（即传说中的L-BFGS算法）横空出世。H0 是由...原创 2018-04-18 18:25:04 · 1175 阅读 · 0 评论 -
机器学习算法__1__牛顿法,拟牛顿法,DFP,BFGS,L-BFGS 原理及代码详解(3)
######################## 拟牛顿_BFGS算法########################算法描述:'''BFGS算法与DFP步骤基本相同，区别在于更新公式的差异'''def bfgs(fun,gfun,hess,x0): #功能：用BFGS族算法求解无约束问题：min fun(x) #输入：x0是初始点，fun,gfun分别是目标函数和梯度...原创 2018-04-18 18:19:31 · 1088 阅读 · 0 评论 -
机器学习算法__1__牛顿法,拟牛顿法,DFP,BFGS,L-BFGS 原理及代码详解(2)
牛顿法的优点是具有二阶收敛速度，缺点是：但当海森矩阵G(xk)=∇2f(x)G(xk)=∇2f(x) 不正定时，不能保证所产生的方向是目标函数在xkxk处的下降方向。特别地，当G(xk)G(xk)奇异时，算法就无法继续进行下去。尽管修正牛顿法可以克服这一缺陷，但修正参数的取值很难把握，过大或过小都会影响到收敛速度。牛顿法的每一步迭代都需要目标函数的海森矩阵G(xk)G(xk)，对于大规模问题其计算...原创 2018-04-18 18:14:54 · 1777 阅读 · 2 评论 -
liajie
https://blog.youkuaiyun.com/shuiyixin/article/details/82533849原创 2019-07-11 20:34:41 · 417 阅读 · 0 评论