- 博客(14)
- 收藏
- 关注
RSS订阅转载 坐标下降
给定一个可微的凸函数，如果在某一点x，使得f(x)在每一个坐标轴上都是最小值，那么f(x)是一个全局的最小值。如果f(x)不可微，则不满足。同理：对所有的，其中g是可微的凸函数，每一个hi都是凸的，我们可以使用坐标下降寻求一个最小值。一 综述坐标下降法属于一种非梯度优化的方法，它在每步迭代中沿一个坐标的方向进行搜索，通过循环使用不同的坐标方法来达到目标函数的局部极小值。二 算法过程...
2018-08-30 16:30:54
701
转载 SVM对偶问题
一.关于优化问题的最基本的介绍 #优化问题这里面有很多东西，我先给出参考过的资料有，可以先看看这些资料自己总结一下，因为我觉得这部分内容很多人总结的都很好了：①《支持向量机导论》的第五章最优化理论②刚买的《统计学习方法》中的相关附录，不得不说这本书真的很棒③《An Introduction to Optimization》这本书专门讲最优化的，如果要系统理解我觉得可以看看，但我只看...
2018-08-30 15:35:22
1079
原创 决策树考点
1.随机森林随机选特征的作用RF的话，如果有一个特征和标签特别强相关。选择划分特征时，如果不随机的从所用特征中随机取一些特征的话，那么每一次那个强相关特征都会被选取。那么每个树都会是一样的。这就是随机森林随机选取一些特征的作用，让某些树，不选这个强相关特征。2.Bagging 意义bootstrap aggregating 自举汇聚法模型很好，variable很大。3.GBDT...
2018-08-26 17:13:06
230
原创 过拟合问题
过拟合：在训练集表现好，在测试集表现一塌糊涂。常用方法：数据，样本不够，如果现在的训练集只是所有样本空间的一个小小的部分，那么这个模型的泛化能力就非常差（边画图，边说） B 可以加正则项，L1，L2正则。L1还可以用来选择特征。因为L1的话会把某些不重要的特征压缩为0，相当于特征选择。因为（画图）L1约束是正方形的，经验损失最有可能和L1的正方形的顶点相交，L1比较有棱角。所以可以把某些...
2018-08-26 16:59:23
212
原创 深度学习名称注意
1.相似名词：去卷积也是反卷积。 合页损失函数也是hinge loss 也是最大间隔损失函数。2 基础名词 层误差，反向传播的误差
2018-08-24 17:27:25
190
原创 opencv遍历像素的方式
1.使用at<typename>(i,j)Mat类提供了一个at的方法用于取得图像上的点，它是一个模板函数，可以取到任何类型的图像上的点。一般typename用uchar表示灰度，vec3b表示彩色图。2.使用指针来遍历（更高效比第一个）通过image.ptr<uchar>(i)取出第i行的指针值得说明的是：程序中将三通道的数据转换为1通道，在建立在每一...
2018-08-24 17:23:22
2092
转载 梯度下降法描述
梯度下降法是为了找到最优的目标函数，寻找的过程就是沿着损失函数下降的方向来确定参数变化的方向。参数更新的过程就是一个不断迭代的过程，每次更新参数学到的函数都会使得误差损失越来越小，也就是说学习到的参数函数越来越逼近最优函数。参数的更新是按照损失函数的等高线的方向进行的。梯度下降是一阶导数，梯度下降是用平面来逼近局部。 牛顿法是二阶导数，牛顿法是用曲面逼近局部。梯度下...
2018-08-22 10:36:50
760
转载 k-means
kmeans一般在数据分析前期使用，选取适当的k，将数据聚类后，然后研究不同聚类下数据的特点。算法原理：(1) 随机选取k个中心点；(2) 在第j次迭代中，对于每个样本点，选取最近的中心点，归为该类；(3) 更新中心点为每类的均值；(4) j<-j+1 ,重复(2)(3)迭代更新，直至误差小到某个值或者到达一定的迭代步数，误差不变.空间复杂度o(N)时间复杂度o(...
2018-08-22 10:22:54
211
转载 PCA与LDA
注：这里说的LDA实际上讲的是Fisher linear discriminant analysis在machine learning领域，PCA和LDA都可以看成是数据降维的一种方式。但是PCA是unsupervised，也就是说不需要知道sample对应的label，而LDA是supervised，需要知道每一个数据点对应的label。下面分别解释PCA和LDA的基本原理1.PCA...
2018-08-21 19:45:25
514
原创 协同滤波
一、什么是协同过滤:人以类聚，物以群分类似于图像处理中使用超像素信息，协同过滤是利用集体智慧的一个典型方法。推荐系统的首要问题是了解你的用户，然后才能给出更好的推荐。概念：协同过滤一般是在海量的用户中发掘出一小部分和你品位（偏好）比较类似的，在协同过滤中，这些用户成为邻居，然后根据他们喜欢的其他东西组织成一个排序的目录作为推荐给你。核心的问题：如何确定一个用户是不是和你有相似的品位...
2018-08-21 16:09:25
5996
转载 linux 基本操作
一、打开文件vim +#：打开文件，并定位于第#行vim +：打开文件，并定位至最后一行vim +/PATTERN：打开文件，定位至第一次被PATTERN匹配的行的行首 二、关闭文件:q 退出:wq 保存并退出 等于 :x 等于 编辑模式下 zz:q! 不保存强行退出:w 保存:w! 强行保存 三、模式转换编辑模式—>...
2018-08-15 11:06:13
137
转载 计算机基础二
建立TCP需要三次握手才能建立，而断开连接则需要四次挥手。整个过程如下图所示：1. 先来看看如何建立连接的。首先Client端发送连接请求报文(SYN)， Server段接受连接后回复ACK报文，并为这次连接分配资源。[ACK+SYN] Client端接收到ACK报文后也向Server段发生ACK报文，并分配资源，这样TCP连接就建立了。2.那如何断开连接呢？简单的过程如...
2018-08-15 11:02:06
166
原创 计算机基础考的一
析构函数:析构函数名也应与类名相同，只是在函数名前面加一个位取反符~，例如~stud( )，以区别于构造函数。 它不能带任何参数，也没有返回值（包括void类型）。 只能有一个析构函数，不能重载。 如果用户没有编写析构函数，编译系统会自动生成一个缺省的析构函数（即使自定义了析构函数，编译器也总是会为我们合成一个析构函数; 如果自定义了析构函数，编译器在执行时会先调用自定义的析构函数再调用...
2018-08-15 10:44:17
232
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人