- 博客(5)
- 收藏
- 关注
RSS订阅原创 牛顿法与拟牛顿法学习心得
1. 引言 在logistics回归中，我们通常使用梯度下降法（Gradient Decend）来优化目标函数。但梯度下降法的策略实际上是比较片面的，因为它只使用了一阶导信息，搜索方向（梯度方向）比较偏向于局部信息。所以，我们引入了牛顿法。 这里推荐一个牛顿法的讲解系列Blog，讲的很好，深入浅出，个人认为比李航大神的推导还要更详细一点。 https://blog.youkuaiyun.com/itplus/...
2018-11-12 16:47:18
1425
原创 关于感知机与支持向量机中算法策略的一些总结
1.引言 最近深入研究了一下感知机（Perceptron）与支持向量机（SVM）的数学推导，总算是弄明白了对偶问题、凸二次规划等到底是怎么回事。不得不承认，机器学习算法还是得从数学入手，跟着一起推导证明，才能真正体会到算法中的精妙所在。这篇博文不对算法细节和推导作过多说明，主要是记录一下自己对感知机和支持向量机在算法策略的选择理由上的一些体会和总结。 2.对偶问题 拉格朗日对偶性（Lagrange...
2018-11-02 14:37:46
333
原创 用numpy实现knn
Knn for CIFAR-10 首先加载数据进来 import numpy as np import operator def unpickle(file): import pickle with open(file, 'rb') as fo: dict = pickle.load(fo, encoding='bytes') return dict d...
2018-10-29 18:16:43
1544
1
原创 K-means学习笔记
1 K-mean 1.1 K-mean要做什么 根据要分成几类随机初始化几个点，称为聚类中心 。 而类别在聚类问题中称为簇 将样本根据与1中初始化点的距离远近进行归类 将代表类别的各聚类中心移到所属他们样本点的均值处 重复前三个步骤，直到聚类中心不再改变位置，此时我们称K-mean已经聚合了 1.2算法过程 ###1.2.1 input： K（number of clusters） Trai...
2018-10-14 17:44:12
246
原创 Densenets论文学习总结
一些论文阅读总结，方便之后遗忘时迅速回顾 1 DenseNet 1.1 四大优点 缓解梯度消失 增强特征的传播 加强特征的reuse 减少了大量参数 1.2 Introduction 每一层都与loss funchtion直接相连 训练集较小时，有正则化效果 1.3 Related Work 主要受 Highway Networks和...
2018-10-13 09:56:20
269
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人