- 博客(17)
- 收藏
- 关注
RSS订阅原创 点到超平面距离
点到超平面距离定义平面为 WTX=0W^TX = 0WTX=0，点为X0X_0X0。定义X0X_0X0到平面的垂直投影点为X1X_1X1，则：X0X1→∗W→=d∗(w0)2+(w1)2+(w2)2+⋯+(wn)2=d∗∣∣W∣∣\overrightarrow{X_0X_1}*\overrightarrow{W}=d*\sqrt{(w^0)^2 + (w^1)^2 + (w^2)^2+⋯+(w^n)^2} = d * ||W||X0X1∗W=d∗(w0)2+(w1)2+(w2)2+⋯+(w
2020-05-25 16:00:57
574
1
原创 协方差矩阵
1.协方差矩阵的格式与意义协方差矩阵为对称半正定矩阵。假定其格式为： Cov=⎡⎣⎢⎢⎢⎢⎢cov11cov21⋮covn1cov12cov22⋮covn2cov13cov23⋮covn3⋯⋯⋱⋯cov1ncov2n⋮covnn⎤⎦⎥⎥⎥⎥⎥Cov= \begin{bmatrix} cov_{11} & cov_{12} & cov_{13} & \cdots & cov_{1n} \
2018-04-02 17:19:00
2357
1
原创 逻辑回归公式推导
文章参考周志华《机器学习》机器学习离不开模型，算法，激活函数。 逻辑回归使用线性回归的的预测结果去逼近对数几率，所以使用的模型和线性回归一样。逻辑回归使用的激活函数为S型函数中的对数几率函数，公式以及曲线如下： y=11+e−zy=11+e−zy=\frac{1}{1+e^{-z}} 而逻辑回归从输入的特征值计算出输出值的更新公式为： h(θ)=11+e−(θTx+b)h(θ)=1...
2018-03-23 16:19:31
671
原创 Adam
Adam方法同样融合了 AdaGrad和RMSProp，更新公式如下： wt=wt−1−α∗mt^vt^−−√+ϵw_{t} = w_{t-1} - \alpha * \frac{\hat {m_t}}{\sqrt{\hat{v_t}}+\epsilon} 其中tt表示次数，mt^\hat{m_t}为mtm_t的纠正，vt^\hat{v_t}为vtv_t的纠正mt^=mt1−βt1\hat{m_
2018-02-09 19:50:56
1497
原创 ADADELTA
全文参考： Zeiler M D. ADADELTA: an adaptive learning rate method[J]. arXiv preprint arXiv:1212.5701, 2012.该方法只使用一阶信息，无需手动调整学习速率，对噪声梯度信息，不同的模型结构选择，各种数据模式和超参数的选择具有一定的鲁棒性。1.ADAGRADADADELTA是ADAGRAD的变
2018-02-04 19:51:34
2550
原创 拟牛顿法
拟牛顿法1、牛顿法又称割线法，对f(x+Δx)进行泰勒展开f(x+\Delta x)进行泰勒展开f(x+Δx)=f(x)+f′(x)Δx+12f”(x)Δx2f(x+\Delta x) = f(x) + f’(x)\Delta x+\frac{1}{2}f”(x)\Delta x^2对Δx\Delta x求导，得：f′(x+Δx)=f′(x)+f”(x)Δxf’(x+\Delta x) = f’(x
2017-12-28 16:03:06
1796
原创 堆排序
package 堆排序练习题;public class HeapSort { public static void main(String[] args) { int[] A = { 32, 103, 24, 88, 95, 70, 97, 15, 102, 6, 79, 46, 51, 37, 93, 108, 9, 58, 53, 58, 79, 36, 58, 91, 7
2017-09-12 17:28:15
346
转载 Check failed: registry.count(t ype) == 1 (0 vs. 1) Unknown layer type: Input (known types: Input )
转自博客 http://www.tk4479.net/birdwcp/article/details/53580068自己建立一个工程，调用libcaffe.lib ，成功编译，但是运行就会遇到报错 F0519 14:54:12.494139 14504 layer_factory.hpp:77] Check failed: registry.count(t ype) == 1 (0 vs. 1)
2017-06-27 18:59:52
1406
2
原创 Caffe微调
1.微调原因数据不够，容易过拟。也可以是需要添加新数据源。2.如何微调：修改train_val.prototxt文件(网络文件)，solver.prototxt(训练文件)cmd中运行caffe % ./build/tools/caffe train -solver models/finetune_flickr_style/solver.prototxt -weights models/bvlc
2017-06-15 15:24:23
958
原创 使用Caffe进行图片分类
首先，贴参考：caffe_root\caffe-master\examples\imagenet, (这是windows下的脚本运行,用于训练建模) caffe_root\caffe-master\examples\cpp_classification\classification.cpp(用于分类) 所使用的顺序是1.create_imagenet.sh(将图片转成lmdb格式，并统一大小)
2017-05-29 15:27:10
1140
原创 限制玻尔兹曼机 Restricted Boltzmann Machine (RBM)
1.基础知识要理解限制玻尔兹曼机，需要的基础知识为： 1.最大似然估计,这是我的上一篇博客。 2.玻尔兹曼分布(Boltzmann distribution) Boltzmann分布是一个系统中各种状态时，粒子的概率分布，概率测量或频率分布：F(state)∝e−EkTF(state)\propto e^-\frac{E}{kT} ∝\propto是正比于符号，EE是状态能量，kk是玻尔兹曼
2017-05-21 15:37:05
2603
原创 最大似然估计
先贴一下我的参考：维基百科 东北师范大学课件 知乎 由于年代久远，所以以前学的概率全忘了，所以复习下。首先，回想下统计学的核心，以样本去估计整体，我为什么要去求得这个最大似然估计， 例如：我有一个黑盒子，盒子里放了200个球，我次拿出一个，记录颜色，然后放回，摇匀，其中8个黑球，2个白球，同时，设拿到黑球的概率为p{p} 。这时，我所掌握的信息就是：每次拿出的不同的球的概率是相等的，即样本相互
2017-05-19 20:21:38
838
原创 Caffe在Windows上的搭建
不论开始学什么，搭建环境总是让人头疼，这次是因为要在VS上调用Caffe，所以就在windows上搭建Caffe，Windows相对于Linux确实不适合学习，哎！废话少说，把自己还记着的记录下来吧。1.VS2013下载为什么是VS2013？而不是VS2015之类的，Caffe对于在Windows上的安装也是有官方的文档的： BVLC/Caffe，上面也说2015也可以，但是在一次次的尝试后发现错误
2017-05-18 10:33:38
12325
原创 Precision（精准率） and Recall（召回率）
在机器学习系统设计的时候会遇到一类数据集：Skewed Classes 。这意味着在分类时一种类别比其他的类别多的多。 会出现的情况：构建的模型的精确度（代价） 甚至不如直接将其全部分为数量多的那个类别。比如：分类是否获得学校奖学金，分类是否是癌症患者。 带来的问题：将精确度（或者代价）作为衡量算法是否好的标准变的不再有效。 解决的方法：使用Precision（精准率） and Recall（
2017-02-10 13:22:50
2636
原创 决策树算法（一）
决策树算法是机器学习中的一种算法，有分类和预测的作用。首先先贴下算法1.简要介绍及算法表达： 输入：训练集D={(x1,y1),(x2,y2),…,(xm,ym)}D=\{(x_1,y_1),(x_2,y_2),…, (x_m,y_m) \} 属性集A={a1,a2,…,ad}A=\{a_1,a_2,…,a_d \} 过程：函数TreeGenerate(D,A)TreeGenerat
2016-12-23 16:09:30
616
原创 冒泡及改进（java实现）
冒泡核心就是两层for。 冒泡就是从数组的第一位开始比较大的放后面，小的放前面（从小到大排序），所以每一次循环结束，总是数组中最大的，在最后面。外层的for循环，就是将内层每次最大的数排除在外。下面是简单的java实现。public class BubbleSort { public static void main(String[] args) { double[]
2016-12-09 11:49:38
433
原创 Apriori算法
Apriori算法第一次写博客，看这个算法的目的是为毕设开题做准备，以及以后的复习所做的笔记。Apriori属于无监督学习，对数据关联规矩进行挖掘的算法。 关联规则是形如X⇒\RightarrowY的蕴含式，其中X,Y分别是I的真子集，并且X∪\cupY=∅\emptyset。X称为规则的前提，Y规则的结果。关联规则翻译X中项目出现时，Y中的项目也跟着出现的规律。
2016-11-24 21:43:11
821
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人