<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[WYR_try的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/WYR_try</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; WYR_try]]></copyright><item><title><![CDATA[机器学习入门回归的数学理解]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/102584314</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/102584314</guid><author>WYR_try</author><pubDate>Wed, 16 Oct 2019 14:00:15 +0800</pubDate><description><![CDATA[回归

一．主要内容

1.回归

样本(X,Y) X为特征向量，Y为标签。若Y是连续的则是回归问题(线性回归)，若Y是离散的则是分类问题（logistic回归）。回归和分类也是机器学习中的两个大类别。

2.线性回归

高斯分布

最大似然估计

最小二乘法的本质

3.Logistic回归（二分类）

分类问题的首选算法

4.多分类（softmax回归）

目标函数

5.技术点

梯度下降...]]></description><category></category></item><item><title><![CDATA[回归的简单理解]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/101296889</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/101296889</guid><author>WYR_try</author><pubDate>Tue, 24 Sep 2019 17:32:03 +0800</pubDate><description><![CDATA[逻辑回归是用来做二分类的，它的误差符合概率的二项分布。
线性回归是用来做拟合的，它的误差是符合高斯分布的
假定样本独立。然后通过w的似然函数求解，求解出最大似然估计。

...]]></description><category></category></item><item><title><![CDATA[矩阵的旋转平移投影线性变换的原理]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/100808954</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/100808954</guid><author>WYR_try</author><pubDate>Fri, 13 Sep 2019 19:54:42 +0800</pubDate><description><![CDATA[矩阵的投影 旋转和平移都可以通过矩阵乘法得到
矩阵投影
Y维度是m *  1 A是m *n的矩阵，X维度是n * 1
通过Y=A *  X
可以实现从n维空间的点到m维空间点的线性变换
当m=n时，则可实现同维度空间的矩阵旋转和平移
旋转
将矩阵XAX_AXA​旋转角度a到矩阵XBX_BXB​
M=(cosa−sinasinacosa)M=(\begin{matrix} cosa&amp;amp;...]]></description><category></category></item><item><title><![CDATA[SVD奇异值分解源码处理图片]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/100737903</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/100737903</guid><author>WYR_try</author><pubDate>Wed, 11 Sep 2019 16:23:24 +0800</pubDate><description><![CDATA[简介
用svd将图片转变为多个特征的线性加和
源码
def restore1(sigma,u,v,k):#奇异值，左特征向量，右特征向量
	print k
	m=len(u)
	n=len(v[0])
	a=np.zeros((m,n))
	for k in range(k+1):
		for i in range(m):
			a[i]+=sigma[k]*u[i][k]*v[k]
	b=a.a...]]></description><category></category></item><item><title><![CDATA[PCA的理解与公式推导]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/100698463</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/100698463</guid><author>WYR_try</author><pubDate>Tue, 10 Sep 2019 16:15:36 +0800</pubDate><description><![CDATA[PCA的理解与公式推导
简介
pca 又称主成分分析，多用来做降维处理。如在二维坐标中，找一个方向向量Z，将样本数据，投影到方向向量中。原本的（x1,x2）就变成了（y1）,(x1,x2)的坐标基是 X1和X2轴，而(y1)的坐标基是寻找的方向向量Z。
如何寻找这个方向向量呢？


从图中可以看到，我们只需要寻找一个方向向量Z使得样本在Z投影后的距离之和最小（图中蓝色的线段距离之和最小）。则Z就是...]]></description><category></category></item><item><title><![CDATA[贝叶斯定理，先验概率，后验概率简单的理解]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/100080325</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/100080325</guid><author>WYR_try</author><pubDate>Mon, 26 Aug 2019 16:24:26 +0800</pubDate><description><![CDATA[通俗的讲，先验概率就是事情尚未发生前，我们对该事发生概率的估计，例如全概率公式中P(B)就是先验概率，求解方法有很多种，全概率公式是一种，也可以根据经验等，例如抛一枚硬币头向上的概率为0.5。

后验概率则是表示在事情已经发生的条件下，要求该事发生原因是有某个因素引起的可能性的大小。

先验概率是在缺乏某个事实的情况下描述一个变量；而后验概率（Probability of outcomes of ...]]></description><category></category></item><item><title><![CDATA[决策树和其中划分选择的学习和源码理解]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/99419934</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/99419934</guid><author>WYR_try</author><pubDate>Tue, 13 Aug 2019 16:52:14 +0800</pubDate><description><![CDATA[决策树
决策树是基于树结构进行决策的，这是人类在面临决策问题时一种很自然的处理机制。以二分类为例，我们希望从给定训练数据集中学得一个模型用于对新的样例进行分类。
决策树是一种直观的分而治之的策略
决策树包含一个根结点，若干个内部结点和若干个叶结点。
叶结点：对应于决策结果
其他结点：对应于一个属性测试
每个结点包含的样本集合根据属性测试的结果划分到子结点中，根结点包含样本全集，从根结点到每个叶结点...]]></description><category></category></item><item><title><![CDATA[faster rcnn 原理解读]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/90582693</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/90582693</guid><author>WYR_try</author><pubDate>Sun, 26 May 2019 23:38:44 +0800</pubDate><description><![CDATA[简介
Faster R-CNN 第一步是采用基于分类任务(如，ImageNet)的 CNN 模型作为特征提取器. 听起来是比较简单的，重要的是理解其如何工作和为什么会有效，并可视化中间层，查看其输出形式.
网络结构很难说哪种是最好的. Faster R-CNN 最早是采用在 ImageNet 训练的 ZF 和 VGG，其后出现了很多其它权重不同的网络. 如，MobileNet 是一种小型效率高的网...]]></description><category></category></item><item><title><![CDATA[caffe  因为opencv版本混淆，报错：id_release/lib/libcaffe.so:  cv::imread(cv::String const&, int)未定义’]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/90343874</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/90343874</guid><author>WYR_try</author><pubDate>Sun, 19 May 2019 16:20:10 +0800</pubDate><description><![CDATA[编译caffe时报错
ild_release/lib/libcaffe.so: undefined reference to cv::imread(cv::String const&amp;, int)
报错原因：
caffe默认使用opencv2.X版本，但是我的机器上安装的是opencv 3.2.0，这个3.2.0，也是默认装的，如果你按照教材，重新装最新的4.0以上的。这里也会出这个问题。这...]]></description><category></category></item><item><title><![CDATA[mtcnn算法实现基于ncnn版本原码讲解   附源码]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/90310833</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/90310833</guid><author>WYR_try</author><pubDate>Sat, 18 May 2019 03:01:55 +0800</pubDate><description><![CDATA[mtcnn算法实现基于ncnn版本原码讲解原理PnetRnetOnetLnet其他函数各网络的损失函数
原理
MTCNN由3个网络结构组成（P-Net,R-Net,O-Net）。
Proposal Network (P-Net)：该网络结构主要获得了人脸区域的候选窗口和边界框的回归向量。并用该边界框做回归，对候选窗口进行校准，然后通过非极大值抑制（NMS）来合并高度重叠的候选框。
Refine N...]]></description><category></category></item><item><title><![CDATA[MTCNN中 Pnet候选框生成算法]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/90303967</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/90303967</guid><author>WYR_try</author><pubDate>Sat, 18 May 2019 00:21:26 +0800</pubDate><description><![CDATA[MTCNN中 Pnet候选框生成算法
简介
在mtcnn算法中的Pnet是为了得到一批人脸框。过程如下
针对金字塔中每张图，网络forward计算后都得到了人脸得分以及人脸框回归的结果。人脸分类得分是两个通道的三维矩阵mm2，其实对应在网络输入图片上mm个1212的滑框，结合当前图片在金字塔图片中的缩放scale，可以推算出每个滑框在原始图像中的具体坐标。
首先要根据得分进行筛选，得分低于阈值的滑...]]></description><category></category></item><item><title><![CDATA[目标检测中的候选框的回归修正c++版]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/90292156</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/90292156</guid><author>WYR_try</author><pubDate>Fri, 17 May 2019 17:56:06 +0800</pubDate><description><![CDATA[简介
源码
typedef struct FaceInfo {
    float score;//置信度
    int x[2];
    int y[2];//框左上和右下的坐标点
    float area;//框的面积
    float regreCoord[4];//4个坐标的修正信息，返回的是框的比例
    int landmark[10];//人脸的5个特征点
} FaceI...]]></description><category></category></item><item><title><![CDATA[非极大值抑制NMS算法c++版本]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/90274434</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/90274434</guid><author>WYR_try</author><pubDate>Fri, 17 May 2019 13:05:40 +0800</pubDate><description><![CDATA[简介
非极大值抑制NMS算法c++版本
源码

]]></description><category></category></item><item><title><![CDATA[深度学习入门笔记手稿（十二）学习率衰减]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/90233812</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/90233812</guid><author>WYR_try</author><pubDate>Wed, 15 May 2019 12:47:16 +0800</pubDate><description><![CDATA[学习率衰减
加快学习算法的一个办法就是随机慢慢减少学习率
在使用mini batch梯度下降算法时，最后会在一点附近摆动，并不会真正收敛，因为学习率为固定值，不同的mini batch中有噪音
但是慢慢减少学习率，在初期学习率还比较大，但是随着学习率变小，学习不长也变慢，最后会在最小值一小块区域摆动
1.可以将学习率设置为 1/（1+decay_rate*epoch_num）
decay_rate...]]></description><category></category></item><item><title><![CDATA[深度学习入门笔记手稿（十一）Momentum，RMS，Adam梯度下降法]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/90233593</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/90233593</guid><author>WYR_try</author><pubDate>Wed, 15 May 2019 12:25:28 +0800</pubDate><description><![CDATA[Momentum梯度下降法
运行速度快于标准梯度下降算法
基本思路： 计算梯度的指数加权平均数，利用该梯度更新你的权重

红线为batch梯度下降法的梯度下降情况，同momentum梯度下降法可以让梯度在纵向上更平缓，更直接，因为加权平均指数更平缓如铅笔图

上面再两个超参数学习率和加权指数平均的超参数B，后者最常用的值为0.9
B控制指数加权平均数，关于偏差修正 Vdw/1-Bt 一般不这么做。...]]></description><category></category></item><item><title><![CDATA[深度学习入门笔记手稿（十）理解指数加权平均]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/90220260</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/90220260</guid><author>WYR_try</author><pubDate>Wed, 15 May 2019 00:27:34 +0800</pubDate><description><![CDATA[深度学习入门笔记手稿（十）理解指数加权平均理解指数加权平均
理解指数加权平均



]]></description><category></category></item><item><title><![CDATA[深度学习入门笔记手稿（九）mini-batch梯度下降]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/90219571</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/90219571</guid><author>WYR_try</author><pubDate>Wed, 15 May 2019 00:21:03 +0800</pubDate><description><![CDATA[mini-batch梯度下降
数据特别大时在，在全部处理完全部数据之前，先让梯度下降处理一部分，算法速度会加快。把训练集分割为小一点的子训练集，这些子集取名为mini batch
#一代 只是一次遍历训练集
例子 500万数据
X=[x(1),x(2),…x(1000)] 【x(1001),…x(2000)】…[…x(m)]
X=x{1},x{2}…x{5000}
Y=[y(1),y(2)…y(1...]]></description><category></category></item><item><title><![CDATA[深度学习入门笔记手稿（八）梯度检验]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/90216899</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/90216899</guid><author>WYR_try</author><pubDate>Tue, 14 May 2019 22:41:35 +0800</pubDate><description><![CDATA[深度学习入门笔记手稿（八）梯度检验梯度检验
梯度检验
在实施backprop时有一个测试叫做梯度检验。是用来检查梯度是否约等于使用双边误差来逼近的导数。
具体过程如下：
1.首先不要在训练中使用梯度检验，它只用于调试，为了实施梯度下降，必须使用backprop计算导数。
2.如果检验失败，要检查所有项。要确定出问题的导数
3在检验时，如果使用了正则化，则导数也一定包含正则项
4，梯度检验不能与dr...]]></description><category></category></item><item><title><![CDATA[深度学习入门笔记手稿（七）梯度消失与梯度爆炸和神经网络权重初始化]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/90216701</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/90216701</guid><author>WYR_try</author><pubDate>Tue, 14 May 2019 22:29:14 +0800</pubDate><description><![CDATA[梯度消失与梯度爆炸
训练神经网络会面临导数或梯度变得非常大，或者非常小，这加大了训练难度，而明智的选择随机初始化权重可避免这一问题。
下图是梯度消失和梯度爆炸产生的原因：

神经网络的权重初始化
针对梯度消失和梯度爆炸的问题
z=w1x1+w2x2+…xnwn
为了预防z值过大或过小，则n越大则希望wi越小 则设置wi=1/n
w[l]=np.random,randn(shape)*np.sqrt...]]></description><category></category></item><item><title><![CDATA[深度学习入门笔记手稿（六）正则化输入]]></title><link>https://blog.youkuaiyun.com/WYR_try/article/details/90215961</link><guid>https://blog.youkuaiyun.com/WYR_try/article/details/90215961</guid><author>WYR_try</author><pubDate>Tue, 14 May 2019 21:48:31 +0800</pubDate><description><![CDATA[正则化输入
训练神经网络其中一个加速训练方法就是归一化输入
假设训练集有两个输入特征x={x1，x2} 是一个二维的
归一化输入需两步，第一步零均值化 第二步 归一化方差（对x1方差比x2方差大很多的情况特别有效）具体如图中所示。
完成后，的均值和方差分别为0和1.
如果用归一化来调整训练数据，再用相同的归一化中的超参数归一化测试集，而不是在训练集和测试集上分别预估归一化中的超参数。
归一化中的超...]]></description><category></category></item></channel></rss>