zlsjsj的博客

原创 CNN的感受野，参数量，计算量

1. 感受野为了计算CNN每一层的感受野，除了要知道特征图每个维度的特征数n，还需要记录每一层的其他信息，这包括当前层的感受野大小r，两个相邻特征的距离（跳跃的距离，如前面可视化所示）j，和左上角特征（第一个特征）的中心坐标start。注意感受野（其实是特征图第一个特征的感受野）的中心坐标就等于这个特征的中心坐标，就如前面可视化中所示。当采用的卷积其核大小为k，padding大小为p，步长为s...

原创 深度学习目标检测模型发展

http://www.360doc.com/content/18/0424/23/41501311_748500691.shtml

转载 常用降维方法

  一、拉普拉斯特征映射(Laplacian Eigenmaps,LE)(1)特点非线性的降维方法 降维的同时保留局部近邻节点的信息 属于流形学习(2)目标函数未添加限制条件:添加限制条件并简化后: (3)需求解的特征方程(4)优点LE的局部特征保留特性使得它对孤立点和噪音不会那么敏感 算法基于流形的内在几何结构，因此它展示出嵌入的稳定...

原创 RNN,LSTM,GRU自己笔记

RNN的前向传播：这里是一张清理后的神经网络示意图，和我之前提及的一样，一般开始先输入，它是一个零向量。接着就是前向传播过程，先计算激活值，然后再计算。我将用这样的符号约定来表示这些矩阵下标，举个例子，第二个下标意味着要乘以某个类型的量，然后第一个下标表示它是用来计算某个类型的变量。同样的，可以看出这里的乘上了某个类型的量，用来计算出某个类型的量。循环神经网络用的激活函数经常是...

原创 显著性检验

https://www.cnblogs.com/hdu-zsk/p/6293721.html P值即概率，反映某一事件发生的可能性大小。统计学根据显著性检验方法所得到的P 值，一般以P < 0.05 为有统计学差异， P<0.01 为有显著统计学差异，P<0.001为有极其显著的统计学差异。其含义是样本间的差异由抽样误差所致的概率小于0.05 、0.01、0.001。实际...

转载 掌握SVM

内容来源于Andrew NG老师讲解的SVM部分，包括SVM的优化目标、最大判定边界、核函数、SVM使用方法、多分类问题等，Machine learning课程地址为：https://www.coursera.org/course/ml大家对于支持向量机（SVM）可能会比较熟悉，是个强大且流行的算法，有时能解决一些复杂的非线性问题。我之前用过它的工具包libsvm来做情感分析的研究，感觉效果还...

转载 SVM和逻辑回归的对比

 两种方法都是常见的分类算法，其中心思想都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与分类最相关的数据点的权重。两者的根本目的都是一样的。 比较：      0、LR给出了后验概率，SVM只有...

转载 等概率产生0和1

 1.有一个随机数发生器，能以概率p生成0，以概率1-p生成1，问如何做一个随机数发生器 使得生成0和1的概率相等。 2.用上面那个生成0和1的概率相等的随机数发生器，怎样做一个随机数发生器使得它生成 的数在1...N之间均匀分布。   第一题比较简单，可以用原发生器周期性地产生2个数，直到生成01或者10。 由于生成01和10的概率均为p(1-p)，故预先任意指定01为0（...

转载 GBDT和XGBoost的区别

 GBDT利用损失函数的负梯度作为残差的近似值。2. 如何评估特征的权重大小？答：a. 通过计算每个特征在训练集下的信息增益，最后计算每个特征信息增益与所有特征信息增益之和的比例为权重值。b. 借鉴投票机制。用相同的gbdt参数对w每个特征训练出一个模型，然后在该模型下计算每个特征正确分类的个数，最后计算每个特征正确分类的个数与所有正确分类个数之和的比例为权重值。 xgbo...

原创 CART剪枝算法

转载 指数加权平均

在深度学习优化算法中，我们会涉及到指数加权平均这个概念，下面我将通过例子来一步一步引出这个概念。平均数求法比如我们现在有100天的温度值，要求这100天的平均温度值。24，25，24，26，34，28，33，33，34，35..........32。我们直接可以用公式：通过上面的公式就可以直接求出10天的平均值。而我们要介绍的指数加权平均本质上就是一种近似求平均的方法。...

转载 L1,L2正则化为什么能解决过拟合问题

https://blog.youkuaiyun.com/jinping_shi/article/details/52433975https://www.cnblogs.com/alexanderkun/p/6922428.html  正则化（Regularization）L1和L2正则都是比较常见和常用的正则化项，都可以达到防止过拟合的效果。L1正则化的解具有稀疏性，可用于特征选择。L2正...

原创 广义线性模型介绍

https://www.cnblogs.com/zhangchaoyang/articles/7120908.html

转载 卡特兰数

一、Catalan数的定义　　令h(0)=1，h(1)=1，Catalan数满足递归式：h(n) = h(0)*h(n-1) + h(1)*h(n-2) + ... + h(n-1)*h(0)  (n>=2)　　该递推关系的解为：h(n) = C(2n,n)/(n+1)，n=0,1,2,3,... （其中C(2n,n)表示2n个物品中取n个的组合数）或者是   C(2n,n)- ...

原创 【自己记录】Python 二叉树

class Tree(object): def __init__(self,val): self.val=val self.left,self.right=None,Noneclass Solution: def width(self,root): queue=[root] while queue: ...

转载 CNN反向传播中卷积层和池化层是如何反向传播的

转载 hough变换的原理

一开始总是纠结于hough变换把图像中的点映射到另一个参考系中的直线中，是怎么实现的。即我怎么知道图像中的点事映射到哪些直线中的。。。。。后面终于明白，其做法是将映射到另一个参考系的直线离散化，通过求直线上每个点，来构成直线，从而表达出原图像此点所在的所有直线。至于最后是选择映射到极坐标系中是因为减少运算量。本来无边无际的直线，都可以用有边有界的模和角度来表示。 Hough 变换是基于点-...

原创 最长递增子序列、子数组

def longest(num): #最长递增子序列 dp=[0]*len(num) for i in range(len(num)): dp[i]=1 for j in range(i): if num[j]<num[i] : dp[i]=max(dp[i],dp[j]+1) ...

转载 环形数组求最大子数组和

数组是环形的，即首尾相接(下标n-1的元素后面的元素下标为0)，求最大子数组和环形数组求最大子数组和解法一：把该环形数组从某一点展开，连写两遍（复制一份接到自己后面），然后当成无环的数组求最大子数组和，但这里要限制一个条件，就是最大子数组的长度不可以超过n，所以求的时候要注意判断。例如：上图中展开写两遍为a1,a2,a3,a4,a1,a2,a3,a4。这种情况下限定最大子数组的长度不可以超过n的作...

原创 python 667. 最长的回文序列 longest-palindromic-subsequence

class Solution: """ @param s: the maximum length of s is 1000 @return: the longest palindromic subsequence's length """ def longestPalindromeSubseq(self, s): # write your c...

转载 SVM对偶问题

拉格朗日对偶（Lagrange duality）     先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题：            目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为            L是等式约束的个数。    然后分别对w和求偏导，使得偏导数等于0，然后解出w和。至...

转载 yolo v1算法理解

写的比较明确，不是笼统的介绍，yolo 目标检测算法个人总结（yolov1） - 朱勇的文章 - 知乎https://zhuanlan.zhihu.com/p/27515705yolo v1在检测目标时，不同于之前RCNN系列的方法，是将检测对象的类别和位置同时进行预测，是一种回归问题。主要步骤为：卷积层进行图像特征提取；全连接层用于后续类别和目标位置的回归预测。具体预测方法：目标可能位于图像的不...

转载 【笔记】Wasserstein GAN

原始GAN训练难点之：原始目标函数没意义其实，GAN 训练之难，更多的源于它 GAN 目标函数自身。GAN 的 D 的目标函数上文已经提过：而G 的目标函数相应的是：也就是说，G 需要最小化让 D 识别出自己生成的假样本的概率。但其实，在 GAN 原始论文[2] 中，作者就指出使用如上的 G 的目标函数会给训练造成问题。从形象化的角度来理解，在训练的早期，G 生成的假样本质量还非常差，与真实样本相...

原创 Python基本图像处理

相关包matplotlibPILcv2numpy各种操作读取图片1 matplotlib.pylab import numpy as np from matplotlib import pyplot as pltimg = plt.imread('examples.png')print(type(img), img.dtype, np.min(img), np.max(img))[out]...

转载 机器学习算法里的参数模型与非参数模型

参数机器学习算法  假设可以最大程度地简化学习过程，与此同时也限制可以学习到是什么。这种算法简化成一个已知的函数形式，这称为参数机器学习算法。这种算法包括两种步骤：     1. 选择一种目标函数的形式；     2. 从训练数据中学习目标函数的系数。  一种最容易理解目标（映射）函数的形式就是一条直线，用于线性回归：  此处的、和是直线的系数，用于控制直线的截距和斜率，和是两个输入变量。  把目...

原创 【自己笔记】逻辑回归代价函数导数求解过程，softmax loss

 1)梯度下降θθ的更新过程，走梯度方向的反方向：     Sigmoid函数求导：函数：f(z) = 1 / (1 + exp( − z))导数：f(z)' = f(z)(1 − f(z)) 求导过程如下：  softmax的损失函数：  对于给定的测试输入 ，我们想用假设函数针对每一个类别j估算出概率值...

原创 python 85. Insert Node in a Binary Search Tree

Given binary search tree as follow, after Insert node 6, the tree should be: 2 2 / \ / \1 4 --> 1 4 / / \ 3 3 6这是一棵二叉搜索数，左节点小于等于根节点，...

原创 python 最长公共子串长度

Given two strings, find the longest common substring.Return the length of it.ExampleGiven A = "ABCD", B = "CBCE", return 2.ChallengeO(n x m) time and memory. class Solution: """ @param A: A st...

原创 python 125. Backpack II

Given n items with size Ai and value Vi, and a backpack with size m. What's the maximum value can you put into the backpack?You cannot divide item into small pieces and the total size of items you cho...

原创 python 120. Triangle

120. Given a triangle, find the minimum path sum from top to bottom. Each step you may move to adjacent numbers on the row below.For example, given the following triangle[ [2], [3,4], [6,5...

原创 leetcode Python 广度优先遍历打印二叉树

# Definition for a binary tree node.class TreeNode:    def __init__(self, x):        self.val = x        self.left = None        self.right = Noneclass Solution:    def levelOrder(self, root):        ...

原创 python引用，浅拷贝，深拷贝区别

直接赋值：其实就是对象的引用（别名）。浅拷贝(copy)：拷贝父对象，不会拷贝对象的内部的子对象,改变其中的子对象时，另一个子对象也会随之改变。拷贝的相当于的独立的，不拷贝的相当于还是指向统一个对象。深拷贝(deepcopy)： copy 模块的 deepcopy 方法，完全拷贝了父对象及其子对象。字典浅拷贝实例实例1234567>>>a = {1: [1,2,3]}>&g...

转载 【笔记】Python中的可变对象和不可变对象

什么是可变/不可变对象不可变对象，该对象所指向的内存中的值不能被改变。当改变某个变量时候，由于其所指的值不能被改变，相当于把原来的值复制一份后再改变，这会开辟一个新的地址，变量再指向这个新的地址。可变对象，该对象所指向的内存中的值可以被改变。变量（准确的说是引用）改变后，实际上是其所指的值直接发生改变，并没有发生复制行为，也没有开辟新的出地址，通俗点说就是原地改变。Python中，数值类型（int...

转载 霍夫曼压缩编码算法

我们直接来看示例，如果我们需要来压缩下面的字符串： “beep boop beer!” 首先，我们先计算出每个字符出现的次数，我们得到下面这样一张表 :字符次数‘b’3‘e’4‘p’2‘ ‘2‘o’2‘r’1‘!’1然后，我把把这些东西放到Priority Queue中（用出现的次数据当 priority），我们可以看到，Priority Queue 是以Prioirry排序一个数组，如果Prio...

转载 统计中的距离

欧氏距离（Euclidean distance）也称欧几里得度量、欧几里得度量，是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离。在二维和三维空间中的欧氏距离的就是两点之间的距离。  缺点：就大部分统计问题而言，欧氏距离是不能令人满意的。（每个坐标对欧氏距离的贡献是同等的。当坐标表示测量值时，它们往往带有大小不等的随机波动，在这种情况下，合理的方法是对坐标加权，使变化较大的坐标比变化...

原创 边缘检测

从基本的梯度算子sobel到LoG、DoG再到比较完善的Canny边缘检测。 特征点检测：比如harris(角点检测)，SIFT、SURF、ORB等。 特征区块检测：HOG直方图。边缘检测算子：一阶导数算子1)  Roberts算子Roberts算子是一种斜向偏差分的梯度计算方法，梯度的大小代表边缘的强度，梯度的方向与边缘的走向垂直。Roberts操作实际上是求旋转45度两个方向上微分值的和。Ro...

转载 【自己笔记】SIFT特征和SURF特征比较

SIFT特征和SURF特征都是优秀的尺度不变特征，常用来进行物体辨识和图像匹配。所谓的尺度不变特征是指每个检测到的特征点都伴随着对应的尺寸因子（特征点的局部尺寸参数与特征的尺度成正比），下面就这两种著名的尺度不变特征进行简要的介绍和比较。1 SIFT特征简介1.1 SIFT原理SIFT(Scale-Invariant Feature Transform)特征，即尺度不变特征变换，是一种计算机视觉的...

转载 反向传播的工作过程以及公式推导

作者：陈唯源链接：https://www.zhihu.com/question/24827633/answer/91489990来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。一般都是用链式法则解释比如如下的神经网络前向传播对于节点来说，的净输入如下：接着对做一个sigmoid函数得到节点的输出：类似的，我们能得到节点、、的输出、、。误差得到结果后，整个神经网络的输出...

原创 【笔记】神经网络中的一些基本原理和公式

（1）神经网络中的神经元的输出：（2）梯度下降算法：（3）随机梯度下降：（每次训练完一个batch后，进行一次参数更新）（4）反向传播：（5）momentum：是梯度下降法中一种常用的加速技术。对于一般的SGD，其表达式为,沿负梯度方向下降。而带momentum项的SGD则写生如下形式：（6）学习率：（7）weight decay:weight decay是放在正则项（regularization...

原创 自己笔记 随机森林

Bagging和Boosting的概念与区别该部分主要学习自：http://www.cnblogs.com/liuwu265/p/4690486.html随机森林属于集成学习（Ensemble Learning）中的bagging算法。在集成学习中，主要分为bagging算法和boosting算法。我们先看看这两种方法的特点和区别。Bagging（套袋法）bagging的算法过程如...