有信念，才能走的更远

1、string_split：在制作tfrecord的时候，将多个类别特征使用分隔符组装到一起，用一个特征列来存储，降低存储代价。而在训练时候使用string_split将其分隔，分别处理。cank

参考博客：http://www.cnblogs.com/tianshifu/p/6165809.html

RCNN会从一张图片中找出n个可能是物体的矩形框，然后为每个矩形框为做类别分类概率：就像上面的图片一样，定位一个车辆，最后算法就找出了一堆的方框，我们需要判别哪些矩形框是没用的。非极大值抑制的方法是：先假设有6个矩形框，根据分类器的类别分类概率做排序，假设从小到大属于车辆的概率 分别为A、B、C、D、E、F。 (1)从最大概率矩形框F开始，分别判断A~E与F的重叠度IOU是否大于某

重叠度（IOU）:物体检测需要定位出物体的bounding box，就像下面的图片一样，我们不仅要定位出车辆的bounding box 我们还要识别出bounding box 里面的物体就是车辆。对于bounding box的定位精度，有一个很重要的概念： 因为我们算法不可能百分百跟人工标注的数据完全匹配，因此就存在一个定位精度评价公式：IOU。 它定义了两个boundin

1、什么是随机梯度下降？梯度下降有三种：stochastic  gradient descent（SGD）、普通的GD以及min-batch GD。其中caffe里最常用的就是min-batch GD，即每次从训练样本中选取min-batch个样本进行迭代，而普通的GD则是对所有的训练样本计算梯度，而SGD是对训练样本中的某一个样本计算梯度，更新权值。其实这三种梯度下降的本质是一样的，

1、However, conventional hallucination methods are often designed for controlled settings and cannot handle varying conditions of pose, resolution degree, and blur.传统的方法有约束控制，不能处理多种姿态、像素深度及遮挡的情况。2、

引用：http://blog.youkuaiyun.com/fangjin_kl/article/details/54131144损失函数：对的偏导：对的偏导：-forward_cpu：template void EuclideanLossLayer::Forward_cpu(const vector*>& bottom, const vector*>& top) {

1、In this paper, we address this problem by jointly learning a deep model for two tasks, i.e. face hallucination and recognition.本文是连接两个任务模型：hallucination和recognition。2、The recognition subnetwork

1、We focus on blurred images from a real-life traffic surveillance system, on which we, for the first time, demonstrate that neural networks trained on artificial data provide superior reconstruction

1、前馈神经网络与RNN的关系：--There are no feedback connections in which outputs of the model are fed back into itself. When feedforward neural networksare extended to include feedback connections, they are cal

1、看到的对机器学习本质的一种解释：--Machine learning isessentially a form of applied statistics with increased emphasis on the use ofcomputers to statistically estimate complicated functions and a decreased emphasi

1、对梯度下降的很简单的解释：--Suppose we have a function y=f(x),The derivativeof this function is denoted as f(x) or as dy/dx,it specifies how to scale a small change in the input in order to obtain the correspo

1、对梯度下降的很简单的解释：--Suppose we have a function y=f(x),The derivativeof this function is denoted as f(x) or as dy/dx,it specifies how to scale a small change in the input in order to obtain the correspo

//2016/12/281、--The true challenge to artificial intelligence proved to be solvingthe tasks that are easy for people to perform but hard for people to describeformally—problems that we solve intuit

介绍梯度下降法的blog太多了，而且讲的都很细，但是我自己没大理解梯度更新的公式，最近想明白了，所以记下来。假设要优化的代价函数是这样滴：，如下图：，其中横坐标是Θ，纵坐标是C。既然我们的目标是找到一个Θ，使得代价C最小，那么在上图中可以直观的看到C在哪最小。现在我们任取一个Θ，比如说在C轴右侧虚线处取一个Θ，在这个Θ处，我们求其导数，这个导数肯定是正的，通过观察图片，

以前只知道训练集和测试集，比如cifar-10的训练，训练时候无非就是把10,000个图片（比如），分成两份，一份8000作为训练，一份2000作为测试。训练时候就是把8000个图片送到网络中，根据预测结果跟实际标签的对比不断的调整网络中的权值，而测试集的作用无非就是把训练阶段中产生的权值拿出来测一测，看看现在训练结果怎么样了，测试集不参与网络的更新。后来又听说有验证集，这个验证集

参考：http://blog.sina.com.cn/s/blog_6c9b83990102v9ir.html如果说有：权值共享的概念，那么肯定得有不共享的例子，而且不共享是比较原始的。输入层：对于一幅1000x1000大小的图像（假设为灰度图，不考虑3通道），我们把这个图像作为神经网络的输入层，那么输入层的神经元的个数就是每个像素点，个数为1000x1000个。隐层：我们再规

1、“玻尔兹曼机(Boltzman Machine)”  在深度学习里到底有什么用？答：我是在看了“Deep Learning（深度学习）学习笔记整理系列之（六）”这篇博客时看到的关于玻尔兹曼机的东西，它在深度学习里的用处：Deep Learning假设神经网络是多层的，首先用Boltzman Machine（非监督学习）学习网络的结构，然后再通过Back Propagation（监督学习