Memory

Recurrent Neural Network(RNN) - 循环神经网络（part 1)1 从一个例子说起假设要做一个智能客服系统或者智能订票系统之类的，需要用到一个叫做 Slot Filling 的技术，举个例子，如果做一个人对智能订票系统说 ”I would like to arrive Taipei on November 2nd“。那么你的系统会有一些 Slot，在这里...

本文中所有的图片均来自 网易云课堂 - 吴恩达机器学习 的视频截图。课时6 模型描述假设你的朋友在北京有一套100平的房子要卖，你可以利用一组北京的已知房子大小和房价的数据进行模型拟合，这样子就可以预测一个数值。这个问题属于 监督学习，因为我们事先知道了不同大小的房子对应的房价是多少。同时，这个问题也属于 回归，因为我们预测的房价是一个连续性的输出。另一种常用的监督学习方式 分类，其预测的输出...

0 前言因为之前在电脑上已经装了 Python3.6 + Tensorflow 1.11，所以用 Acaconda 创建了一个 Python2.7 的环境，在里面装 Tensorflow 1.4 ，但是这样有一个问题，就是 CUDA 不兼容，Tendoflow 1.4 需要 CUDA8.0 + cuDNN 6。所以这里提供了一个能让多版本 CUDA 共存的办法。1 下载下载 CUDA 8....

Backpropagation-反向传播算法1 前言1.1 为什么要用 Backpropagation在神经网络中的梯度下降算法和之前求线性回归方程中用的没有太大的区别，都是不断的计算微分，然后更新参数，最终找到一个最优解。但是在神经网络中，有着大量可能多达上百万个的参数，所以传统的求微分方法行不通，计算量太大无法快速有效的求出微分。1.2 链式求导法则（Chai...

3 Gradient Descent - 梯度下降1 为什么要用 Gradient Descent首先让我们回顾一下机器学习的三部曲，在 step 2 中，我们要定义一个 Loss Function，用来判断我们找出的函数的好坏。在 step 3 中，我们要挑出一个可以使得 Loss 函数值最小的一个函数，当做最好的函数。想一想我们以前是怎么求一个函数的最小值的，或许看...

Brief Introduction of Deep Learning - 深度学习简介1. 前言deep learning 在近些年非常热门，从2012年开始，深度学习的应用数目几乎是呈指数增长的。深度学习的发展史如下图： 2. 深度学习的步骤2.1 第一步： 定义一个神经网络神经网络由神经元组成，每个神经元如上图所示，每个神经元都有一个 bias ...

Recurrent Neural Network(RNN) - 循环神经网络（part 3) Gated RNN0 前言其实这节课的内容跟我其他这个系列的博客是不属于同一个课程的，但是因为是在 B 站看的视频，up 主可能不小心弄混了，于是我就也一起看了，多学点总没什么错。虽然不是同一门课，但是确实是同一个老师，也是极其学习的内容，所以就当做一门课也没什么差别。这里给出这节课内容所...

Convolutional Neural Network（CNN）1 为什么用 CNN 识别图像1.1 使用 DNN 的缺陷当我们用一般的全连接神经网络处理图像时，可能是这样子：第一层识别一些最基础的线条、特定方向的边界等等之类的最基本的模式。第二层就开始基于第一层的基础识别一些复杂一些的模式。往后的层以此类推，直至识别出一个预期中的目标。但是我们这样直接处理的话...

Recurrent Neural Network(RNN) - 循环神经网络（part 2)1 训练 RNN1.1 定义 Loss如上图中，每一个单词对应一个 Slot，将句子按顺序丢进 Network 中，产生一个输出 y，将每个 y 与预期的正确输出做 cross entropy，然后累加起来，就是最终的 Loss。（注意，顺序不能打乱）。1.2 学习（le...

0. 环境Ubuntu 16.04cuda 8.0 + cudnn 5.1python 2.7protobuf 2.6.1opencv 3.1因为 rrc_detection 年代比较久远了，所以用的都是一些比较旧的环境。以上这些配置都是在我踩了无数次坑以后才得出来的，都是泪。0.1 cuda7.5+cudnn 5.0rrc-github 里面是说需要 cuda7.5+cud...