Kuekua的专栏

1. AlexNetTips：Trained on GTX 580 GPU with only 3 GB of memory.Network spread across 2 GPUs, half the neurons (feature maps) on each GPU.所以在CONV1中分为两部分，每部分输出大小为55X55X48！heavy data augmentation：a. 增大

1. Recurrent Neural NetworkRNN 的关键点之一就是他们可以用来连接先前的信息到当前的任务上，例如使用过去的视频段来推测对当前段的理解。 有时候，我们仅仅需要知道先前的信息来执行当前的任务。例如，我们有一个语言模型用来基于先前的词来预测下一个词。如果我们试着预测 “the clouds are in the sky” 最后的词，我们并不需要任何其他的上下文 —— 因此下一

1.CPU & GPU GPU更擅长做并行化简单任务处理，如矩阵运算等！2. Deep Learning Frameworks利用Numpy手动构建神经网络：利用TensorFlow构建神经网络：利用PyTorch构建神经网络：3. TensorFlow利用TensorFlow构建神经网络容易出现以下问题：解决方法： 1. Change w1 and w2 from placeholder (f

1. Computer Vision Task2. Semantic Segmentation2.1 特点： a. Label each pixel in the image with a category label b. Don’t differentiate instances, only care about pixels2.2 步骤：a. Semantic Segmentation I

What’s going on inside ConvNets?1. First Layer: Visualize Filters卷积网络第一层特征以原图像的特征清晰的展现出来：但是后续层的输出无法直接理解：2. Last Layer最后一层（全连接层）以最邻近算法得出物体类别：用降维算法得出结果：人脸检测特征激活值示例：遮挡实验，用于检测图像某一部分影响识别结果的程度，右图中，像素越红影响越小，越

1. Unsupervised LearningSupervised vs Unsupervised Learning:2. Generative Models概述：Generative Models的作用：Generative Models的分类：3. PixelRNN and PixelCNN基本原理：PixelRNN：PixelCNN：Training is faster than Pixel

1. What is Reinforcement Learning概述： 举个栗子： 再举一个： 2. Markov Decision ProcessMathematical formulation of the RL problemMarkov property: Current state completely characterises the state of the world

Agenda Hardware 101: the Family Hardware 101: Number Representation Hardware 101: Number Representation 1. Algorithms for Efficient Inference1.1 Pruning Neural Networks Iteratively Retrain to Re

Overview• What are adversarial examples? • Why do they happen? • How can they be used to compromise machine learning systems? • What are the defenses? • How to use adversarial examples to improve

1. Assignment21.1 全连接神经网络深度学习小白——CS231n Assignment2(FC) 深度学习笔记8：softmax层的实现1.2 卷积神经网络深度学习小白——CS231n Assignment2（CNN）pooling mean max 前向和反向传播对于mean pooling，真的是好简单：假设pooling的窗大小是2x2, 在forward的时候啊，就是在前面卷积

1.损失函数 其中SVM 损失函数计算的是不正确分类的得分惩罚，即Syi是正确分类结果的得分，Sj是错误分类结果的得分，超参数（1）度量正确分类得分的优越性。2.简单损失函数流程图：4.求解损失函数的梯度矩阵 其中，绿色数值代表前向网络中的实际值，红色数值代表反向神经网络得到的梯度值。5.常见的激活函数sigmoid有点落伍了（fallen out of favor and it is

1.CNN1.1 原理Tips：1.每个卷积层由K个卷积模板生成，例如：第一层一般为边缘检测的卷积模板。2.为了使卷积前后的数据维度一致，可以将原始数据进行边拓展，拓展的数量为P。1.2.CNN流程Tips：1.每个卷积层后会有Relu操作，起将矩阵稀疏化的作用。2.若干个卷积层后会有POOL操作，其实就是降采样，一般取采样区域中的最大值为采