KKALL1314的博客

对抗样本：对抗样本是用心构造出来的会被分错类的样本。使用对抗样本来攻击深度卷积网络，使得它出错。对抗样本可以欺骗很多种线性模型，包括逻辑回归和支持向量机。对抗样本也可以欺骗非线性模型。对抗样本的产生是因为模型线性程度过高。对抗样本的寻找：找到一个和梯度方向能形成很大的内积的方向，然后只要大概沿着这个方向移动一点，就能找到对抗样本，欺骗网络模型。对抗区域：对抗样本所在的区域称为对抗区域/对抗...

目录S15.0前言S15.1Algorithms for Efficient InferenceS15.2Hardware for Efficient InferenceS15.3Algorithms for Efficient TrainingS15.4Hardware for Efficient TrainingS15.0前言深度学习正在改变我们的生活，例如自动驾驶...

目录S14.1增强学习(Reinforcement Learning,RL)S14.2马尔科夫决策过程Markov Decision ProcessesS14.1增强学习(Reinforcement Learning,RL)增强学习(强化学习)架构如下图所示。在建立增强学习过程中，有一个代理Agent和一个环境增强Environment。环境赋予代理一个状态State，代理将采取行...

目录S13.1Supervised vs Unsupervised LearningS13.2生成模型Generative ModelS13.2.1Fully visible belief networkS13.2.3变分编码器(Variational Autoencoders ,VAE)S13.2.4对抗生成网络(Generative Adversarial Network...

目录S12.1可视化S12.2其他S12.1可视化CNN网络是一个黑盒子，这一节主要是为了理解CNN学到了什么，CNN中间层的作用是什么，CNN在找图片的什么。第一个卷积层Filters可视化：对一些常见网络的第一层卷积层的Filters可视化结果如下所示。可视化方法是，Filters的形状为(H,W,Depth=3,Num)，将Filters视为Num个彩色图像，图像形状为(...

目录S11.0前言S11.1语义分割S11.1.1滑动窗口方法S11.1.2全卷积方法S11.1.13上采样S11.2分类+定位S11.2.1分类+定位S11.2.2姿态估计S11.3目标检测S11.3.1目标检测作为回归任务？S11.3.2目标检测作为分类任务S11.3.3Detection with Region ProposalsS11.3...

目录S10.1循环神经网络(Recurrent Neural Networks,RNN)S10.1.1RNN通用架构S10.1.2RNN的5种类型S10.2语言建模(Language Modeling)S10.2.1字符级语言模型例子S10.2.2反向传播S10.3RNN应用S10.3.1图像标注S10.3.2视觉问答Visual Question Answer...

目录S9.1LeNetS9.2AlexNetS9.3ZFNetS9.4VGGS9.5GoogleNetS9.6ResNetS9.7比较S9.8OthersS9.1LeNet该网络由LeCun等人提出[LeCun et al., 1998]。该网络可看作是通信网络的第一个实例，并且在数字识别领域的应用方面取得了成功。网络架构为[CONV-POOL-CONV-P...

目录S8.1CPU vs GPUS8.2深度学习框架Deep Learning FrameworksS8.1CPU vs GPUCPU是中央处理器。GPU是图像处理单元或者图形卡，最初用于对计算机图形进行渲染，特别是游戏视频等等。CPU和GPU都是通用的计算机器，它们可以执行任何指令。CPU的核数少于GPU的核数，但两者的核不能进行简单地数字比较。CPU的核能够单独运行，而GPU的...

目录S7.1更好的优化Fancier optimizationS7.2集成模型S7.3正则化(Regularization)S7.4迁移学习(Transer Learning)S7.1更好的优化Fancier optimization训练神经网络的核心问题是对损失函数的优化问题。优化方法有：随机梯度下降法(Stochastic Gradient Descent,SGD)，带...

目录S6.1前言S6.2激活函数(Activation Functions)S6.3数据预处理(Data Preprocessing)S6.4权重初始化(Weight Initalization)S6.5批归一化S6.6训练过程监控S6.7超参数优化(Hyperparameter Optimization)S6.1前言在训练网络之前，如何选择激活函数，怎样做数据...

目录S5.1历史S5.2卷积和池化S5.1历史神经网络历史1957年，Frank RosenBlatt发明了第一代感知机器，首次实现了感知器算法。 1960年，Windrow和Hoff发明了Adaline/Madaline，首次将线性层叠加，整合为多层感知器网络。 1986年，Rumelhart首次提出反向传播算法。接着链式法则，更新算法才慢慢出现。 2006年，Hint...

目录S4.1反向传播(Backpropagation)S4.2神经网络(Neural Networks)S4.1反向传播(Backpropagation)背景模型 SVM损失 整体损失函数 目标 找到使得L最小的W。为了找到W，需要求L在W方向上的梯度。 反向传播反向传播是指在神经网络中，将上层节点的梯度值进行反向地传播，进而求...

目录S3.1损失函数S3.2优化S3.1损失函数背景假设有3张图像的训练集，S2.3中使用某个W来进行对图像进行预测，得到了这三张图像分别在10个分类上的得分。得分即是模型的预测值或者输出值。损失函数(loss function)损失函数用于度量模型权重W的好坏。损失函数将W作为输入，然后得到一个损失值，定量的估计W的好坏。依据损失函数，就可以评估W是好是坏。使用表示样...

目录S2.1数据驱动方法S2.2K-最近邻算法S2.3线性分类S2.1数据驱动方法图像分类定义图像分类任务是计算机视觉的核心任务。在进行图像分类时，分类器接收一些输入图像，同时也知道图像集合对应的标签集合。分类器的任务就是为输入的图像分配一个固定的分类标签。图像的类别是人类赋予的语义的概念，而对于计算机来说，RGB图像仅仅是3维度的张量，是一个巨大的数字阵列。因此在进行图像...

目录S1.1CV概述S1.2CV历史背景S1.3课程后勤S1.1CV概述定义计算机视觉(computer vision,CV)是对视觉数据的研究，是一个多学科交叉的领域（物理，生物学，心理学，计算机科学，数学，工程学）。这些年，视觉数据呈爆炸式地增长，这很大程度上得益于世界上许许多多的视觉传感器。这些传感器每天能产生大量的视觉数据，这些数据构成了网络上传输的大部分数据。然而...

写在开始： 2020年1月26日，开始学习2017CS231n 斯坦福李飞飞计算机视觉识别课程。该博客为课程的笔记，希望能够监督自己学习。课程链接：https://www.bilibili.com/video/av58778425?p=20。课程课件：http://cs231n.stanford.edu/slides/2017/。所写博客中的图以及代码均来自于视频课程或者课件。...