程永强

Neural Networks and Deep Learning - 神经网络与深度学习Neural Networks and Deep Learninghttp://neuralnetworksanddeeplearning.com/神经网络与深度学习https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/https://www.gitbook.com/book/hit-scir/neural-n

N, C, H, W, D1. N, C, H, W, DPython API -> mxnet.gluon -> gluon.nnhttps://mxnet.cdn.apache.org/versions/1.7/api/python/docs/api/gluon/nn/index.htmlN, C, H, W, D stands for batch, channel, height, width and depth dimensions respectively.2. N, C,

Netscope - Caffe’s prototxt 可视化工具http://ethereon.github.io/netscope/quickstart.htmlA web-based tool for visualizing neural network architectures (or technically, any directed acyclic graph). It currently supports Caffe's prototxt format.1. Gist Support

训练多层感知器 - 前向阶段 & 反向阶段 训练多层感知器的一个流行方法是反向传播算法，这包含 LMS 算法作为一个特例。训练分为如下的两个阶段： 1. 前向阶段，网络的突触权值是固定的，输人信号在网络中一层一层传播，直到到达输出端。在这一阶段，输人信号的影响限制在网络中激活隐藏神经元和输出神经元上。 2. 反向阶段，通过比较网络的愉出和期...

多层感知器的基本特征 Rosenblatt 感知器本质上是一个单层神经网络，这一网络局限于线性可分模式的分类问题。自适应滤波采用了 Widrow 和 Hoff 的 LMS 算法。这一算法也是基于权值可调的单个线性神经元，这也限制了这一算法的计算能力。为了克服感知器和 LMS 算法的实际局限，我们考虑所熟知的多层感知器这一神经网络结构。 下面的三点揭示了多层感知器的基本特征：1. 网络中每个神经元模型包含一个可微的非线性激活函数。2. 网络中包括一个或多个隐藏在输人和输出神...

batch normalization - layer normalization - instance normalization - group normalizationfeature normalization (batch normalization - layer normalization - instance normalization - group normalization)1. 4D tensor (N×C×H×WN \times C \times H \times WN×C×H

Occam’s razor - 奥卡姆剃刀Occam’s razor (Ockham’s razor or Ocham’s razor: Latin: novacula Occami; or law of parsimony: Latin: lex parsimoniae) is the problem-solving principle that states “Entities should not be multiplied without necessity.” The idea is attri

epoch - iteration - batch1. darknethttps://github.com/AlexeyAB/darknetmAP will be calculated for each 4 Epochs using valid=valid.txt file that is specified in obj.data file.1 Epoch = images_in_train_txt / batch iterations# Trainingbatch=64epoch [ˈi

动手学深度学习 - 9.3. 目标检测和边界框动手学深度学习 - Dive into Deep LearningAston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smolahttps://zh.d2l.ai/9.3. 目标检测和边界框在图像分类任务里，我们假设图像里只有一个主体目标，并关注如何识别该目标的类别。然而，很多时候图像里有多个我们感兴趣的目标，我们不仅想知道它们的类别，还想得到它们在图像中的具体位置。在计算机视觉里，我们将这类

神经网络 - 泛化 (generalization)泛化 (generalization) 是指神经网络对未在训练 (学习) 过程中遇到的数据可以得到合理的输出。References(加) Simon Haykin (海金) 著, 申富饶, 徐烨, 郑俊, 晁静 译. 神经网络与机器学习[M]. 北京:机械工业出版社, 2011. 1-572...

TensorFlow 正则化 (regularization) 与过拟合1. L1L1L1 L2L2L2 正则化与过拟合在使用梯度下降优化神经网络时，被优化的函数就是神经网络的损失函数。这个损失函数刻画了在训练数据集上预测结果和真实结果之间的差距。然而在真实的应用中，我们想要的并不是让模型尽量模拟训练数据的行为，而是希望通过训练出来的模型对未知的数据给出判断。模型在训练数据上的表现并不一定代表了它在未知数据上的表现。过拟合问题就是可以导致这个差距的一个很重要因素。过拟合指的是当一个模型过为复杂之后，它

Deep Learninghttp://www.deeplearningbook.org/An MIT Press bookIan Goodfellow and Yoshua Bengio and Aaron CourvilleDeep LearningTable of ContentsAcknowledgementsNotation1 IntroductionPart I: Applied Math and Machine Learning Basics2 Linear Algeb

动手学深度学习 - 11.2. 数学知识动手学深度学习 - Dive into Deep LearningAston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smolahttps://zh.d2l.ai/11.2. 数学知识11.2.1. 线性代数11.2.1.1. 向量本书中的向量指的是列向量。一个 nnn 维向量 x\boldsymbol{x}x 的表达式可写成x=[x1x2⋮xn],\boldsymbol{x} = \be

零基础入门深度学习《零基础入门深度学习》学习网址如下：https://www.zybuluo.com/hanbingtao/note/433855零基础入门深度学习 - 感知器零基础入门深度学习 - 线性单元和梯度下降零基础入门深度学习 - 神经网络和反向传播算法零基础入门深度学习 - 卷积神经网络零基础入门深度学习 - 循环神经网络零基础入门深度学习 - 长短时记忆网络(LSTM)零基础入门深度学习 - 递归神经网络...

循环神经网络 - 卷积神经网络传统的机器学习算法非常依赖于人工提取的特征，使得基于传统机器学习的图像识别、语音识别以及自然语言处理等问题存在特征提取的瓶颈。基于全连接神经网络的方法存在参数太多、无法利用数据中时间序列信息等问题。循环神经网络的主要用途是处理和预测序列数据。全连接神经网络或卷积神经网络模型中，网络结构都是从输入层到隐含层再到输出层，层与层之间是全连接或部分连接的，但每层之间的节点是无连接的。循环神经网络的来源就是为了刻画一个序列当前的输出与之前信息的关系。从网络结构上，循环神经网络会

Convolutional Neural Network (CNN or ConvNet) 卷积核的大小一般都是奇数*奇数在 Convolutional Neural Network (CNN or ConvNet) 中，卷积核的大小几乎都是奇数*奇数 (5∗55*55∗5，3∗33*33∗3，1∗11*11∗1)。The LeNet-5 architecture consists of two sets of convolutional and average pooling layers, fol

动手学深度学习 - 11.1. 数学符号 (notation)动手学深度学习 - Dive into Deep LearningAston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smolahttps://zh.d2l.ai/11.1.1. 数xxx：标量x\boldsymbol{x}x：向量X\boldsymbol{X}X：矩阵X\mathsf{X}X：张量11.1.2. 集合X\mathcal{X}X：集合R\mat

动手学深度学习 - 3. 深度学习基础动手学深度学习 - Dive into Deep LearningAston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smolahttps://zh.d2l.ai/3. 深度学习基础作为机器学习的一类，深度学习通常基于神经网络模型逐级表示越来越抽象的概念或模式。线性回归和 softmax 回归是两种单层神经网络。深度学习中应对过拟合的常用方法：权重衰减和丢弃法。单层神经网络：线性回归和 softma

data set - dataset1. PERSON DATASETIrvine_Spectrum_Center datasetDisney_Springs datasetDowntown_Disney_District datasetMicrosoft_Ignite_and_Microsoft_Envision datasetCOCO datasetPascal_VOC datasetPeet’s_CoffeeMall_of_AmericaIKEA_LIVAT dataset2.

神经网络与深度学习https://www.coursera.org/learn/neural-networks-deep-learning/Coursera 致力于普及全世界最好的教育，它与全球一流大学和机构合作提供在线课程。https://www.coursera.org/Andrew NgIntroduction to deep learningNeural Networks BasicsShallow neural networksDeep Neural Networks...

图像处理技术资料库 - pyimagesearchhttps://www.pyimagesearch.com/You can master Computer Vision, Deep Learning, and OpenCV.

动手学深度学习 - 11.5. GPU 购买指南动手学深度学习 - Dive into Deep LearningAston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smolahttps://zh.d2l.ai/11.5. GPU 购买指南深度学习训练通常需要大量的计算资源。GPU 目前是深度学习最常使用的计算加速硬件。相对于 CPU 来说，GPU 计算更加密集。一方面，相同计算能力的 GPU 的价格一般是 CPU 价格的十分之一；另一方

先验知识结合进神经网络的设计中 如果存在先验信息和不变性，应该将其附加在网络设计中，这样就不必学习这些信息而简化网络设计。 该规则特别重要，因为真正坚持这一规则就会使网络具有特定结构。这一点正是我们需要的。原因如下：1. 己知生物视觉和听觉网络是非常特别的。2. 相对于完全连接网络，特定网络用于调节的自由参数是较少的。因此，特定网络所需的训练数据更少，学习更快而且常常泛化性能更强。3. 能够加快通过特定网络的信息传输速率 (即网络的吞吐量)。4. 和全连接网络相比特...

Training set - Validation set - Test set - Development set (dev set)1. Training set - Validation set - Test setTraining set: The data you will use to train your model. This will be fed into an algorithm that generates a model. Said model maps inputs t

Intersection over Union - IU - IoU - 交并比 (2)Fully Convolutional Networks for Semantic Segmentation.检测物体轮廓不一定是方框，也可以是沿着物体的边线。mean IU 指的是不同类别识别准确度的平均值。一幅图中要识别三个物体，mean IU 就是三个物体分别准确度加起来的平均值。semantic [sɪ'mæntɪk]：adj. 语义的，语义学的 (等于 semantical)...

Neural Networks and Deep Learning - 神经网络与深度学习 - Overfitting and regularization - 过拟合和正则化Neural Networks and Deep Learninghttp://neuralnetworksanddeeplearning.com/index.html神经网络与深度学习https://legacy.gitbook.com/book/hit-scir/neural-networks-and-deep-learn

Rectifier (neural networks) - 整流函数https://en.wikipedia.org/wiki/Rectifier_(neural_networks)线性整流函数 / 线性修正单元 (Rectified Linear Unit，ReLU) 是一种人工神经网络中常用的激活函数 (activation function)，通常指代以斜坡函数及其变种为代表的非线性函数。常用的线性整流函数有斜坡函数 f(x)=max⁡(0,x)f(x) = \max(0, x)f(x)=max

Amazon Rekognition - 对象和场景检测https://amazonaws-china.com/cn/rekognition/faqs/什么是标签？标签是基于其内容在图像中找到的对象、场景或概念。例如，热带海滩上的人物照片可能包含人物、水、沙、棕榈树和泳装 (对象)、海滩 (场景)、户外 (概念) 等标签。什么是置信度得分，如何使用它？置信度得分是一个介于 0 与 100 之间的数字，用于指示给定预测正确的概率。以上面的热带海滩为例，如果对象和场景检测过程对于标签水返回

Amazon Rekognition - 面部比较https://amazonaws-china.com/cn/rekognition/faqs/什么面部比较？面部比较是将一副面孔与一副或多副面孔进行比较以测量相似性的过程。借助 CompareFaces API，您可以通过 Amazon Rekognition 测量两张图像中的面部属于同一个人的可能性。API 将源输入图像中的面孔与在目标输入图像中检测到的每副面孔进行比较，并针对每次比较返回相似度得分。您还能够获得检测到的每副面孔的边界框和置信

神经网络 - 学习算法用于完成学习过程的程序称为学习算法，其功能是以有序的方式改变网络的突触权值以获得想要的设计目标。1. 神经网络是通过学习过程从外界环境中获取知识的。2. 互连神经元的连接强度，即突触权值，用于存储获取的知识。References(加) Simon Haykin (海金) 著, 申富饶, 徐烨, 郑俊, 晁静 译. 神经网络与机器学习[M]. 北京:机械工业出版社, 2011. 1-572...

深度学习工程师由 deeplearning.ai 出品，正版授权中文版深度学习工程师课程。

Kaiming He 何恺明References人工智能 - 深度学习 - 知识体系http://kaiminghe.com/index.html

Unsupervised Feature Learning and Deep Learning Tutorial - UFLDL Tutorialhttp://ufldl.stanford.edu/tutorial/Welcome to the Deep Learning Tutorial!Description: This tutorial will teach you the main ideas of Unsupervised Feature Learning and Deep Learning

Intersection over Union - IoU - 交并比 (1)1. Intersection over Union(IoU，交并比)The IoU is the ratio of the overlapping area of ground truth and predicted area to the total area. Here is a visual explanation of the metric:2. Intersection over Union (IoU，.

Understanding the Overheads of Launching CUDA Kernels (理解启动 CUDA Kernels 的开销)

背诵新概念英语

NEW CONCEPT ENGLISH - First Things First

新概念英语 (NEW CONCEPT ENGLISH) 学习资源

英语助动词的分类及其缩略形式

新编英语语法教程