zhufenghao

Google提出的BERT（Bidirectional Encoder Representations from Transformers）是现在自然语言处理领域里当之无愧的王者，但是在阅读这篇文献的时候，总有一种和传统自然语言技术断层的感觉。通过研究OpenAI GPT后才恍然大悟，原来这才是其中的桥梁：BERT的思想启发自OpenAI GPT，并应用了transformer的强大处理能力，结合了更多的训练数据、更巧妙的训练手段，才取得了现在这样好的效果。这里就对OpenAI GPT和BERT共同依赖的无

关于self-attention的基本定义，以及在自然语言处理方向的发展，参考1、图像识别方向Non-local Neural Networks论文将self-attention抽象成为了一个如同卷积、循环操作类似的通用神经网络构件non-local，并主要应用于图像视频领域。non-local抽象出的主要思想是，每个位置上的响应都是通过所有位置上的特征加权求和得到的，因此它具有绝对的长程依赖特征。对于CNN和RNN来说，卷积和循环操作只能处理局部邻域（即局部注意力），长程依赖是通过增加网络深度从而

1. self-attention原理介绍形象化解释：The Illustrated Transformer哈佛代码介绍：The Annotated Transformer论文解读：Attention Is All You Need - The Transformer2. self-attention改进方向先放资源，后面再解析腾讯AI LABgithub论文发现一个每周论文的博客3. self-attention在其他领域尝试self-attention序列数据分析：attent

图像预处理：减去的均值是数据集所有图片的RGB三个通道的均值构成的向量[Rmean, Gmean, Bmean]，每个通道各一个均值。然后所有图像都减去此向量。MEAN_VALUE = np.array([103.939, 116.779, 123.68]) # BGRdef preprocess(img): # img is (height, width, channels), v

分类问题的损失函数交叉熵损失（Cross Entropy Loss）：假设误差是二值分布，可以视为预测概率分布和真实概率分布的相似程度。在分类问题中有良好的应用 CE(θ)=−∑i=1nyi∗log(y^i)CE(\theta) = -\displaystyle\sum_{i=1}^{n}{y_i*\log({\hat{y}_{i}})} 其中yiy_i表示真实概率分布，只有yk=1y_k=1

1. 代码基本结构定义theano符号变量，作为函数的输入变量 byte: bscalar, bvector, bmatrix, brow, bcol, btensor3, btensor4 16-bit integers: wscalar, wvector, wmatrix, wrow, wcol, wtensor3, wtensor4 32-bit integers: isca

1. Gradient descentGradient descent is a way to minimize an objective function J(θ)J(\theta) parameterized by a model’s parameters θ∈ℝd\theta\in\mathbb{R}^d by updating the parameters in the opposite d

1. 动机卷积神经网络（CNN）是一种生物启发的MLPs的变种，从Hubel和Wiesel早期对猫的视觉皮层的研究中，我们得知视觉皮层包含了复杂的神经元组织形式。每个神经元只对视觉区域中一个小的局部区域敏感，一个小的局部区域被称为对应神经元的感受野，它们平铺起来覆盖了整个视觉区域。这些神经元的作用如同对输入空间的局部滤波器，并很好的适用于发现自然图像中很强的空间局部相关关系。两种基本的神经元为S