weixin_52103757的博客

Transformer中比较晦涩难懂的东西，你想知道的输出层输入什么等等内容都详细写在这里了！！！

前驱课程： 《吴恩达深度学习》听完课才有一些专有名词的概念首先是导库import tensorflow as tffrom tensorflow import keras张量设置和使用创建恒定张量x = tf.constant([[1,3], [1, 2]])# 可使用.numpy() 改变typex.numpy()矩阵创建# 1/0矩阵tf.ones(shape=(,))tf.zeros(shape=(,))# 正态分布tf.random.normal(shape=(

英文部分：Combinatory Categorical Grammar（ 组合分类语法 ）Common sense （ 常识推理 ）常识推理任务旨在要求模型超越模式识别。相反，模型应该使用“常识”或世界知识来进行推理。Constituency parsing ( 选区理解 )选区解析的目的是从句子中提取基于选区的解析树，根据短语结构语法表示其句法结构。例子： Sentence (S) | +---------

from tensorflow import keras.backend as KK.backend.shape(X) # 返回张量 可以看成列表，可以有下标K.all(x, axis=None, keepdims=False) # AND操作，按照轴的选定K.cast(x, dtype) # 改变数据类型，返回的是指定dtype的xK.floatx() # 'float32' # 一维张量（简单理解为数组）K.arange(start, stop=None,..

个人理解笔记，并不是全面讲解Self-Attention首先随机初始化Wq,Wk,Wv （个人认为W列对应神经元个数，行是单词的词嵌入长度）X(这里是好多个单词摆放成一个矩阵)乘W（qkv三个矩阵）得到对应的权重q,k,v(X每一行是一个0词)dk是键向量的维度当前一个单词（X的每一行（这里单词按行堆叠）），（当前单词的）q与（与其他单词的）ki（这些k由其他单词x乘Wk得到）分别多次点积除以sqrt(dk)再softmax归一化后得到一个值（个人记作Si(每一个ki对应一个Si，也对应一

优点：可以不同于sequential，能够有共享层以及多个输入输出简单介绍Sequentialfrom keras.models import Sequentialfrom keras.layers import Dense#构造model = Sequential([Dense(2, input_shape(1, )), Dense(1)])# ormodel = Sequential()model.add(Dense(2, input_shape(1,)))model.add(D.

学习来源定义：​ 由一个或者多个卷积层、池化层以及全连接层等组成。相比其他深度学习结构，在图像等方面能够给出更好的结果。也能通过反向传播算法进行训练，需要考量的参数更少。这是大致结构：Convolutions：卷积层Subsampling：池化层Full connection：全连接层结构：卷积层：目的：提取不同特征。某些卷积层可能只能提取低级的特征如：边缘、线条、角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征参数：**size：卷积核/过滤器大小，如：

神经网络的输出看成之前那逻辑回归计算过程的的多次重复左半边就是计算Z，右半边计算sigmoid(Z)，相当于隐藏层的每个神经节点都计算一次“Logistic Regression”w[1]T 1 是一个向量的转置*X这个计算在for 循环是非常低效的，下面来进行向量化。**把Z整一列看作向量计算，对应的会有W[1]*X[1]+b[1]，再放入sigmoid 函数，求a[1] ****a[2]的dim是（4, 1）,这最后的输出层就像是逻辑回归一样（把输入层和隐藏层看成整体），只不过

什么是神经网络比普通的Logistic Regression多了一轮的运算。神经网路的图Input layer: 特征值:使用a[0] 表示激活值**Hidden layer: 每一个节点是产生的一个激活值使用a[1]i(这里的i是节点号数，就是第一个节点就用下标1，如此。) ****Output layer: a[2] 也就是:y_hat ****这个系数w和b是和前面a[0]激活值维数相关的，w[2],b[2]也是如此，w[2]（1,4）1是因为输出层只有一个单元，4是

–Implement gradient descent for Logistic Regression简单回顾：L对a求偏导，就是：−ya+1−y1−a\frac{-y}{a}+\frac{1-y}{1-a}a−y​+1−a1−y​多个样本逻辑回归（梯度下降法）向量化可以使得运算速度加快。X是一个（n_x, m）的矩阵W是（n_x, 1）的矩阵（有多少个特征 就有多少个w）**Z是要得到的结果（1，m） Z = W.T *X + b[1*m] 也就是Z = np.d

学习笔记：的吴恩达深度学习课程–神经网络与深度学习在神经网络计算过程中，通常有一个正向传播步骤（forward propagation step），然后有一个反向步骤（back…）引例：Logistic Regression --二分分类算法例如：如果是猫就返回1，不是就0的算法在计算机中是将这样的三原色的矩阵，每个像素点（像素64*64单位对应64*64的矩阵）会有一（*3）个数值（表示亮度）然后将这些亮度值放进一个特征向量x中：按一定顺序的（视频时横向提取），从红色到绿色再到蓝色的数