BERT参数量计算

参数详情	说明	参数量
name = bert/embeddings/word_embeddings:0, shape = (30522, 768)	单词表每个单词向量长度是768，一共30522个单词	23440896
name = bert/embeddings/token_type_embeddings:0, shape = (2, 768)	对于输入的任务是两个句子的，需要两个768维度的向量表示是第一个句子还是第二个句子	1536
name = bert/embeddings/position_embeddings:0, shape = (512, 768)	每个位置的embedding向量的表示，每一个位置向量是768维	393216
name = bert/embeddings/LayerNorm/beta:0, shape = (768,)	LayerNorm beta参数，因为单词向量表示是768维，所以是768个	768
name = bert/embeddings/LayerNorm/gamma:0, shape = (768,)	LayerNorm gamma参数，因为单词向量表示是768维，所以是768个	768
name = bert/encoder/layer_0/attention/self/query/kernel:0, shape = (768, 768)	这个是输入矩阵形状对应的query,正常是(768,12*64)所以最后变成了(768, 768)	589824
name = bert/encoder/layer_0/attention/self/query/bias:0, shape = (768,)	因为上面后者是12*64=768，所以最后是768维度的向量	768
name = bert/encoder/layer_0/attention/self/key/kernel:0, shape = (768, 768)	这个是输出矩阵形状对应的key，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64)	589824
name = bert/encoder/layer_0/attention/self/key/bias:0, shape = (768,)	因为上面后者是12*64=768，所以最后是768维度的向量	768
name = bert/encoder/layer_0/attention/self/value/kernel:0, shape = (768, 768)	这个是输出矩阵形状对应的value，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64)	589824
name = bert/encoder/layer_0/attention/self/value/bias:0, shape = (768,)	因为上面后者是12*64=768，所以最后是768维度的向量	589824
name = bert/encoder/layer_0/attention/output/dense/kernel:0, shape = (768, 768)	全连接第一层 768*768，全连接之后进行的残差连接	589824
name = bert/encoder/layer_0/attention/output/dense/bias:0, shape = (768,)	全连接对应的bias	768
name = bert/encoder/layer_0/attention/output/LayerNorm/beta:0, shape = (768,)	LayerNorm beta参数，因为单词向量表示是768维，所以是768个	768
name = bert/encoder/layer_0/attention/output/LayerNorm/gamma:0, shape = (768,)	LayerNorm gamma参数，因为单词向量表示是768维，所以是768个	768
name = bert/encoder/layer_0/intermediate/dense/kernel:0, shape = (768, 3072)	全连接第二层是768*3072	2359296
name = bert/encoder/layer_0/intermediate/dense/bias:0, shape = (3072,)	全连接对应的bias	3072
name = bert/encoder/layer_0/output/dense/kernel:0, shape = (3072, 768)	全连接第三层，将神经元的个数降低到768，好进行下一层的multi-head attention	2359296
name = bert/encoder/layer_0/output/dense/bias:0, shape = (768,)	全连接对应的bias	768
name = bert/encoder/layer_0/output/LayerNorm/beta:0, shape = (768,)	LayerNorm beta参数，因为单词向量表示是768维，所以是768个	768
name = bert/encoder/layer_0/output/LayerNorm/gamma:0, shape = (768,)	LayerNorm gamma参数，因为单词向量表示是768维，所以是768个	768
name = bert/encoder/layer_1/attention/self/query/kernel:0, shape = (768, 768)	这个是输入矩阵形状对应的query,正常是(768,12*64)所以最后变成了(768, 768)	589824
name = bert/encoder/layer_1/attention/self/query/bias:0, shape = (768,)	因为上面后者是12*64=768，所以最后是768维度的向量	768
name = bert/encoder/layer_1/attention/self/key/kernel:0, shape = (768, 768)	这个是输出矩阵形状对应的key，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64)	589824
name = bert/encoder/layer_1/attention/self/key/bias:0, shape = (768,)	因为上面后者是12*64=768，所以最后是768维度的向量	768
name = bert/encoder/layer_1/attention/self/value/kernel:0, shape = (768, 768)	这个是输出矩阵形状对应的value，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64)	589824
name = bert/encoder/layer_1/attention/self/value/bias:0, shape = (768,)	因为上面后者是12*64=768，所以最后是768维度的向量	589824
name = bert/encoder/layer_1/attention/output/dense/kernel:0, shape = (768, 768)	全连接第一层 768*768	589824
name = bert/encoder/layer_1/attention/output/dense/bias:0, shape = (768,)	全连接对应的bias	768
name = bert/encoder/layer_1/attention/output/LayerNorm/beta:0, shape = (768,)	LayerNorm beta参数，因为单词向量表示是768维，所以是768个	768
name = bert/encoder/layer_1/attention/output/LayerNorm/gamma:0, shape = (768,)	LayerNorm gamma参数，因为单词向量表示是768维，所以是768个	768
name = bert/encoder/layer_1/intermediate/dense/kernel:0, shape = (768, 3072)	全连接第二层是768*3072	2359296
name = bert/encoder/layer_1/intermediate/dense/bias:0, shape = (3072,)	全连接对应的bias	3072
name = bert/encoder/layer_1/output/dense/kernel:0, shape = (3072, 768)	全连接第三层，将神经元的个数降低到768，好进行下一层的multi-head attention	2359296
name = bert/encoder/layer_1/output/dense/bias:0, shape = (768,)	全连接对应的bias	768
name = bert/encoder/layer_1/output/LayerNorm/beta:0, shape = (768,)	LayerNorm beta参数，因为单词向量表示是768维，所以是768个	768
name = bert/encoder/layer_1/output/LayerNorm/gamma:0, shape = (768,)	LayerNorm gamma参数，因为单词向量表示是768维，所以是768个	768
name = bert/encoder/layer_2/attention/self/query/kernel:0, shape = (768, 768)	这个是输入矩阵形状对应的query,正常是(768,12*64)所以最后变成了(768, 768)	589824
name = bert/encoder/layer_2/attention/self/query/bias:0, shape = (768,)	因为上面后者是12*64=768，所以最后是768维度的向量	768
name = bert/encoder/layer_2/attention/self/key/kernel:0, shape = (768, 768)