谁谓荼苦，其甘如荠

为何有这种需求：服务器上非root账户； hanlp以tensorflow2.0+为基础； 服务器原有cuda版本9.0，cudnn7.1.3，均不符tensorflow2.1.0要求，无法启动GPU运算踩坑合集1.上官网下载与tensorflow=2.1.0对应的cuda(cuda 10.1)甩链接：https://developer.download.nvidia.cn/co...

1. BERT中使用Transformer作特征提取器，其实只使用了Transformer的Encoder。那么Decoder去哪了呢？显然是被BERT改造了。Transformer其实是个完整地seq-to-seq模型，可以解决诸如机器翻译、QA这种输入输出为不定长句子的任务，在Transformer中，它使用Encoder做特征提取器，然后用Decoder做解析，输出我们想要的结果。而...

一、什么是seq2seq，以及它和Attention机制有什么关系seq2seq是一种NLP常见的框架——这种框架不要求输入和输出序列是维度是一样的。许多NLP task的输入输出维度不统一，比如机器翻译、图像的图注生成、摘要生成、自动问答等。seq2seq框架大多包含encoder和decoder。 Attention机制只是一种思想——即，人在理解一件事物并作出判断的时候，并不是概览了整...

为何不可将神经网络的参数全都初始化成0？证明如下：如图所示。所以其实可以看出，当你把所有参数都初始化为0的时候，同一hidden layer的参数的更新幅度是一样的。又因为它们的初值也一样（都是0），所以导致隐藏层的参数永远一样，这就意味着你同一隐藏层每个神经元输入一样、经过同样的sigmoid激活，又得到一样的输出（设a4=a5=a），然后再乘以一样的参数。对于图中x4、x5组...

CNN-卷积神经网络CNN在处理自然信号上的四大关键思想： 局部连接——不是所有神经元之间都是有明显关系的，互相产生连接的只是一小部分神经元。或者更确切地说，CNN关注的是pattern，而不是整张图片 权重共享——相同的pattern就可以用一样的参数，即便它们出现在同一张图的不同位置 池化层导致的下采样——下采样不会改变图像，而且可以使图像变小 使用多层神经网络——？？？ ...

3.3 局部响应归一化（LRN）在后续研究中被发现没啥用3.4 Overlapping Pooling层叠池化如下图：进行了层叠池化，相比非层叠池化的model，更可以抵抗过拟合3.5 总体的架构共8个layer：前五个是卷积层，后三个是全连接层 最后一个全连接层作为input输入一个1000-维的softmax，得到一个1000维vector，即是其对应10...

tf.get_variable() 创建变量的时候必须要提供 name tf.Variable()创建变量之前不会检查是否有同样name的变量，但tf.get_variable() 会。 因为上一条的原因，所以tf.get_variable() 可以方便共享变量，前提是要配合`tf.variable_scope()`使用。每个在tf.variable_scope()定义的变量命名空间之...