YW_Vine的博客

绝对位置编码绝对位置编码一般形式的带绝对位置编码的Attention形式如下：{qi=(xi+pi)WQki=(xi+ki)WKvi=(xi+vi)WVai,j=softmax(qikjT)oi=∑jai,jvj \left\{\begin{aligned}q_i & = &(x_i+p_i)W_Q \\k_i & = & (x_i+k_i)W_K\\v_i & = & (x_i+v_i)W_V\\a_{i,j} & = & so

需求场景由于最近一直在处理nlp任务，为了提高模型的泛化性，经常使用bert预训练模型在下游任务微调，但是在实际测试中发现，由于训练数据量不大，bert层参数的固定与否对最终结果的精度影响并不大.为了方便，想着将bert只用作固定的embedding，后续的所有Nlp任务都可基于embedding建模，后面可接全连接接层，cnn，blstm，crf等．最方便的方法就是将Bert作为一个微服务部署在服务器，该服务返回句子embedding后的结果，具体可以为bert最后一层向量，包括cls、及每个字符对