YW_Vine的博客

绝对位置编码绝对位置编码一般形式的带绝对位置编码的Attention形式如下：{qi=(xi+pi)WQki=(xi+ki)WKvi=(xi+vi)WVai,j=softmax(qikjT)oi=∑jai,jvj \left\{\begin{aligned}q_i & = &(x_i+p_i)W_Q \\k_i & = & (x_i+k_i)W_K\\v_i & = & (x_i+v_i)W_V\\a_{i,j} & = & so

从苏神blog整理，记录下加深记忆，原始链接虚拟对抗训练即在模型的训练过程中对输入xxx人为的增加扰动，增加最终模型的鲁棒性。最早的对抗训练可以统一写成如下格式：min⁡θE(x,y) D[max⁡△x∈ΩL(x+△x,y;θ)]\min_\theta E_{(x, y)~D}[\max_{\triangle x \in \Omega}L(x+\triangle x, y; \theta)]θmin​E(x,y) D​[△x∈Ωmax​L(x+△x,y;θ)]其中DDD代表训练集，

简介Byte Pair Encoding（BPE）详细内容可参考这里BPE(字节对)编码或二元编码是一种简单的数据压缩形式，其中最常见的一对连续字节数据被替换为该数据中不存在的字节。后期使用时需要一个替换表来重建原始数据。OpenAI GPT-2 与Facebook RoBERTa均采用此方法构建subword vector.算法：准备足够大的训练语料确定期望的subword词表大小将单词拆分为字符序列并在末尾添加后缀“ </ w>”，统计单词频率。本阶段的subword的粒度是

一、服务部署使用zeroMQ的Python实现PyZMQ，它提供了轻量级和快速的消息传递实现。C/S消息传递的简单使用示例如下：import zmqimport zmq.decorators as zmqd@zmqd.socket(zmq.PUSH)def send(sock): sock.bind('tcp://*:5555') sock.send(b'hello') # in another process @zmqd.socket(zmq.PULL)def re

马休斯相关系数是衡量二分类模型结果的评估指标之一，具体参考Matthews Correlation Coefficient is The Best Classification Metric You’ve Never Heard Of，它能解决不均衡类别数据的指标衡量问题，首先介绍precision、recall及F1-score指标存在的问题。precision、recall及F1定义混淆矩阵的定义如下：positive(true)negative(true)positive(

一、简介论文地址：https://arxiv.org/pdf/1805.02023.pdf源码地址：https://github.com/jiesutd/LatticeLSTM二、相关模型介绍先介绍训练embedding的经典方法: embedding的训练方法，经典的有word2vec, fasttext有现成的包可以直接训练：gensim, fasttext2.1 基于字符的模型基于纯字符的模型比较简单，模型结构如下：character -> embedding -> (Bi

简介文章主要贡献将训练分词的模型(单向LSTM-CRF)与NER的训练合并来试图提高NER模型的性能。论文地址: https://arxiv.org/pdf/1603.00786.pdf代码gitlab地址: https://github.com/hltcoe/golden-horse模型结构模型的总体结构如下：左边是中文分词的模型结构(LSTM+CRF)，右边是NER的模型结构，NER模型的CRF前面的最后一层主要使用了三个特征：字符的词性embedding字符的embedding，即