weixin_36723038的博客

BIO标注体系

Transformer是谷歌团队在2017年提出的一个模型，由论文《Attention is All You Need》提出；Transformer基于 self-attention 自注意力机制的一种网络结构，其网络结构沿用了seq2seq的主体结构，由 Encoder-Decoder流程组成；Transformer模型是后续 Bert模型 的核心；Encoder也就是编码器，可以认为就是一个特征提取器，就是将原始的词转换为在语义空间里可以线性可分的特征；Decoder也就是解码器，可

关键字：文档 句子 词语单词 上下文单词 上下文窗口向量 相似性 类比性 欧几距离 余弦距离 余弦相似度 相似度阀值归于此类 创建新的类别词向量 --- word2vec、glove相似度 --- 欧几距离、余弦距离聚类 --- kmeans+、词向量是指将词转化成为稠密向量，并且对于相似的词，其对应的词向量也相近1、离散表示（one-hot representation）传统的基于规则或...

命名实体识别：规则、角色、序列