W&J

NLP，用对比学习框架训练句向量，在STS任务上获得更好的表现

论文地址:https://arxiv.org/abs/1810.04805Abstract1、Bert，一个基于Transformer的双向编码表示器.2、从无标签的文本中，通过对所有层进行上下文联合学习，对深度双向表示进行预训练。3、预训练好的bert模型，仅需要一层额外的输出层进行finetune训练一、Introduction1、将预训练语言模型应用于下游任务有两种策略：feature-based，例：ELMo，有特定任务的网络结构、预训练的表示层作为其额外的特征..

隐马尔科夫模型的简单介绍： 五个元组： 1、初始化π 2、状态转移矩阵 A N*N (N为所有可能的状态q数) 3、观测概率分布 B N*M（M为所有可能的观测值） 4、观测值序列 O {o1,o2……oT} 5、状态值序列 I {i1,i2……iT}以中文分词为例状态值的取值有四个{B,E,M,S} B: begin 起始词 E：end 结尾词 M: mi...

Python 实现关键词提取这篇文章只介绍了Python中关键词提取的实现。关键词提取的几个方法：1.textrank 2.tf-idf 3.LDA，其中textrank和tf-idf在jieba中都有封装好的函数，调用起来十分简单便捷。常用的自然语言处理的库还有nltk,gensim，sklearn中也有封装好的函数可以进行SVD分解和LDA等。LDA也有人分装好了库，直接pip insta...