
自然语言处理
文章平均质量分 78
shange19
这个作者很懒,什么都没留下…
展开
-
nlp的一个小测试:英文作文自动评分
最近这几天研究了一下英文作文自动评分系统,记录一下。首先我很简单的利用各个文章的词频数和线性回归进行测试一下。采用内置的停用词。最大词频数量为10000.# 统计文章中每篇文章的词频def get_count_vectors(essays): vectorizer = CountVectorizer(max_features=10000, ngram_range=(1, 3),...原创 2020-01-08 18:35:38 · 3483 阅读 · 1 评论 -
nlp的一些应用
1.编写一个中文分词工具2.词干提取(stemming)和词形还原(lemmatization)3.拼写纠错GitHub链接:https://github.com/shange1996/Projects-for-NLP/tree/master/spelling_correction4.问答系统GitHub链接:https://github.com/shange1996/Pro...原创 2019-11-27 20:36:49 · 303 阅读 · 0 评论 -
详解seq2seq模型中的attention机制,并利用LuongAttention搭建中英机器翻译!
先从我的理解概括Attention机制:在面对一句话时,人们一般不会整句都看完再去理解其意义(如果这个句子较长)。在seq2seq模型中,一整个句子当作输入会给网络带来困扰,并且很有可能丢失序列中靠前的信息。而在decoder模型的输入时,我们同样利用context替换原本的输入。context则是利用这句话学习得到的权重乘以这句话,得到一个新的context。将contex与这句话相拼接,输入网...原创 2019-10-25 22:48:14 · 2051 阅读 · 1 评论