L.Z.的博客

下面整理了NLP的基本任务分类，资料来源见下链接。https://edu.youkuaiyun.com/course/play/8673词法分析（Lexical Analysis）：对自然语言进行词汇层面的分析，是NLP基础性工作 分词（Word Segmentation/Tokenization）：对没有明显边界的文本进行切分，得到词序列 新词发现（New Words Identificat...

       如今解决nlp问题，一般都是使用深度学习相关算法。在深度学习算法没有发展到如今水平之前，都是通过传统机器学习算法来解决nlp问题。下面为大家总结了解决nlp相关问题的传统机器学习算法。分类模型：文本分类、意图识别、情感分类 Logistics Regression Bayes Model SVM Decision Tree 序列标注模型：分词、词性标注、命名实...

TF-IDF算是nlp工程师必须掌握的入门级别的算法。作为兴趣爱好，之前曾阅读过几篇介绍该算法的博客，对其只是知道个大概。最近在看吴军老师的《数学之美》，里面对TF-IDF的介绍使得我对该算法有了更深刻的认识。现将个人对该算法的理解整理如下：TF-IDF是一种统计方法，用来评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它①在文件中出现的次数成正比增加，但同时会...