AFFB_lan的博客

自然语言处理-学习笔记①1.概要2.文本预处理作用及其主要环节2.1文本处理的基本方法:2.1.1分词2.1.2词性标注2.1.3命名实体识别2.2文本张量的表示方法:2.2.1one-hot编码2.2.2word2vec2.2.3word Embedding2.3文本语料的数据分析:2.3.1标签数量分布2.3.2句子长度分布2.3.3词频统计与关键词词云2.4文本特征处理:2.4.1添加n-gram特征2.4.2本文长度规范2.5数据增强方法:2.5.1回译数据增强法1.概要2.文本预处理作用及其

文本特征处理及数据增强提取n-gram特征:学习目标:了解文本特征处理的作用.掌握实现常见的文本特征处理的具体方法.文本特征处理的作用:文本特征处理包括为语料添加具有普适性的文本特征, 如:n-gram特征, 以及对加入特征之后的文本语料进行必要的处理, 如: 长度规范. 这些特征处理工作能够有效的将重要的文本特征加入模型训练中, 增强模型评估指标.常见的文本特征处理方法:添加n-gram特征文本长度规范什么是n-gram特征