本文详细介绍了一种基于预训练词向量的细粒度情感分析流程，包括使用Tokenizer进行分词并建立词汇表，构建词向量矩阵，以及如何处理训练和测试语句，使其适用于不同模型的输入要求。
以细粒度情感分析为例，每条语句有三行：句子-aspect-情感极性，分为train和test两个数据集。
整体流程
- tokennizer: 处理分词，以空格分开，建立word2id,id2word词典
- embedding：查找预训练的词向量，将每个单词对应的词向量组成词典，未知词另作处理
- 填充语句：将训练和测试语句先转化为tokenid中的word2id，再padding到最大长度
- 然后就可以走模型的部分进行训练了
tokennizer
入口： 初始调用函数，指定数据集、最大长度 – build_tokenizer
bulid_tokenizer具体流程如图：
其中Tokenizer类中包含属性：
以及两个方法：fit_on_text——split后建立word2id和id2word；
text_to_sequence——将句子中的每个单词转为对应的id，然后填充至最大长度
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
