tflearn的VocabularyProcessor用法：建立中文词汇表和把文本转为词ID序列

炒鸡嗨客协管徐

于 2018-03-21 12:28:51 发布

阅读量7.6k

点赞数 1

分类专栏：自然语言处理机器学习笔记文章标签： tfleanr 自然语言处理词汇表

本文链接：https://blog.youkuaiyun.com/xfgryujk/article/details/79638243

版权

本文介绍了如何利用tflearn库的VocabularyProcessor模块，详细阐述了建立中文词汇表的过程，并展示了将文本转换为词ID序列的方法，对于自然语言处理任务中的预处理具有实践指导意义。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-

from hanziconv import HanziConv
from jieba import cut
from tflearn.data_utils import VocabularyProcessor

DOCUMENTS = [
    '这是一条测试1',
    '这是一条测试2',
    '这是一条测试3',
    '这是其他测试',
]


def chinese_tokenizer(documents):
    """
    把中文文本转为词序列
    """

    for document

最低0.47元/天解锁文章