python 常用NLP开源项目

SUN_SU3

于 2020-05-07 17:33:06 发布

阅读量1.2k

点赞数

分类专栏： NLP 文章标签： nlp

本文链接：https://blog.youkuaiyun.com/u013546508/article/details/105976994

版权

本文介绍了多个Python中用于自然语言处理（NLP）的开源项目，包括fastNLP、fairseq、OpenNMT、tensor2tensor、Trax、transformers、tokenizers、tensorflow_NLP、torchtext和TensorFlow Text。这些工具包覆盖了从基本模型到复杂序列学习任务，如翻译、语言建模、序列模型和强化学习，并提供了预训练模型、数据集、词汇处理、模型可视化等功能，助力加速NLP研究和应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

fastNLP:
https://github.com/fastnlp/fastNLP
简介：fastNLP是一款轻量级的自然语言处理（NLP）工具包，目标是快速实现NLP任务以及构建复杂模型。

fairseq:
https://github.com/pytorch/fairseq
简介：Fairseq(-py) is a sequence modeling toolkit that allows researchers and developers to train custom models for translation, summarization, language modeling and other text generation tasks.

OpenNMT
https://opennmt.net/
简介：OpenNMT is an open source ecosystem for neural machine translation and neural sequence learning.

tensor2tensor
https://github.com/tensorflow/tensor2tensor
简介：Tensor2Tensor, or T2T for short, is a library of deep learning models and data