nlp年度论文总结

最新推荐文章于 2025-06-05 00:10:23 发布

转载最新推荐文章于 2025-06-05 00:10:23 发布 · 1.3k 阅读

nlp 同时被 2 个专栏收录

12 篇文章

订阅专栏

机器学习

11 篇文章

订阅专栏

本文介绍了自然语言处理领域的最新进展，包括通用语言模型微调（ULMFiT）、ELMo、BERT等模型，以及Facebook的PyText框架，涵盖了从论文到实践的全面视角。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这个缩写，代表“通用语言模型的微调”，出自ACL 2018论文：Universal Language Model Fine-tuning for Text Classification。
详细的说明可以读他们的论文：
https://arxiv.org/abs/1801.06146
Fast.ai网站上放出了训练脚本、模型等：
http://nlp.fast.ai/category/classification.html

ELMo用语言模型Deep contextualized word representations
https://allennlp.org/elmo

BERT Bidirectional Encoder Representations from Transformers
如果你还没有读过BERT的论文，真的应该在2018年结束前补完这一课：
https://arxiv.org/abs/1810.04805
另外，Google官方开源了训练代码和预训练模型：
https://github.com/google-research/bert
如果你是PyTorch党，也不怕。这里还有官方推荐的PyTorch重实现和转换脚本：
https://github.com/huggingface/pytorch-pretrained-BERT

Facebook开源了自家工程师们一直在用的NLP建模框架PyText。这个框架，每天要为Facebook旗下各种应用处理超过10亿次NLP任务，是一个工业级的工具包
https://github.com/facebookresearch/pytext

沈向洋等重磅论文:公开微软小冰系统设计,迄今最详细!
论文地址：https://arxiv.org/pdf/1812.08989v1.pdf
http://dy.163.com/v2/article/detail/E447LSHU0511ABV6.html