
自然语言处理
文章平均质量分 78
Transformer
猿来这样1
编程圈子,谢厂节的博客
展开
-
Transformers学习笔记3. HuggingFace管道函数Pipeline
Hugging face提供了管道函数——Pipeline,可以使用极少的代码快速开启一个NLP任务。Pipeline 具备了数据预处理、模型处理、模型输出后处理等步骤,可以直接输入原始数据,然后给出预测结果,十分方便。预处理输入文本,让它可被模型读取模型处理模型输出的后处理,让预测结果可读虽然Pipeline使用很简单,但对于专业人士缺乏灵活性。当前在下面网址查到当前有效的Pipeline:本文介绍其中一些管道模型的使用。原创 2022-12-22 06:54:12 · 1110 阅读 · 0 评论 -
Transformers学习笔记2. HuggingFace数据集Datasets
Datasets库是Hugging Face的一个重要的数据集库。原创 2022-12-19 21:27:18 · 1593 阅读 · 0 评论 -
Transformers学习笔记1. 一些基本概念和编码器、字典
Hugging Face是一家纽约的聊天机器人初创服务商,他们开源了Transformers库,并在开源社区大火起来,其官网地址: https://huggingface.co/自回归:GPT2, Transfoer-XL, XLNet自编码:BERT, ALBERT, RoBERTa, ELECTRATransformers是一个NLP自然语言处理库。开源地址:文档地址:教程地址:T5 modelBert modelXLM model。原创 2022-12-19 09:19:37 · 1367 阅读 · 0 评论