【人工智能】Transformers之Pipeline（十五）：总结（summarization）

置顶 已于 2024-09-10 10:35:14 修改
阅读量2.6k 收藏 117
点赞数 122
分类专栏： Pipeline 文章标签： 人工智能 深度学习 机器学习 自然语言处理 transformer bert kubernetes
于 2024-09-04 20:39:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_48007632/article/details/141900321
版权

​​​​​​​

目录

一、引言 

二、总结（summarization）

2.1 概述

2.2 BERT与GPT的结合—BART

2.3 应用场景​​​​​​​

2.4 pipeline参数

2.4.1 pipeline对象实例化参数

2.4.2 pipeline对象使用参数 ​​​​​​​

2.4.3 pipeline返回参数 ​​​​​​​​​​​​​​

2.5 pipeline实战

2.6 模型排名

三、总结

一、引言 

 pipeline（管道）是huggingface transformers库中一种极简方式使用大模型推理的抽象，将所有大模型分为音频（Audio）、计算机视觉（Computer vision）、自然语言处理（NLP）、多模态（Multimodal）等4大类，28小类任务（tasks）。共计覆盖32万个模型

今天介绍NLP自然语言处理的第三篇：总结（summarization），在huggingface库内有2000个总结（summarization）模型。

二、总结（summarization）

2.1 概述

摘要是在保留重要信息的同时生成文档的较短版本的任务。模型可以从原始输入中提取文本，同时可以生成全新的文本！

2.2 BERT与GPT的结合—BART

BART 是一个由facebook研发的Transformer 编码器-编码器 (seq2seq) 模型，具有双向 (类似 BERT) 编码器和自回归 (类似 GPT) 解码器。BART 通过 (1) 使用任意噪声函数破坏文本，以及 (2) 学习模型来重建原始文本进行预训练。
BART 在针对文本生成（例如摘要、翻译）进行微调时特别有效，但它也适用于理解任务（例如文本分类、问答）。这个特定的检查点已在 CNN Daily Mail（一个庞大的文本摘要对集合）上进行了微调。

2.3 应用场景​​​​​​​

  • 自动文摘：使用自然语言处理（NLP）技术，从长篇文章中提取出最重要的段落或句子。
  • 文本分类：根据文本内容对其进行分类，如新闻、博客、产品描述等。
  • 信息检索：通过总结来帮助用户快速找到相关信息。
  • 智能问答：使用总结技术来生成问题的答案。
  • 文本分析：从大量文本数据中提取出有价值的信息和知识。

2.4 pipeline参数

2.4.1 pipeline对象实例化参数

最低0.47元/天 解锁文章
用CNN+RNN实现image-to-text任务：原理讲解和代码实现
沉迷单车的追风少年
08-24 974
text-image配对数据集并不是珍贵的，OpenAI为了训练GLIDE等大模型，曾经使用十亿量级的text-image数据集，而这些数据集主要是从互联网上爬取过滤的。image-to-text作为image-to-text的镜像问题，相关的研究少了很多。我们可以用CNN+LSTM搭建一个成功的模型用于完成这一任务。...
【人工智能】Transformers 之 Pipeline（解析）：30w + 大模型轻松上手
2401_86518761的博客
10-08 1738
管道是一种使用模型进行推理的简单而好用的方法。这些管道是从库中抽象出大部分复杂代码的对象，提供了专用于多项任务的简单 API，包括命名实体识别、掩码语言建模、情感分析、特征提取和问答。在使用上，主要有2种方法使用task实例化pipeline对象使用model实例化pipeline对象。
图像到文本的桥梁：Transformer模型的创新应用
2401_85763803的博客
07-11 904
Transformer模型是一种基于自注意力机制的神经网络架构，它在2017年由Vaswani等人首次提出。与传统的循环神经网络（RNN）和卷积神经网络（CNN）不同，Transformer模型能够并行处理序列数据，这使得它在处理长距离依赖关系时具有显著优势。
imagetotxt php_PHP 实现的将图片转换为TXT
weixin_39949297的博客
12-21 208
/*2015年10月19日10:24:59*/// 打开一幅图像$file_name='d:\ascii_dora.png';$chars = "$@B%8&WM#*oahkbdpqwmZO0QLCJUYXzcvunxrjft/\|()1{}[]?-_+~<>i!lI;:,\"^`'. ";function getimgchars($color_tran,$chars){$le...
imagetotxt php_利用PHP怎么将图片转换为TXT文件
weixin_42504649的博客
12-30 189
利用PHP怎么将图片转换为TXT文件发布时间：2020-12-16 16:39:45来源：亿速云阅读：81本篇文章给大家分享的是有关利用PHP怎么将图片转换为TXT文件，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。PHP 实现的将图片转换为TXT...
探索GitCode上的ImageToText: 图像转文本工具的技术魅力
gitblog_00086的博客
04-20 1008
探索GitCode上的ImageToText: 图像转文本工具的技术魅力 去发现同类优质开源项目:https://gitcode.com/ 在数字化时代，图像中隐藏的信息常常需要提取为可编辑和搜索的文字。GitCode上有一个名为ImageToText的项目，它提供了一个便捷、高效的方法将图像中的文字转换成可编辑的文本。这篇文章将深入探讨该项目的技术实现、用途及特点，帮助您更好地理解和应用这一实用...
【人工智能】Transformers之Pipeline（五）：深度估计（depth-estimation）
人工智能领域博客
07-24 5721
本文对transformers之pipeline的深度估计（depth-estimation）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的代码极简的使用计算机视觉中的深度估计（depth-estimation）模型，应用于3D建模、自动驾驶距离测算等。
【人工智能】Transformers之Pipeline（十八）：文本生成（text-generation）
人工智能领域博客
09-13 5125
本文对transformers之pipeline的文本生成（text-generation）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用NLP中的文本生成（text-generation）模型。
【人工智能】Transformers之Pipeline（概述）：30w+大模型极简应用
热门推荐
人工智能领域博客
07-10 1万+
本文为transformers之pipeline专栏的第0篇，后面会以每个task为一篇，共计讲述28+个tasks的用法，通过28个tasks的pipeline使用学习，可以掌握语音、计算机视觉、自然语言处理、多模态乃至强化学习等30w+个huggingface上的开源大模型。让你成为大模型领域的专家！
【人工智能】Transformers之Pipeline（七）：图像分割（image-segmentation）
人工智能领域博客
08-02 6051
本文对transformers之pipeline的图像分割（image-segmentation）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用计算机视觉中的图像分割（image-segmentation）模型。
NLP-image-to-text:从图像中提取文本的代码
05-24
NLP图像到文本 从图像中提取文本的代码 pip install -r requirements.txt 如果遇到找不到文件错误，如下所示： FileNotFoundError: [Errno 2] No such file or directory: 'tesseract' 运行以下命令 brew install tesseract 然后如下运行image-to-text.py： python image-to-text.py <relative> 我们观察到，对于干净的输入，准确性很高。 参见输入2。嘈杂的输入可能不会产生相同的效果！ 一些示例输入和输出： 输入： 输出： DON’T WATCH THE CLOCK; KEEP GOING. SAM LEVENSON / / 7 J .- - flCESSc
img_to_txt:图片到txt，视频到txt
05-03
图片传输到txt 用法 安装依赖： $ pip3 install -r requirements.txt 命令： $ python3 img_to_txt.py [file/url] [size] args： [file/url]: The local file path, or online pic URL. [size]: Width of output txt, The larger the size, the clearer the picture . 例子 $ python3 img_to_txt.py https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_272x92dp.png 执行此命令后，您将在当前文件夹中获得一个名为out.txt文件，并且您将在控制台中观看字符串输出： 留
image-to-text:图片到文字的Chrome扩展名
05-12
移至 图片到文字的Chrome扩展名 从任何网页上的图像中提取文本。 特征： 右键单击任何图像，然后从上下文菜单中单击“提取文本”以从图像中提取文本。 单击扩展名图标以选择当前选项卡的一部分并从中提取文本。 播放提取的文本作为音频（tts） PDF文字提取 网上商店
imagetotext一个纯前端的图片转字符画工具
08-10
image-to-text 一个纯前端的图片转字符画工具
将图片转化为字符画：ImageToTxt
08-17
将图片转化为字符画。需要先安装PIL。推荐下载PIL包来实现。 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * + * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * - - - - - - - - - - - - - - - * * * * * * * * * * * * * * * * + + + + + + + + + + + + + + + + + + + + * - - - - - - - - - - - - - - - * + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + * * * - - - - - - - - - - - - - - - * * * + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + / / / - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + / / / - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + / / / / / / - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + / / / / / / - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + / / / / / / - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + / / / / / / / / / / / / / / / / / / + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + / / / / / / / / / / / / / / / / / / + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + # # # # # / / / / / / / / / / / / / # # + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + # # # # # / / / / / / / / / / / / / # # + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + # # # # # / / / / / / / / / / / / / # # + + + + + + + + + + + + + + + + + + + + + + + + + + + # # # # # # # # # # # # + / / - - - - - - - / # # # # # # # + + + + + + + + + + + + + + + + + + + + + + # # # # # # # # # # # # + / / - - - - - - - / # # # # # # # + + + + + + + + + + + + + + + + + + + # # # # # # # # # # # # # # # + / / / / / - - / / / # # # # # # # # # # + + + + + + + + + + + + + + + + # # # # # # # # # # # # # # # + / / / / / - - / / / # # # # # # # # # # + + + + + + + + + + + + + + + + # # # # # # # # # # # # # # # + / / / / / - - / / / # # # # # # # # # # + + + + + + + + + + + + + + # # # # # # # # # # # # # # # # # + / / / / / / / / / / # # # # # # # # # # # # * + + + + + + + + + / + # # # # # # # # # # # # # # # # # + / / / / / / / / / / # # # # # # # # # # # # * + + + + + / / / / / + # # # # # # # # # # # # # # # # # + / / / / / / / / / / # # # # # # # # # # # # * / / / / / / / / / / + # # # # # # # # # # # # # # # # # + / / / / / / / / / / # # # # # # # # # # # # * / / / / / / / / / / + # # # # # # # # # # # # # # # # # + / / / / / / / / / / # # # # # # # # # # # # * / / / / / / / / / / + # # # # # # # # # # # # # # # # # + / / / / / / / / / / # # # # # # # # # # # # * / / / / / / / / / / / # # # # # # # # # # # # # # # # # + / / / / / / / / / / # # # # # # # # # # # # * / / / / / / / / / / / # # # # # # # # # # # # # # # # # + / / / / / / / / / / # # # # # # # # # # # # * / / / / /
Image to Text OCR：一键提取图片中的文字
gitblog_00082的博客
06-16 960
Image to Text OCR：一键提取图片中的文字 Image-to-Text-OCR Image to Text is a web tool to extract text from any image using OCR 项目地址: https://gi...
推荐开源项目：Image to Text OCR - 图像转文本的高效工具
gitblog_00058的博客
06-10 610
推荐开源项目：Image to Text OCR - 图像转文本的高效工具 Image-to-Text-OCRImage to Text is a web tool to extract text from any image using OCR项目地址:https://gitcode.com/gh_mirrors/im/Image-to-Text-OCR 项目介绍 在数字化时代，我们常常会遇到...
手把手写深度学习(17)：用LSTM为图片生成文字描述(Image-to-text任务)
沉迷单车的追风少年
09-15 3384
近年来text-to-image的任务非常火爆，大模型如Della、Imagen、GLIDE等都取得了良好的效果；其镜像任务image-to-text的相关研究却比较少，这篇博客手把手带大家用简单的LSTM网络搭建一个image-to-text系统。...
从图像到文本：图像描述生成与视觉语言模型
AI天才研究院
12-26 3335
1.背景介绍 图像描述生成(Image Captioning)是一种自然语言处理(NLP)任务，其目标是从给定的图像中自动生成一个描述性的文本。这个任务在过去几年里得到了广泛的研究和应用，尤其是随着深度学习和卷积神经网络(CNN)的兴起。图像描述生成可以应用于许多领域，例如搜索引擎优化、机器人导航、视觉辅助工具和自动化新闻报道等。 在这篇文章中，我们将讨论图像描述生成的核心概念、算法原理、实现...
用ai总结文献的提示词
最新发布
04-25
为了有效使用人工智能技术生成文献总结提示词，可以采用特定的方法和策略。这些方法不仅能够提升效率，还能确保生成的内容具有较高的准确性与实用性。 #### 提示词设计原则 提示词的设计应当清晰、具体并引导模型...
评论 103
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值