【人工智能】Transformers之Pipeline（二十六）：图片转文本（image-to-text/image-text-to-text）

置顶 已于 2024-12-02 16:02:45 修改
阅读量1.3k 收藏 65
点赞数 81
分类专栏： Pipeline 文章标签： 1024程序员节 人工智能 数据挖掘 机器学习 深度学习 目标检测 云计算
于 2024-11-29 17:26:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_48007632/article/details/144138731
版权

​​​​​​​

目录

一、引言 

二、图片转文本（image-to-text/image-text-to-text）

2.1 概述

2.2 nlpconnect/vit-gpt2

2.3 pipeline参数

2.3.1 pipeline对象实例化参数

2.3.2 pipeline对象使用参数 

2.4 pipeline实战

2.5 模型排名

三、总结

一、引言 

pipeline（管道）是huggingface transformers库中一种极简方式使用大模型推理的抽象，将所有大模型分为音频（Audio）、计算机视觉（Computer vision）、自然语言处理（NLP）、多模态（Multimodal）等4大类，28小类任务（tasks）。共计覆盖32万个模型

今天介绍多模态的第四篇：图片转文本（image-to-text/image-text-to-text），在huggingface库内可以使用pipeline两行代码部署的图片转文本（image-to-text）模型有700个，因为2024年图片多模态大模型的兴起，在图片文本转文本（image-text-to-text）任务中，模型有5000+。关于图片文本转文本（image-text-to-text），之前写了很多篇，可以参考我之前的两篇文章：

【机器学习】GLM-4V：图片识别多模态大模型（MLLs）初探

【机器学习】阿里Qwen-VL：基于FastAPI私有化部署你的第一个AI多模态大模型

今天主要对如何使用pipeline两行代码部署的图片转文本（image-to-text）模型进行讲解。

二、图片转文本（image-to-text/image-text-to-text）

2.1 概述

图片转文本（image-to-text/image-text-to-text）模型从给定图像输出文本。图像字幕或光学字符识别可视为图像转文本的最常见应用。

图片特征提取与文本生成在技术上主要有2个流派： 

  • ViT+GPT2：上一篇讲的是图片特征提取，主要讲到了Vision Transformer (ViT)方法，但ViT仅有encode结构，只能将图片转换为特征向量，无法进行文本生成，本篇进一步将ViT和GPT2融合，本质上是在ViT上新增一个decode结构，提供文本补全的功能。（Qwen-VL、GLM-4V）等均属于这个流派。
  • CLIP+BLIP：同样的，另一个图片特征提取流派：对比学习CLIP也是仅有encode，无法进行文本生成，于是Salesforce团队研发了BLIP，在CLIP的基础上新增decode结构，具体论文见BLIP）。

为了保证技术连贯性，今天在上一篇ViT基础上，讲解ViT+GPT2。

2.2 nlpconnect/vit-gpt2

ViT部分：首先将图片切分成大小相等的块序列（分辨率为16*16），对每个图片块进行线性嵌入添加位置信息，通过喂入一个标准的transformer encoder结构进行特征交叉。

GPT部分：将文本token向量化后，经过embedding层、Masked Self-Attention层，在Encoder-Decoder Self-Attention层与ViT的Transformer Encoder输出相连接。

这样ViT与GPT可以进行联合学习，完成图片到文本的转换。 

2.3 pipeline参数

2.3.1 pipeline对象实例化参数

最低0.47元/天 解锁文章
AI大模型探索之路-训练篇9：大语言模型Transformer库-Pipeline组件实践
寻道AI，探索AI无限可能！
05-01 3069
在人工智能和机器学习领域，Pipeline是一种设计模式，它将多个处理步骤串联起来，形成一个有序的、自动化的工作流程。这一概念在自然语言处理（NLP）尤其重要，因为NLP任务通常涉及多个阶段，如文本清洗、特征提取、模型训练或预测等。Pipeline的设计旨在减少重复代码、提高代码的可维护性，并优化整个处理流程的效率。
【人工智能】Transformers之Pipeline（十五）：总结（summarization）
人工智能领域博客
09-04 2691
本文对transformers之pipeline的总结（summarization）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用NLP中的总结（summarization）模型。
imagetotxt php_PHP 实现的将图片转换为TXT
weixin_39949297的博客
12-21 207
/*2015年10月19日10:24:59*/// 打开一幅图像$file_name='d:\ascii_dora.png';$chars = "$@B%8&WM#*oahkbdpqwmZO0QLCJUYXzcvunxrjft/\|()1{}[]?-_+~<>i!lI;:,\"^`'. ";function getimgchars($color_tran,$chars){$le...
imagetotxt php_利用PHP怎么将图片转换为TXT文件
weixin_42504649的博客
12-30 188
利用PHP怎么将图片转换为TXT文件发布时间：2020-12-16 16:39:45来源：亿速云阅读：81本篇文章给大家分享的是有关利用PHP怎么将图片转换为TXT文件，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。PHP 实现的将图片转换为TXT...
图像到文本的桥梁：Transformer模型的创新应用
2401_85763803的博客
07-11 896
Transformer模型是一种基于自注意力机制的神经网络架构，它在2017年由Vaswani等人首次提出。与传统的循环神经网络（RNN）和卷积神经网络（CNN）不同，Transformer模型能够并行处理序列数据，这使得它在处理长距离依赖关系时具有显著优势。
探索GitCode上的ImageToText: 图像转文本工具的技术魅力
gitblog_00086的博客
04-20 1005
探索GitCode上的ImageToText: 图像转文本工具的技术魅力 去发现同类优质开源项目:https://gitcode.com/ 在数字化时代，图像中隐藏的信息常常需要提取为可编辑和搜索的文字。GitCode上有一个名为ImageToText的项目，它提供了一个便捷、高效的方法将图像中的文字转换成可编辑的文本。这篇文章将深入探讨该项目的技术实现、用途及特点，帮助您更好地理解和应用这一实用...
【人工智能】Transformers之Pipeline（三）：文本转音频（text-to-audio/text-to-speech）
热门推荐
人工智能领域博客
07-18 1万+
本文对transformers之pipeline的文本生成语音（text-to-audio/text-to-speech）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline以及tts的python和命令行工具完成文字生成语音、文字参考语音生成语音、语音参考语音生成语音，应用于有声小说、音乐创作、变音等非常广泛的场景。
【人工智能】Transformers之Pipeline（六）：图像分类（image-classification）
人工智能领域博客
07-29 4349
本文对transformers之pipeline的图像分类（image-classification）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用计算机视觉中的图像分类（image-classification）模型。
【人工智能】Transformers之Pipeline（八）：文生图/图生图（text-to-image/image-to-image）
人工智能领域博客
08-06 4494
本文对文生图/图生图（text-to-image/image-to-image）从概述、SD技术原理、SD文生图实战、模型排名等方面进行介绍，读者可以基于DiffusionPipeline使用文中的极简代码进行文生图的初步体验
【人工智能】Transformers之Pipeline（十八）：文本生成（text-generation）
人工智能领域博客
09-13 5119
本文对transformers之pipeline的文本生成（text-generation）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用NLP中的文本生成（text-generation）模型。
NLP-image-to-text:从图像中提取文本的代码
05-24
NLP图像到文本 从图像中提取文本的代码 pip install -r requirements.txt 如果遇到找不到文件错误，如下所示： FileNotFoundError: [Errno 2] No such file or directory: 'tesseract' 运行以下命令 brew install tesseract 然后如下运行image-to-text.py： python image-to-text.py <relative> 我们观察到，对于干净的输入，准确性很高。 参见输入2。嘈杂的输入可能不会产生相同的效果！ 一些示例输入和输出： 输入： 输出： DON’T WATCH THE CLOCK; KEEP GOING. SAM LEVENSON / / 7 J .- - flCESSc
img_to_txt:图片到txt，视频到txt
05-03
图片传输到txt 用法 安装依赖： $ pip3 install -r requirements.txt 命令： $ python3 img_to_txt.py [file/url] [size] args： [file/url]: The local file path, or online pic URL. [size]: Width of output txt, The larger the size, the clearer the picture . 例子 $ python3 img_to_txt.py https://www.google.com/images/branding/googlelogo/2x/googlelogo_color_272x92dp.png 执行此命令后，您将在当前文件夹中获得一个名为out.txt文件，并且您将在控制台中观看字符串输出： 留
image-to-text:图片到文字的Chrome扩展名
05-12
移至 图片到文字的Chrome扩展名 从任何网页上的图像中提取文本。 特征： 右键单击任何图像，然后从上下文菜单中单击“提取文本”以从图像中提取文本。 单击扩展名图标以选择当前选项卡的一部分并从中提取文本。 播放提取的文本作为音频（tts） PDF文字提取 网上商店
imagetotext一个纯前端的图片转字符画工具
08-10
image-to-text 一个纯前端的图片转字符画工具
将图片转化为字符画：ImageToTxt
08-17
将图片转化为字符画。需要先安装PIL。推荐下载PIL包来实现。 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * + * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * - - - - - - - - - - - - - - - * * * * * * * * * * * * * * * * + + + + + + + + + + + + + + + + + + + + * - - - - - - - - - - - - - - - * + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + * * * - - - - - - - - - - - - - - - * * * + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + / / / - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + / / / - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + / / / / / / - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + / / / / / / - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + / / / / / / - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + / / / / / / / / / / / / / / / / / / + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + / / / / / / / / / / / / / / / / / / + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + # # # # # / / / / / / / / / / / / / # # + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + # # # # # / / / / / / / / / / / / / # # + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + # # # # # / / / / / / / / / / / / / # # + + + + + + + + + + + + + + + + + + + + + + + + + + + # # # # # # # # # # # # + / / - - - - - - - / # # # # # # # + + + + + + + + + + + + + + + + + + + + + + # # # # # # # # # # # # + / / - - - - - - - / # # # # # # # + + + + + + + + + + + + + + + + + + + # # # # # # # # # # # # # # # + / / / / / - - / / / # # # # # # # # # # + + + + + + + + + + + + + + + + # # # # # # # # # # # # # # # + / / / / / - - / / / # # # # # # # # # # + + + + + + + + + + + + + + + + # # # # # # # # # # # # # # # + / / / / / - - / / / # # # # # # # # # # + + + + + + + + + + + + + + # # # # # # # # # # # # # # # # # + / / / / / / / / / / # # # # # # # # # # # # * + + + + + + + + + / + # # # # # # # # # # # # # # # # # + / / / / / / / / / / # # # # # # # # # # # # * + + + + + / / / / / + # # # # # # # # # # # # # # # # # + / / / / / / / / / / # # # # # # # # # # # # * / / / / / / / / / / + # # # # # # # # # # # # # # # # # + / / / / / / / / / / # # # # # # # # # # # # * / / / / / / / / / / + # # # # # # # # # # # # # # # # # + / / / / / / / / / / # # # # # # # # # # # # * / / / / / / / / / / + # # # # # # # # # # # # # # # # # + / / / / / / / / / / # # # # # # # # # # # # * / / / / / / / / / / / # # # # # # # # # # # # # # # # # + / / / / / / / / / / # # # # # # # # # # # # * / / / / / / / / / / / # # # # # # # # # # # # # # # # # + / / / / / / / / / / # # # # # # # # # # # # * / / / / /
用CNN+RNN实现image-to-text任务：原理讲解和代码实现
沉迷单车的追风少年
08-24 973
text-image配对数据集并不是珍贵的，OpenAI为了训练GLIDE等大模型，曾经使用十亿量级的text-image数据集，而这些数据集主要是从互联网上爬取过滤的。image-to-text作为image-to-text的镜像问题，相关的研究少了很多。我们可以用CNN+LSTM搭建一个成功的模型用于完成这一任务。...
Image to Text OCR：一键提取图片中的文字
gitblog_00082的博客
06-16 959
Image to Text OCR：一键提取图片中的文字 Image-to-Text-OCR Image to Text is a web tool to extract text from any image using OCR 项目地址: https://gi...
推荐开源项目：Image to Text OCR - 图像转文本的高效工具
gitblog_00058的博客
06-10 609
推荐开源项目：Image to Text OCR - 图像转文本的高效工具 Image-to-Text-OCRImage to Text is a web tool to extract text from any image using OCR项目地址:https://gitcode.com/gh_mirrors/im/Image-to-Text-OCR 项目介绍 在数字化时代，我们常常会遇到...
手把手写深度学习(17)：用LSTM为图片生成文字描述(Image-to-text任务)
沉迷单车的追风少年
09-15 3382
近年来text-to-image的任务非常火爆，大模型如Della、Imagen、GLIDE等都取得了良好的效果；其镜像任务image-to-text的相关研究却比较少，这篇博客手把手带大家用简单的LSTM网络搭建一个image-to-text系统。...
text to image
最新发布
01-09
### 文本到图像转换方法和技术 #### 方法概述 在信息技术领域，将文本转换为图像是一个多学科交叉的任务，涉及自然语言处理(NLP)、计算机视觉以及机器学习等多个方面。当前主要存在两种类型的模型用于实现这一目标：基于生成对抗网络(GANs)的方法和基于变换器架构(transformer-based architectures)的方法。 #### 基于GAN的技术 生成对抗网络是一种强大的框架，在给定描述性的文字输入时能够创造出逼真的图片。这类技术通过两个神经网络之间的竞争来工作——一个是负责创造新样本的生成器(generator)，另一个则是评估这些样本真实度的判别器(discriminator)[^1]。当应用于text-to-image任务时，生成器接收编码后的文本特征作为条件信息，并试图合成符合该描述的新颖视觉表示；而判别器则尝试区分由生成器产生的假象与实际存在的照片级质量的真实世界景象之间差异。 #### 变换器架构的应用 近年来，随着预训练语言模型的发展，特别是像BERT这样的双向编码器表示法的成功应用，研究者们也开始探索如何利用类似的机制来进行跨模态映射。具体来说，就是先对源端（这里是文本序列）进行充分理解后再将其投影至目标空间（即像素域）。这种方法通常依赖于精心设计好的注意力机制(attention mechanism)，使得模型可以更有效地捕捉长距离依赖关系并提高最终输出的质量[^2]。 #### 工具介绍 对于希望快速上手实践上述理论的研究人员或开发者而言，市面上已经有许多开源项目可供选择： - **DALL-E**: 开发自OpenAI实验室的一个大型多模式预训练模型实例，它能够在接收到简单指令后立即返回高质量的艺术风格插画作品； - **VQ-GAN+CLIP**: 结合了矢量量化变分自动编码器(VQ-VAE)同对比损失函数(CLIP score)的优势，允许用户仅需提供少量提示词就能得到令人满意的创作成果； - **Make-A-Scene**: Adobe公司推出的一款交互式绘图应用程序，支持使用者借助简单的草稿勾勒轮廓再加上几句说明性话语便能即时渲染出完整的场景画面。 ```python from transformers import pipeline # 使用Hugging Face提供的pipeline接口加载预训练模型 generator = pipeline('image-generation', model='CompVis/stable-diffusion-v1-4') prompt = "A beautiful sunset over mountains" result_image = generator(prompt) # 展示生成的结果 display(result_image['images'][0]) ```
评论 49
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值