【小白学AI】图像标注Image Caption - tensorflow_models/im2txt

最新推荐文章于 2024-10-31 15:46:49 发布
最新推荐文章于 2024-10-31 15:46:49 发布
阅读量5.3k 收藏 18
点赞数 3
CC 4.0 BY-SA版权
分类专栏： tensorflow 文章标签： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/JOHNNIE_TURBO/article/details/77931506
本文介绍了使用Google的tensorflow_models/im2txt实现图像描述生成项目时遇到的问题及解决办法，包括MSCOCO数据集的准备、Inception-v3模型下载和训练过程的注意事项。强调数据预处理的重要性，以及训练过程对硬件和时间的需求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Image Caption - im2txt 踩过的坑

学习Image Caption的同学在开始实践项目时，可以在github上找到一大堆不同的Image Caption Project，有很多项目也都对应的有其实现版本的论文，都很好。但是有一点不太好，大家貌似都不太愿意上传自己的参数文件，可能因为训练时间长，过程艰辛，且文件较大。本文从Google-Tensorflow/models/im2txt开始简要总结一下在实现期间的各种坑。

模型简介

Google在im2txt项目中实现自家的论文《Show and Tell: A Neural Image Caption Generator》，采用经典CNN+RNN框架。其中CNN为Inception-v3结构，RNN为LSTM结构。具体结构如下

关于该框架的细节在这里不多说，可以去看论文，本文主要说一下在工程实践时应该注意的问题，毕竟纸上得来终觉浅，绝知此事要恭行。

工程实践

在实践Image Caption中，因为大多数工程都不会给出训练好的参数文件，Google在tensorflow/im2txt中也一样，所以需要我们自己进行训练。在训练过程中，重点其实在数据准备工作中，这一步完成了后面都会比较顺利。

实践过程中，可以结合本文和im2txt官方文档一起进行。整个训练在一块NVIDIA Tesla K20m上需要花费1-2周时间，其中1周可以达到效果，2周达到峰值效果。所以这个工程对硬件和时间的要求还是比较高的。

注意一下，以下所有工程必须建立在Python2.7，否则会发生编码错误。下面详细介绍实践过程。

MSCOCO数据准备

数据下载是一个漫长的任务，在工程的第一步我们应该先让数据下载起来，再去处理其他任务，达到效率最大化。

Image Caption一般都在MSCOCO数据集进行训练，所以首要任务是下载MSCOCO数据，一共大概20G。

MSCOCO对Image Caption任务来说包含三部分数据：
1）训练图像：train2014.zip
2）验证图像：val2014.zip
3）训练与验证图像对应的标注caption：captions_train-val2014.zip

这里有两种方法下载。

1. 无脑按照Google给出流程（适用于数据和预处理一起的情况）

# Location to save the MSCOCO data.
MSCOCO_DIR="${HOME}/im2txt/data/mscoco"
最低0.47元/天 解锁文章

200万优质内容无限畅学
【Image captioning】AI算法说——图像描述（Image captioning）
安静到无声
06-11 2万+
COCO数据集是一个大规模常见物体检测、分割和图像描述的数据集。它包含超过330k张图像，其中包括2.5 million个目标实例，每张图像都有5个不同的图像描述。COCO数据集已成为自然语言处理和计算机视觉领域中一个非常优秀的基准数据集。2、
LLM - 理解 多模态大语言模型(MLLM) 的 预训练(Pre-training) 与相关技术 (三)
AGI
09-12 1466
完备(Full-Fledged) 的 多模态大语言模型(MLLM) 经历 3 个阶段的训练，即 预训练(Pre-training)、指令微调(Instruction-Tuning) 和 对齐调优(Alignment Tuning)。每个训练阶段都需要不同类型的数据，并且实现不同的目标。本篇介绍，预训练(Pre-training) 部分。
image caption
02-28
图像语义
用Tensorflow建立image caption 模型（一）
CJN_UESTC的博客
01-26 2095
前言： 　　写这篇博客的目的是一开始想要使用Tensorflow建立一个image caption模型，在一开始觉得不就是一个LSTM模型，因为之前有用Tensorflow实现过CNN结构，所以觉得并不会很难。但实际上，在这个过程中也遇到了不少困难。 按照我自己的学习顺序，这个系列的博客将分为三个部分，最终将构建一个基于Tensorflow的简单的image caption模型：
Image Caption
dongfang1984的博客
11-30 475
1 image caption 的阶段性飞跃。 Year Paper Abstract 2015 Show, Attend and Tell: Neural Image Caption Generation with Visual Attention Inspired by recent work in machine translation and object detectio...
图像标注工具
hai008007的博客
12-14 617
已经有人总结了： https://blog.youkuaiyun.com/chaipp0607/article/details/79036312
ImageCaption
03-07
图片字幕 入门 先决条件 Bulid码头工人运行bash docker_run.sh 获取评估功能 cd core/ git clone https://github.com/tylin/coco-caption.git # Only use 'pycocoevalcap' directory mv pycocoevalcap/ metrics/ 获取YOLOv5模型 cd data/ git clone https://github.com/ultralytics/yolov5.git 运行Stanford NLP Server进行令牌化 # Download CoreNLP https://stanfordnlp.github.io/CoreNLP/ java -mx4g -cp "*" edu.stanford.nlp.pipeline.StanfordCoreNLPServer
一种使用Python和TensorFlow库进行NLP任务的全流程解决方案
AI天才研究院
08-05 877
自然语言处理（NLP）在近年来受到越来越多的关注，它可以帮助企业更好地理解和处理用户输入的数据、提高搜索引擎效果、帮助医疗科技公司进行诊断分析、自动生成营销推广文案等众多应用场景。然而，如何实现高效、准确且精准的自然语言处理任务，仍是一个困难的问题。最近几年来，由于神经网络技术的快速发展，机器学习模型如BERT、GPT-2等出现在了自然语言处理领域，这些模型在NLP任务上取得了非常好的成果。任务类型：有监督学习、无监督学习和强化学习三种NLP任务；
Emu-3：多模态理解与生成的统一模型(包含论文代码解析)
sherlockMa的博客
10-31 4051
emu3，这是一系列新的多模态模型，通过next-token进行多模态生成和理解。通过将图像、文本和视频标记到一个离散空间中，并从头训练单个Transformer，Emu 3不仅消除了对扩散和合成方法的依赖，而且还超越了SDXL和LLaVA-1.6等已建立的特定任务模型的性能。这篇论文的研究结果提供了令人信服的证据，表明Next-token可以作为多模态模型的强大范例，超越其他类型的模型，并在各种任务中提供最先进的性能，包括具有挑战性的视频生成。
image caption1
lzkzls的博客
09-28 752
参考：https://www.leiphone.com/news/201609/fDVE1X40LTmu3omR.html。 Google的show and tell：InceptionNet+LSTM 1、LSTM ：一种带门的RNN（recurrent nerual network），可以将一种不定长的序列转换为另一种不定长的序列。可以将源语言编码为一个固定长度含丰富语义的向量，然后作为解...
图像描述标注工具
06-30
用一句话标注一句话的工具及其代码
image caption总结
02-28
image caption总结
ImageLabel, 图像标注工具 Image Label Tool.zip
09-18
ImageLabel, 图像标注工具 Image Label Tool
【TensorFlow】im2txt — 将图像转为叙述文本-附件资源
03-02
【TensorFlow】im2txt — 将图像转为叙述文本-附件资源
win10+TensorFlow+Keras+YOLOv3训练自己的数据集（二）标注图片数据
July的博客
04-17 1258
前面做好了准备工作，现在开始标注数据 一. 所需软件 labelImg 图片标注软件，已打包成exe，链接https://pan.baidu.com/s/1G-H_vVHW5AI0duNXIyAxng 提取码：uzdz 二. 标注图片 在项目文件夹下新建如下文件目录（注意名称和图中保持一致） 将所有标注图片放入JPEGImages文件夹中，在labelImage中打开此文件夹 设置x...
图像描述-Image Caption
刘宏宇的博客
07-31 3273
本文大致以show attent and tell 为讲解模板。 图像描述的概念，在这里就不多概述了，用通俗的话就是--看图说话。而这篇文章虽然不是现在的最优模型，但是由于第一次将注意力机制引入到图像描述的模型中来，因此它的意义非常的重要。 引人了注意力机制（Attentionmechanism,）--它能够让encode-decode模型能够像人一样，重点关注图像的某一个区域进行准确的描述...
Image Caption简述
raquelle的记忆宫殿
10-07 3761
Image Caption（图片标注）就是从根据图片生成一句（段）描述文字。对于计算机来说，不仅需要检测出图像中的物体，还需要能理解物体之间的关系，并且需要结合一定自然语言处理的技术。 一、方法 Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation中最初提出RN...
图片标注问题image_caption
weixin_43492016的博客
06-22 2363
数据集： 数据集中的训练集使用的是coco train 2014，82783张图片，测试集使用的是 val 2017 ，5000张图片,对应的caption是captions_train2014.json,和captions_val2017.json。 该文件中是以字典的形式包含其内容信息，key值由“info”，”licenses“，”images“，”annotations“组成。 inf...
(caption-env) root@ubuntu:~/models/MobileVLM-1.7B# export HF_ENDPOINT=https://hf-mirror.com (caption-env) root@ubuntu:~/models/MobileVLM-1.7B# huggingface-cli download MobileVLM/MobileVLM-1.7B-GGUF \ --include "mmproj-model-f16.gguf" \ --local-dir ./models Traceback (most recent call last): File "/root/caption-env/lib/python3.10/site-packages/huggingface_hub/utils/_http.py", line 409, in hf_raise_for_status response.raise_for_status() File "/root/caption-env/lib/python3.10/site-packages/requests/models.py", line 1026, in raise_for_status raise HTTPError(http_error_msg, response=self) requests.exceptions.HTTPError: 401 Client Error: Unauthorized for url: https://hf-mirror.com/api/models/MobileVLM/MobileVLM-1.7B-GGUF/revision/main The above exception was the direct cause of the following exception: Traceback (most recent call last): File "/root/caption-env/bin/huggingface-cli", line 8, in <module> sys.exit(main()) File "/root/caption-env/lib/python3.10/site-packages/huggingface_hub/commands/huggingface_cli.py", line 59, in main service.run() File "/root/caption-env/lib/python3.10/site-packages/huggingface_hub/commands/download.py", line 153, in run print(self._download()) # Print path to downloaded files File "/root/caption-env/lib/python3.10/site-packages/huggingface_hub/commands/download.py", line 187, in _download return snapshot_download( File "/root/caption-env/lib/python3.10/site-packages/huggingface_hub/utils/_validators.py", line 114, in _inner_fn return fn(*args, **kwargs) File "/root/caption-env/lib/python3.10/site-packages/huggingface_hub/_snapshot_download.py", line 245, in snapshot_download raise api_call_error File "/root/caption-env/lib/python3.10/site-packages/huggingface_hub/_snapshot_download.py", line 165, in snapshot_download repo_info = api.repo_info(repo_id=repo_id, repo_type=repo_type, revision=revision) File "/root/caption-env/lib/python3.10/site-packages/huggingface_hub/utils/_validators.py", line 114, in _inner_fn return fn(*args, **kwargs) File "/root/caption-env/lib/python3.10/site-packages/huggingface_hub/hf_api.py", line 2844, in repo_info return method( File "/root/caption-env/lib/python3.10/site-packages/huggingface_hub/utils/_validators.py", line 114, in _inner_fn return fn(*args, **kwargs) File "/root/caption-env/lib/python3.10/site-packages/huggingface_hub/hf_api.py", line 2629, in model_info hf_raise_for_status(r) File "/root/caption-env/lib/python3.10/site-packages/huggingface_hub/utils/_http.py", line 459, in hf_raise_for_status raise _format(RepositoryNotFoundError, message, response) from e huggingface_hub.errors.RepositoryNotFoundError: 401 Client Error. (Request ID: Root=1-686e1515-3beb98ac6fa889bc6c585014;e4999aad-8bdf-412a-b58e-6cf930bed578) Repository Not Found for url: https://hf-mirror.com/api/models/MobileVLM/MobileVLM-1.7B-GGUF/revision/main. Please make sure you specified the correct `repo_id` and `repo_type`. If you are trying to access a private or gated repo, make sure you are authenticated. For more details, see https://huggingface.co/docs/huggingface_hub/authentication Invalid username or password.
最新发布
07-10
2. 用户可能遇到了401 Unauthorized错误，即认证失败。 根据引用[2]和引用[3]，401错误通常是由于凭据（token）无效或过期导致的。因此，我们需要确保用户已经正确登录并提供了有效的token。 解决方案步骤： ...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值