OCR之论文笔记TrOCR

已于 2024-04-12 01:54:17 修改
阅读量3.7k 收藏 6
点赞数
分类专栏： 多模态大模型 文章标签： 论文阅读 深度学习 人工智能
于 2023-03-18 21:42:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/pku_langzi/article/details/129643230
版权
TrOCR是一种端到端的OCR方法，使用预训练的图像Transformer和文本Transformer模型，融合Transformer架构处理图像理解和词块级文本生成。模型在大规模合成数据上预训练，人类标注数据集上微调，实验显示TrOCR在多个OCR任务上超越当前SOTA。TrOCR模型和代码已在GitHub公开。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models

一. 简介

发表：CVPR2022
机构：微软
代码：https://github.com/microsoft/unilm/tree/master/trocr

摘要：
Text recognition is a long standing-research problem for document digitalization. Existing approaches are usually built based on CNN for image understanding and RNN for char-level text generation. In addition, another language model is usually needed to improve the overall accuracy as a

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【深度学习】OCR，TrOCR，transformer 端对端，论文
q742971636的博客
08-26 532
文本识别是文档数字化领域中的一个长期存在的研究问题。现有的方法通常基于用于图像理解的CNN和用于字符级文本生成的RNN。此外，通常还需要另一个语言模型作为后处理步骤来提高整体准确性。在本文中，我们提出了一种端到端的文本识别方法，名为TrOCR，它使用预训练的图像Transformer和文本Transformer模型，充分利用Transformer架构来实现图像理解和单词片段级别的文本生成。TrOCR模型简单但有效，可以通过大规模的合成数据进行预训练，并使用人工标注的数据集进行微调。
TrOCR – 基于 Transformer 的 OCR 入门
学以致用 知行合一
09-14 862
近些年，光学字符识别 (OCR) 出现了多项创新。它对零售、医疗保健、银行和许多其他行业的影响是巨大的。与深度学习的许多其他领域一样，OCR领域也看到了Transformer 神经网络的重要性和影响。如今，出现了像TrOCR（Transformer OCR）这样的模型，它在准确性方面真正超越了以前的技术。 在论文 TrOCR：基于 Transformer 的光学字符识别与预训练模型中。 作者提出了一种不同于传统CNN和RNN架构的方法。相反，他们使用视觉和语言转换器模型来
TrOCR：基于Transformer的OCR介绍和使用
AI公园
09-15 8040
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Sovit Rath编译：ronghuaiyang导读本文介绍了TrOCR的结构和使用方法，手把手从每一行代码教起。光学字符识别（OCR）在过去几年中出现了一些创新。它对零售、医疗、银行和许多其他行业的影响是巨大的。尽管有着悠久的历史和一些最先进的模型，研究人员仍在不断创新。与深度学习的许多其他领域一样，OCR也看到了transfor...
可以本地部署的最强OCR大模型：OlmOCR
最新发布
m0_59235699的博客
03-30 2443
支持结构化精准提取复杂PDF文件内容！完美识别中英文文档、模糊扫描件与复杂表格！本地部署与实际测试全过程！医疗法律行业必备！轻松应对企业级PDF批量转换需求！
【多模态】paper阅读笔记：TrOCR
weixin_43071505的博客
01-04 1022
第二个阶段，研究员们构建了两个相对较小的数据集，分别对应打印体文本识别任务和手写体文本识别任务，均包含上百万的文本行图像，并在打印体数据和手写体数据上预训练了两个独立的模型，且都由第一阶段的预训练模型初始化。对于编码器，TrOCR 采用了 ViT 模式的模型结构，即改变输入图像的尺寸，并切片成固定大小的正方形图像块，以形成模型的输入序列。模型保留预训练模型中的特殊标记“[CLS]”代表整张图片的特征，对于 DeiT 的预训练模型，同样保留了对应的蒸馏token，代表来自于教师模型的蒸馏知识。
【文字识别】TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models
lucifer_24的博客
12-23 1255
TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models
TrOCR—基于Transformer的OCR入门
Color Space的博客
03-25 2417
多年来，光学字符识别 (OCR) 出现了多项创新。它对零售、医疗保健、银行和许多其他行业的影响是巨大的。尽管有着悠久的历史和多种最先进的模型，研究人员仍在不断创新。与深度学习的许多其他领域一样，OCR 也看到了变压器神经网络的重要性和影响。如今，我们拥有像。
TrOCR【转载】
01-12 1591
TrOCR：基于Transformer的新一代光学字符识别 https://mp.weixin.qq.com/s/uDHnd0SbspeT6mkyKGFnkg
TrOCR：基于Transformer的新一代光学字符识别
微软技术栈
10-15 856
编者按：很长一段时间以来，文本识别一直都是一个重要的关于文档数字化的研究课题。现有的文本识别方法通常采用 CNN 网络进行图像理解，采用 RNN 网络进行字符级别的文本生成。但是该方法需要额外附加语言模型来作为后处理步骤，以提高识别的准确率。 为此，微软亚洲研究院的研究员们展开了深入研究，提出了首个利用预训练模型的端到端基于 Transformer 的文本识别 OCR 模型：TrOCR。该模型简单有效，可以使用大规模合成数据进行预训练，并且能够在人工标注的数据上进行微调。实验证明，TrOCR 在打印数据和
OCR的有效数据增强
深度学习与计算机视觉
06-24 1396
背景我面临着需要尽可能准确识别手写金额的挑战。难点在于保持误判率低于0.01%。由于数据集中样本数量固定，因此数据增强是合乎逻辑的选择。快速搜索未发现针对光学字符识别（OCR）的现成方法。因此，我挽起袖子，亲自创建了一个数据增强例程。它在训练过程中被使用，并帮助我的模型实现了目标。继续阅读以了解详情。通过每次训练图像时引入小的变化，模型不太可能过拟合，更容易泛化。我将其与TROCR一起使用，但任何...
【多模态】paper阅读笔记：Kosmos-2.5
weixin_43071505的博客
12-27 1210
将文本图像纳入训练过程并开发基于文本和视觉信息的模型，可以为涉及高分辨率文本密集图像的多模态应用开启新的可能性。随着深度学习的兴起，文档AI领域取得了显著进展，如LayoutLM、DocFormer、Donut、MarkupLM、XDoc、UDOP和Pix2Struct等模型，它们利用大规模文档数据进行预训练，并将文本、布局和图像信息整合到模型中，取得了令人印象深刻的性能。近年来，研究人员致力于构建更大更复杂的模型，如GPT-3和GPT-4，这些模型具有数百/数千亿的参数，能够生成引人入胜的语言输出。
tr：免费离线OCR离线的中文文本检测+识别SDK
02-06
tr-文字识别 单一针对扫描文档的离线文本识别SDK，核心代码全部采用C ++开发，并提供Python接口 更新说明 c ++接口支持 支持Windows系统 添加python2支持 删除opencv-python，Pillow依赖，降低部署难度 支持多线程 支持GPU 联系 电子邮件： 要求 Windows 7 + / Ubuntu 16.04 / Ubuntu 18.04 python2 / python3，需要安装numpy Windows系统需要安装 GPU版本安装说明 如果对速度有要求，推荐安装GPU版本要使用GPU版本，复制tr_gpu文件夹里面的文件到tr文件夹注意：需要先
TrWebOCR-master.zip
06-30
TrWebOCR 是一款轻量级的OCR识别工具, 支持图片的一定程度的扭转及变形, 并提供一个service的接口层, 方便用户在使用过程中由其它程序直接调用.
TrOCR 项目使用教程
gitblog_00432的博客
08-20 518
TrOCR 项目使用教程 trocrPowerful handwritten text recognition. A simple-to-use, unofficial implementation of the paper "TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models".项目地址:...
TrOCR：开启光学字符识别新纪元
gitblog_02429的博客
01-16 696
TrOCR：开启光学字符识别新纪元 trocr-base-handwritten 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/trocr-base-handwritten ...
手写文本识别开源项目推荐：TrOCR
gitblog_00489的博客
01-08 693
手写文本识别开源项目推荐：TrOCR trocr Powerful handwritten text recognition. A simple-to-use, unofficial implementation of the paper "TrOCR: Transformer-based Optical Charact...
基于中文预训练模型和FasterTransformer的光学字符识别: Faster TrOCR
lujian45的博客
04-04 5238
https://github.com/janelu9/TrOCR
TrOCR – 基于 Transformer 的 OCR 入门指南
DT程序员的博客
09-09 923
本文将帮助您在自己的项目中轻松使用 TrOCR。
OCR论文
03-11
### 关于光学字符识别(OCR)技术的学术论文 对于希望查找有关光学字符识别（Optical Character Recognition, OCR）技术的学术论文，可以考虑以下几个方向： - **历史与发展**：早期的研究集中在如何实现基本的文字识别功能。Gustav Tauschek早在1928年就提出了最初的OCR概念[^2]。现代研究则更多关注提高准确性、处理复杂背景下的文字以及支持多种语言。 - **算法改进**：近年来，随着机器学习特别是深度学习的发展，许多新的方法被应用于提升OCR系统的性能。卷积神经网络(CNNs)，循环神经网络(RNNs)，长短时记忆(LSTM)单元等都被证明能有效增强字符识别的效果[^1]。 - **应用场景扩展**：除了传统的文档数字化外，当前还有大量工作致力于将OCR与其他领域相结合，比如医疗影像中的手写笔记提取、车牌号码自动读取系统或是古籍修复项目里的文字恢复等等。 为了找到具体的学术文章，建议访问Google Scholar或者IEEE Xplore这样的在线数据库，在其中输入关键词如“optical character recognition”，并根据具体兴趣添加额外限定词来缩小范围，例如“deep learning for ocr accuracy improvement”。 ```python import requests from bs4 import BeautifulSoup def search_papers(keyword): url = f"https://scholar.google.com/scholar?q={keyword.replace(' ', '+')}" response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') results = [] for item in soup.select('.gs_ri'): title = item.select_one('.gs_rt').get_text() link = item.select_one('a')['href'] snippet = item.select_one('.gs_rs').get_text() if item.select_one('.gs_rs') else '' result = { "title": title, "link": link, "snippet": snippet } results.append(result) return results[:5] papers = search_papers("optical character recognition deep learning") for paper in papers: print(f"{paper['title']}\n{paper['link']}\nSnippet: {paper['snippet']}\n\n") ```
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猴猴猪猪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值