RapidOCR项目中的ONNX Runtime与PaddlePaddle性能对比分析

最新推荐文章于 2025-04-25 17:08:10 发布
最新推荐文章于 2025-04-25 17:08:10 发布
阅读量763 收藏 16
点赞数 16
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gitblog_01311/article/details/147516996

RapidOCR项目中的ONNX Runtime与PaddlePaddle性能对比分析

RapidOCR A cross platform OCR Library based on PaddleOCR & OnnxRuntime & OpenVINO. RapidOCR 项目地址: https://gitcode.com/gh_mirrors/ra/RapidOCR

在OCR技术领域，RapidOCR项目提供了多种推理引擎的实现方案，其中ONNX Runtime和PaddlePaddle是两种主要的后端选择。本文将从技术角度深入分析这两种实现方案在CPU和GPU环境下的性能表现差异。

性能现象观察

在实际测试中，我们发现一个有趣的现象：使用ONNX Runtime后端在CPU上执行OCR识别，其速度竟然比使用PaddlePaddle后端在GPU上执行还要快。具体表现为同一张图片的识别时间，CPU环境小于2秒，而GPU环境却超过5秒。这一现象看似违反直觉，因为通常GPU应该能提供更强大的计算能力。

技术实现差异

ONNX Runtime实现特点

RapidOCR的ONNX Runtime实现具有以下技术特点：

  1. 轻量级模型：ONNX格式的模型通常经过优化，体积更小，加载更快
  2. 跨平台优化：ONNX Runtime针对不同硬件平台进行了专门优化
  3. 高效推理：采用静态图执行方式，减少了运行时开销

PaddlePaddle实现特点

相比之下，PaddlePaddle后端具有不同的实现特性：

  1. 动态图优势：PaddlePaddle支持动态图执行，灵活性更高
  2. 完整框架：包含完整的训练和推理功能，运行时开销相对较大
  3. GPU优化：需要特定的CUDA环境支持，初始化时间较长

性能差异原因分析

造成这种性能差异的主要原因包括：

  1. 初始化开销：PaddlePaddle在首次运行时需要加载完整的框架和CUDA环境，这个过程耗时较长
  2. 数据传输成本：对于小规模计算，GPU的数据传输开销可能抵消了计算优势
  3. 模型优化程度：ONNX模型可能经过了更极致的优化，减少了不必要的计算
  4. 并行效率：OCR任务中的某些阶段可能不适合GPU的并行计算模式

实际应用建议

针对不同的应用场景，我们建议：

  1. 轻量级应用：对于单次或少量图片识别，推荐使用ONNX Runtime CPU方案
  2. 批量处理：当需要处理大量图片时，PaddlePaddle GPU方案可能展现出优势
  3. 部署环境：在没有GPU的环境中，ONNX Runtime是更优选择
  4. 延迟敏感场景：对响应时间要求高的应用应优先考虑ONNX方案

性能优化方向

对于希望进一步提升性能的开发者，可以考虑：

  1. 模型量化：对ONNX模型进行量化处理，进一步减小模型体积
  2. 流水线优化：合理安排识别流程，减少不必要的计算
  3. 内存管理：优化内存使用，减少数据拷贝次数
  4. 硬件适配：根据目标硬件特性选择最适合的后端

结论

RapidOCR项目中不同后端的性能表现提醒我们，在实际应用中不能简单认为GPU一定比CPU快。技术选型需要综合考虑模型大小、计算规模、硬件环境等多方面因素。ONNX Runtime在轻量级OCR任务中展现出的优势，使其成为许多实际应用场景中的理想选择。

RapidOCR A cross platform OCR Library based on PaddleOCR & OnnxRuntime & OpenVINO. RapidOCR 项目地址: https://gitcode.com/gh_mirrors/ra/RapidOCR

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

使用openvino加速部署paddleocr文本检测模型（C++版）
吾名招财的博客
12-25 662
图像经过openvino的推理后，其输出也是一张960*960的单通道掩膜图像，其内部像素值为分值，通过分数阈值来对其分割可得到二值化图像，如下，对二值化图像再进行轮廓查找然后求得外接矩形作为文本检测框，最后再按照比列缩放回去即可。DBNet是基于分割的文本检测算法。缺点在于阈值的选取非常关键。这里的后处理按照自己的简单来进行截取的，并没有真正的使用DB的后处理得到检测框，这里毕竟只是取外接矩形检测框即可，故先用此简单处理了，后续遇到弯曲文本检测等时再进行相关的处理。，其归一化的方式是完全一致的。
文字识别（OCR）专题——基于NCNN轻量级PaddleOCRv4模型C++推理
知来者逆的博客
12-01 1万+
使用NCNN对paddle ocr v4进行推理，多平台兼容，可使用GPU。
RapidOCR性能优化参数设置指南
最新发布
gitblog_01365的博客
04-25 491
RapidOCR性能优化参数设置指南 RapidOCR A cross platform OCR Library based on PaddleOCR & OnnxRuntime & OpenVINO. 项目地址: https:/...
VS2019配置PaddleOCR V2.3 C++ GPU推理
知来者逆的博客
07-07 2006
PaddleOCR的C++ 推理，环境：Win10, VS2019专业版，GPU是RTX 3080, CUDA 11.0, cuDNN 8.0, OpenCV 4.5。
从零开发短视频电商 PaddleOCR Java推理 （五）ONNXRuntime引擎推理
laker的博客
01-17 1637
python文本检测：https://github.com/PaddlePaddle/Paddle2ONNX/blob/develop/model_zoo/ocr/utils/predict_det.py。python文本识别：https://github.com/PaddlePaddle/Paddle2ONNX/blob/develop/model_zoo/ocr/utils/predict_rec.py。提示：一开始将两者都设置为1以查看性能。方法二：离线转换，pip安装工具，即可本地转换使用。
RapidAI/paddleocr_convert：PaddleOCR中模型快速转换为ONNX格式
有问题请直接说问题就好
03-21 1175
RapidAI/paddleocr_convert：PaddleOCR中模型快速转换为ONNX格式
PaddleOCR 2.6的使用，GPU，cuda11.6，cudnn8.4，win10，C#
vokxchh的博客
05-02 1284
PaddleOCR 2.6的使用，GPU，c#
ONNXRuntime部署PaddleOCR-v3包含C++和Python源码+模型+说明.zip
05-02
通过这个压缩包，开发者不仅可以学习如何在C++和Python环境中使用ONNXRuntime，还能深入理解PaddleOCR-v3的部署流程，这对于深度学习模型在实际项目中的应用是非常有价值的。同时，这也有助于跨框架的模型迁移和性能...
rapidocr-onnxruntime = "1.3.24"可升级最新版本是多少
02-27
因此，在回答中需要提到检查最新版本的方法，同时提醒用户即使升级了rapidocr-onnxruntime，仍需确认新版本是否支持Python 3.13，因为用户的项目要求是Python >=3.12,，而之前的版本不支持3.13。 需要确保回答准确...
主流部署端深度学习框架
qq_41883755的博客
01-29 2703
文章目录NCNN同框架对比支持卷积神经网络，多输入和多分支无任何第三方库依赖纯 C++ 实现，跨平台汇编级优化，计算速度极快MNN模型优势通用性轻量性高性能易用性性能测评Paddle lite特点多硬件平台支持轻量化部署高性能实现量化计算支持优势边缘端部署Mace模型架构优化Tensorflow Lite模型结构转换模型格式部署流程总测评 NCNN 腾讯开源的ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。ncnn 从设计之初深刻考虑手机端的部署和使用。无第三方依赖，跨平台，手机端 cpu 的
Java代码实现调用RapidOCR(基于PaddleOCR)，适配Mac、Win、Linux，支持最新PP-OCRv4
04-30
RapidOCR与Java的结合为开发者提供了一个强大且灵活的OCR解决方案，可以在各种项目中轻松集成文本识别功能。通过熟练掌握这些步骤，你可以充分利用RapidOCR的威力，无论是在桌面应用、Web服务还是移动应用中，都能...
ONNX+Triton实现paddlepaddle模型的服务化部署——以paddleOCR为例
Will的博客
04-10 2199
使用ONNX和Triton-server快速部署paddleOCR模型，提供数据预处理、调用模型、后处理等一系列完整的操作流程和代码实现
关于提高PaddleOCR识别准确率的一些优化（二）
热门推荐
qq_44193969的博客
06-26 1万+
关于提高OCR识别准确率的一些优化（二）前言一、为什么要判断方向？二、paddleocr方向分类器1.方法介绍2、实际效果测试3、文本框检测实际效果4、结果分析5、解决办法6、方向检测测试结果三、paddlex图像分类1.训练2.测试结果分析四、后续优化方向总结 前言 本文基于关于提高OCR识别准确率的一些优化做出了一些改进和尝试，主要分为以下两点： 1、使用paddleocr方向分类器判断文本方向 2、用paddlex训练一个方向分类器判断文本方向 一、为什么要判断方向？ 在我们的数据集中，有很多用户
Paddleocr部署进一步优化
啷个哩个啷
07-05 3083
之前的模型因为是使用rec_r34_vd_none_bilstm_ctc这个预训练模型，resnet34层，所以比较重，跑起来比较慢，导致识别+检测在部署到现场机器上时差不多要一秒一张。 为了加速，考虑以下几种措施： 换轻量级的backbone 用paddleslim剪枝（参数精度降低） 是否可以尝试使用c++部署 是否可以转换成其他框架的模型，使用mlkdnn来进行加速。 1. 换轻量级backbone 1.1 模型说明 第一步： 确定要使用的预训练模型，可使用的ppocr提供的预训练模型列表，点击这
【PaddleOCR】Paddle-Lite, Paddle2ONNX介绍， 学习教程...
py今天刷题了吗
10-12 2146
Paddle Lite 已支持多种环境下的源码编译，为了避免复杂、繁琐的环境搭建过程，我们建议您使用 Docker 开发环境 进行编译。当然，您也可以根据宿主机和目标设备的 CPU 架构和操作系统，在源码编译方法中找到相应的环境搭建及编译指南，自行完成编译环境的搭建。如果您手中的模型是由诸如 Caffe、Tensorflow、PyTorch 等框架产出的，那么您可以使用 X2Paddle 工具将模型转换为 PaddlePaddle 格式。优化后的模型更轻量级，耗费资源更少，并且执行速度也更快。
PaddleOCR转ONNX
jacke121的专栏
04-28 4425
1、环境： pip installpaddle2onnx Windows10下PaddleOCR可以正常inference，然后转存为onnx模型进行推理加速。 paddle：paddlepaddle-gpu=2.0.0rc1； paddle2onnx：paddle2onnx=0.5； onnx：onnx=1.8.0； onnxruntime：onnxruntime-gpu=1.6.0； cuda：cuda=10.1； cudnn：cudnn=7.6.5； 这边onnxruntime-g...
在使用paddleocr转onnx后，推理遇到的问题解决
wangmengmeng99的博客
09-28 2002
if img_h is not None and img_w is not None and img_h > 0 and img_w > 0: TypeError: '>' not supported between instances of 'str' and 'int'
PaddleOCR用onnx推理代码并精度对齐
u012374012的专栏
07-19 1593
【代码】PaddleOCR用onnx推理代码并精度对齐。
RapidOCR识别+训练
03-20
<think>好的，我现在要帮用户了解RapidOCR的使用方法和模型训练。首先，我需要确认用户的问题。他们提到了使用教程和训练模型，所以需要分两部分回答。 先看用户提供的引用内容。引用[1]提到RapidOCR的初始化参数，比如语言设置和模型路径。引用[3]是关于OCR的离线命令行工具。但关于训练的部分，现有的引用里好像没有直接的信息。所以可能需要在回答时补充一些外部知识，但用户要求尽量真实可靠，可能需要指出官方文档或社区资源。 首先，使用教程部分。根据引用[1]，初始化时可以通过参数自定义语言和模型路径，用户可能需要知道如何安装、初始化以及基本的使用步骤。例如，安装命令可能是pip install rapidocr，然后代码示例中的引擎初始化。另外，引用[3]提到的命令行工具，可能需要说明不同环境下的使用方法，比如Python库和命令行程序的区别。 然后是模型训练部分。现有的引用中没有直接提到训练方法。通常，OCR模型的训练涉及数据集准备、配置文件调整、训练命令等步骤。可能需要建议用户参考官方文档或GitHub仓库的说明。例如，RapidOCR可能基于ONNX或PaddlePaddle，训练可能需要相应的框架知识。需要提醒用户准备标注好的数据集，调整超参数，并可能使用预训练模型进行微调。 另外，用户可能需要了解如何自定义模型，比如添加新语言或优化现有模型。这部分可能需要指导用户如何修改配置文件，调整模型结构，或者进行数据增强。 最后，生成相关问题。根据用户的问题，相关问题可能包括如何优化识别精度，处理多语言，部署到生产环境，以及与其他OCR工具的比较等。 需要注意的是，由于引用中没有详细的训练步骤，回答时应建议用户查阅官方资源，并可能提供一般性的训练流程，同时提醒可能存在差异。确保回答准确，不误导用户。</think>### RapidOCR使用与训练方法分步说明 ### 一、基础使用方法 1. **安装部署** ```bash pip install rapidocr-onnxruntime # ONNX版本 pip install rapidocr-openvino # OpenVINO版本 ``` 2. **核心代码示例** ```python from rapidocr import RapidOCR # 初始化引擎（支持中英文，自定义模型路径） engine = RapidOCR(lang=['ch','en'], model_path='./custom_models') [^1] # 执行OCR识别 result = engine('image.jpg') print(result[0][1]) # 输出识别文本 ``` 3. **命令行调用**（适用于Windows离线程序） ```powershell RapidOCR-json.exe --image_path=test.jpg --config_path=config.json [^3] ``` ### 二、模型训练流程 （注：当前官方未提供完整训练工具链，建议参考以下通用OCR训练方案） 1. **数据准备** - 使用标注工具（如LabelImg）制作数据集 - 格式规范： ``` img_001.jpg\t这是示例文本\n img_002.jpg\tHello World\n ``` 2. **框架选择** ```python # 基于PaddleOCR的迁移学习示例 from paddleocr import PPOCRSystem system = PPOCRSystem(pretrained_model='rapidocr_base') system.train(train_data='./train_data/', validate_data='./val_data/') ``` 3. **关键训练参数** ```yaml # 配置文件示例（config.yml） Global: use_gpu: true epoch_num: 1000 save_model_dir: ./output ``` 4. **训练监控 $$ Loss = \frac{1}{N}\sum_{i=1}^{N}(y_i - \hat{y}_i)^2 $$ 使用TensorBoard监控训练过程曲线 ### 三、进阶应用技巧 1. **多语言支持** ```python # 同时加载中英日韩模型 engine = RapidOCR(lang=['ch','en','ja','ko'], det_model_path='./multilang/det.onnx', rec_model_path='./multilang/rec.onnx') [^1] ``` 2. **性能优化** ```python # 开启GPU加速 engine = RapidOCR(use_gpu=True, gpu_mem=2048) # 设置图像预处理参数 engine.set_params(det_limit_side_len=960) # 限制输入图像尺寸 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孟婉茹Sunshine

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值