腾讯混元OCR：10亿参数轻量化模型，刷新多场景图文解析天花板

关注

原创最新推荐文章于 2026-10-29 14:44:57 发布 626 阅读 AI 写同款· GEO 优化 ›

实战指南：Hunyuan OCR HunyuanOCR是一款基于混元多模态架构的轻量级端到端OCR模型，仅1B参数即可实现行业领先性能，该模型支持多语言文档解析、文本识别、信息提取等多种任务。阅读详情

在日常工作中，你是否遇到过这些困扰？扫描的PDF文档无法复制文字，手写笔记整理成电子档要逐字录入，多语言合同里的表格数据提取耗时又易错……现在，腾讯推出的HunyuanOCR模型，正以“轻量化+强性能”的组合，重新定义图文解析的效率与精度。

一、什么是混元OCR？用10亿参数实现“小模型大能力”

作为腾讯混元多模态体系下的专注OCR（光学字符识别）模型，HunyuanOCR最亮眼的标签是“轻量却能打”：仅10亿参数规模，却在行业权威 benchmark 中表现突出——在OmniDocBench文档解析任务中，以94.10的综合得分超越百度OCR、PaddleOCR-VL等主流模型，成为轻量化OCR领域的“性能黑马”。

image.png

它并非传统单一功能的OCR工具，而是具备“端到端图文理解” 能力的多模态模型：能同时处理图片中的文字、表格、公式、图表，甚至理解文档的排版逻辑，就像给计算机装上了“看懂图文的眼睛”。

二、5大核心能力，覆盖从日常到专业的全场景需求

无论是职场人的文档处理，还是开发者的技术集成，HunyuanOCR都能精准匹配需求，核心能力可概括为“5能”：

1. 文字检测和识别

HunyuanOCR 可以轻松实现对艺术字、街拍广告牌、截屏、广告、手写、票据中的文字完成识别，而且效果很好，如下图：

2. 复杂元素“智能拆解”

表格秒变可编辑格式：扫描件里的财务报表、实验数据表格，能直接解析为HTML格式，复制到Excel中无需二次调整；
公式精准转LaTeX：学术论文里的复杂公式，识别后自动生成LaTeX代码，插入论文文档时格式零误差；
图表逻辑“可视化还原”：流程图用Mermaid格式重现，折线图、柱状图用Markdown清晰呈现，省去重新绘图的麻烦。

这一点如果我们用编程方法，不借助AI来出来，会非常难的，很难兼顾多种情况，没想到HunyuanOCR也能处理的很好，如下图：

3. 发票信息抽取

大家工作中，一般出来回来，免不了要报销发票，那么发票的填写就是件头疼的事情，要一点点核对。害怕万一填写错了信息，又被财务打回来，来回折腾，大家都费事费力，通过HunyuanOCR，我们可以方便提取发票上信息，如下图：

图来自互联网，额度不够用了

4. 视频字幕“实时抓取”

刷海外教程、看多语言纪录片时，能提取视频帧中的字幕文本，还支持直接翻译为中文，兼顾“看视频”与“记笔记”双重需求。

图来自互联网，额度不够用了

5. 轻量化部署“灵活高效”

10亿参数的小巧体型，让它既能在云端提供高并发服务，也能适配边缘设备部署，开发者无需复杂配置，就能快速集成到APP、小程序或办公软件中。

三、2分钟上手！两种便捷使用方式

普通用户和开发者都能轻松玩转混元OCR，官方提供两种快速启动方案：

方案1：用Transformers快速调用

只需3步，就能实现文档信息提取：

安装依赖：pip install git+https://github.com/huggingface/transformers@82a06db03535c49aa987719ed0746a76093b1ec4
编写代码，上传图片并写指令，比如“提取文档正文，表格用HTML、公式用LaTeX表示”；

from transformers import AutoProcessor
from transformers import HunYuanVLForConditionalGeneration
from PIL import Image
import torch

def clean_repeated_substrings(text):
    """Clean repeated substrings in text"""
    n = len(text)
    if n<8000:
        return text
    for length in range(2, n // 10 + 1):
        candidate = text[-length:] 
        count = 0
        i = n - length
        
        while i >= 0 and text[i:i + length] == candidate:
            count += 1
            i -= length

        if count >= 10:
            return text[:n - length * (count - 1)]  

    return text

model_name_or_path = "tencent/HunyuanOCR"
processor = AutoProcessor.from_pretrained(model_name_or_path, use_fast=False)
img_path = "path/to/your/image.jpg"
image_inputs = Image.open(img_path)
messages1 = [
    {"role": "system", "content": ""},
    {
        "role": "user",
        "content": [
            {"type": "image", "image": img_path},
            {"type": "text", "text": (
                "检测并识别图片中的文字，将文本坐标格式化输出。"
            )},
        ],
    }
]
messages = [messages1]
texts = [
    processor.apply_chat_template(msg, tokenize=False, add_generation_prompt=True)
    for msg in messages
]
inputs = processor(
    text=texts,
    images=image_inputs,
    padding=True,
    return_tensors="pt",
)
model = HunYuanVLForConditionalGeneration.from_pretrained(
    model_name_or_path,
    attn_implementation="eager",
    dtype=torch.bfloat16,
    device_map="auto"
)
with torch.no_grad():
    device = next(model.parameters()).device
    inputs = inputs.to(device)
    generated_ids = model.generate(**inputs, max_new_tokens=16384, do_sample=False)
if "input_ids" in inputs:
    input_ids = inputs.input_ids
else:
    print("inputs: # fallback", inputs)
    input_ids = inputs.inputs
generated_ids_trimmed = [
    out_ids[len(in_ids):] for in_ids, out_ids in zip(input_ids, generated_ids)
]
output_texts = clean_repeated_substrings(processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
))
print(output_texts)

运行代码，秒级得到结构化输出，还能自动清理重复文本，避免冗余。

方案2：用vLLM提速推理

如果需要处理大量图片，可通过vLLM实现高效推理：安装vLLM后，配置采样参数（如temperature=0确保输出稳定），单次可处理多帧图片，适合视频字幕提取、批量文档解析等场景。

安装

uv venv hunyuanocr
source hunyuanocr/bin/activate

uv pip install -U vllm --pre --extra-index-url https://wheels.vllm.ai/nightly

部署模型

vllm serve tencent/HunyuanOCR \
    --no-enable-prefix-caching \
    --mm-processor-cache-gb 0 \
    --gpu-memory-utilization 0.2

代码测试

from vllm import LLM, SamplingParams
from PIL import Image
from transformers import AutoProcessor

def clean_repeated_substrings(text):
    """Clean repeated substrings in text"""
    n = len(text)
    if n<8000:
        return text
    for length in range(2, n // 10 + 1):
        candidate = text[-length:] 
        count = 0
        i = n - length
        
        while i >= 0 and text[i:i + length] == candidate:
            count += 1
            i -= length

        if count >= 10:
            return text[:n - length * (count - 1)]  

    return text

model_path = "tencent/HunyuanOCR"
llm = LLM(model=model_path, trust_remote_code=True)
processor = AutoProcessor.from_pretrained(model_path)
sampling_params = SamplingParams(temperature=0, max_tokens=16384)

img_path = "/path/to/image.jpg"
img = Image.open(img_path)
messages = [
    {"role": "system", "content": ""},
    {"role": "user", "content": [
        {"type": "image", "image": img_path},
        {"type": "text", "text": "检测并识别图片中的文字，将文本坐标格式化输出。"}
    ]}
]
prompt = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = {"prompt": prompt, "multi_modal_data": {"image": [img]}}
output = llm.generate([inputs], sampling_params)[0]
print(clean_repeated_substrings(output.outputs[0].text))