microsoft-UniLM项目介绍

原创 已于 2025-08-23 14:34:55 修改 · 1.1k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习

于 2025-07-10 01:16:30 首次发布

一、UniLM项目介绍

统一语言模型（Unified Language Model，UniLM）
https://github.com/microsoft/unilm

这个 unilm 仓库是微软的一个研究项目，专注于跨任务、语言和模态的大规模自监督预训练，涵盖了多种基础模型架构和模型，在自然语言处理（NLP）、计算机视觉、语音处理和多模态处理等多个领域开展研究。

在这里插入图片描述

图1：UniLM的网络结构以及它不同的预训练任务。

1. 基础架构

  • TorchScale：一个基础架构库，专注于开发新的基础模型架构，研究建模的通用性、能力、训练稳定性和效率。相关架构有：
    • DeepNet：可将 Transformer 扩展到 1000 层及以上，提升模型稳定性。
    • Foundation Transformers (Magneto)：旨在实现跨任务和模态（包括语言、视觉、语音和多模态）的真正通用建模。
    • Length - Extrapolatable Transformer：具有长度外推能力的 Transformer。
    • X - MoE：可扩展且可微调的稀疏专家混合（Mixture - of - Experts, MoE）架构。
  • 模型架构革新：
    • BitNet：用于大语言模型的 1 位 Transformer。
    • RetNet：作为 Transformer 的继任者，用于大语言模型。
    • LongNet：可将 Transformer 扩展到处理 10 亿个令牌。

2. 基础模型

多模态大语言模型（MLLM）的演进

  • Kosmos - 2.5：多模态知识模型。
  • Kosmos - 2：将多模态大语言模型与现实世界关联起来。
  • Kosmos - 1：多模态大语言模型。
  • MetaLM：语言模型作为通用接口。

语言和多语言模型

  • UniLM：用于语言理解和生成的统一预训练模型。
  • InfoXLM/XLM - E：支持 100 多种语言的多语言/跨语言预训练模型。
  • DeltaLM/mT6：用于 100 多种语言的语言生成和翻译的编码器 - 解码器预训练模型。
  • MiniLM：用于语言理解和生成的小型快速预训练模型。
  • AdaLM：预训练模型的领域、语言和任务自适应模型。
  • EdgeLM：适用于边缘/客户端设备的小型预训练模型。
  • SimLM：用于相似度匹配的大规模预训练模型。
  • E5：文本嵌入模型。
  • MiniLLM：大语言模型的知识蒸馏模型。

视觉模型

  • BEiT/BEiT - 2：用于视觉的生成式自监督预训练模型，即图像 Transformer 的 BERT 预训练。
  • DiT：用于文档图像 Transformer 的自监督预训练模型。
  • TextDiffuser/TextDiffuser - 2：将扩散模型作为文本绘画工具。

语音模型

  • WavLM：用于全栈语音任务的预训练模型。
  • VALL - E：用于文本转语音（TTS）的神经编解码语言模型。

多模态（X + 语言）模型

  • LayoutLM/LayoutLMv2/LayoutLMv3：用于文档人工智能的多模态（文本 + 布局/格式 + 图像）文档基础模型。
  • LayoutXLM：用于多语言文档人工智能的多模态（文本 + 布局/格式 + 图像）文档基础模型。
  • MarkupLM：用于视觉丰富文档理解的标记语言模型预训练。
  • XDoc：用于跨格式文档理解的统一预训练模型。
  • UniSpeech：用于自动语音识别（ASR）的自监督学习和监督学习的统一预训练模型。
  • UniSpeech - SAT：具有说话人感知预训练的通用语音表示学习模型。
  • SpeechT5：用于口语处理的编码器 - 解码器预训练模型。
  • SpeechLM：利用未配对文本数据增强语音预训练。
  • VLMo：统一的视觉 - 语言预训练模型。
  • VL - BEiT：生成式视觉 - 语言预训练模型，是 BEiT 向多模态的演进。
  • BEiT - 3：通用多模态基础模型，是大规模预训练在任务、语言和模态上融合的重要里程碑。

工具包

  • s2s - ft：序列到序列的微调工具包。
  • Aggressive Decoding：无损且高效的序列到序列解码算法。

其他资源

  • RedStone：为大语言模型整理通用、代码、数学和问答数据。
  • LLMOps：支持使用大语言模型（LLMs）和多模态大语言模型（MLLMs）实现人工智能能力的通用技术。

模型发布记录

  • 2021 年 10 月：MarkupLM 发布。
  • 2021 年 9 月：TrOCR 发布。
  • 2021 年 8 月：LayoutReader 和 DeltaLM 发布。
  • 2021 年 7 月：BEiT 发布。

代码结构

仓库包含多个子目录，每个子目录对应一个具体的项目或模型，例如 beit、kosmos - 2、layoutlm 等。同时，还包含一些工具和脚本，用于数据处理、模型训练和评估等任务。

二、TrOCR

TrOCR和UniLM的关系：

从代码层面看，trocr/trocr_models.py文件里尝试导入UniLMDecoder，代码如下：

try:
    from .unilm_models import UniLMDecoder
except:
    from unilm_models import UniLMDecoder

这表明TrOCR在模型构建时会借鉴UniLM的解码器，可能会复用UniLM在自然语言处理方面的优势，如对文本生成和理解的能力，以增强自身在文字识别后文本处理的效果。

  • TrOCR：是一种端到端的文本识别方法，主要用于光学字符识别（OCR）任务，通过预训练的图像Transformer和文本Transformer模型，实现对图像中文字的识别和生成。从trocr/README.md可知，它在多个数据集（如IAM、SROIE等）上有出色的表现，能够输出识别的文字结果。
  • UniLM：主要聚焦于自然语言理解（NLU）和生成（NLG）的统一预训练。它可以处理多种自然语言处理任务，如抽象文本摘要、问题生成等，在自然语言处理的多个基准测试中取得了新的最优结果（SOTA）。

TrOCR项目结构的大致介绍：

在这里插入图片描述

  • augmentation ：存放数据增强相关代码 。
  • README.md ：项目说明，含概述、使用等。
  • __init__.py ：使trocr成为Python包。
  • bpe.py ：实现字节对编码算法。
  • convert_to_SROIE_format.py ：数据转SROIE格式。
  • data.py ：负责数据加载与预处理。
  • data_aug.py ：具体数据增强操作。
  • deit.py ：DEIT模型相关代码。
  • generator.py ：生成数据或结果。
  • pic_inference.ipynb/py ：图像推理。
  • requirements.txt ：记录依赖包。
  • scoring.py ：计算评估指标。
  • task.py ：定义任务逻辑。
  • trocr_models.py ：定义TrOCR模型架构。
  • unilm3-cased.model ：UniLM模型权重。
  • unilm_models.py ：UniLM模型代码。
  • vit_models.py ：ViT模型代码。

IAM数据集上微调代码讲解

Fine-tuning on IAM

export MODEL_NAME=ft_iam
export SAVE_PATH=/path/to/save/${MODEL_NAME}
export LOG_DIR=log_${MODEL_NAME}
export DATA=/path/to/data
mkdir ${LOG_DIR}
export BSZ=8
export valid_BSZ=16

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python -m torch.distributed.launch --nproc_per_node=8 \
    $(which fairseq-train) \
    --data-type STR --user-dir ./ --task text_recognition --input-size 384 \
    --arch trocr_large \   # or trocr_base
    --seed 1111 --optimizer adam --lr 2e-05 --lr-scheduler inverse_sqrt \
    --warmup-init-lr 1e-8 --warmup-updates 500 --weight-decay 0.0001 --log-format tqdm \
    --log-interval 10 --batch-size ${BSZ} --batch-size-valid ${valid_BSZ} --save-dir ${SAVE_PATH} \
    --tensorboard-logdir ${LOG_DIR} --max-epoch 300 --patience 20 --ddp-backend legacy_ddp \
    --num-workers 8 --preprocess DA2 --update-freq 1 \
    --bpe gpt2 --decoder-pretrained roberta2 \ # --bpe sentencepiece --sentencepiece-model ./unilm3-cased.model --decoder-pretrained unilm ## For small models
    --finetune-from-model /path/to/model --fp16 \
    ${DATA}

这段代码用于在IAM数据集上对TrOCR模型进行微调的脚本，它使用了fairseq框架，用了fairseq-train命令，设置了一系列的训练参数，包括学习率、批量大小、训练轮数等。通过分布式训练的方式来加速模型的微调过程。以下是对代码各部分的详细解释：

1. 环境变量设置

export MODEL_NAME=ft_iam
export SAVE_PATH=/path/to/save/${MODEL_NAME}
export LOG_DIR=log_${MODEL_NAME}
export DATA=/path/to/data
mkdir ${LOG_DIR}
export BSZ=8
export valid_BSZ=16
  • MODEL_NAME：微调模型的名称，这里设置为ft_iam，表示在IAM数据集上进行微调。
  • SAVE_PATH：保存微调后模型的路径，使用了环境变量MODEL_NAME。
  • LOG_DIR：保存训练日志的目录，同样使用了环境变量MODEL_NAME。
  • DATA：训练数据的路径。
  • mkdir ${LOG_DIR}：创建日志目录。
  • BSZ：训练时的批量大小，设置为8。
  • valid_BSZ：验证时的批量大小，设置为16。

2. 分布式训练启动

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python -m torch.distributed.launch --nproc_per_node=8 \
    $(which fairseq-train) \
  • CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7：指定使用的GPU设备编号，这里使用了8块GPU。
  • python -m torch.distributed.launch --nproc_per_node=8：使用torch.distributed.launch工具启动分布式训练，每个节点使用8个进程。
  • $(which fairseq-train)：调用fairseq-train命令进行模型训练。

3. 训练参数设置

--data-type STR --user-dir ./ --task text_recognition --input-size 384 \
--arch trocr_large \   # or trocr_base
--seed 1111 --optimizer adam --lr 2e-05 --lr-scheduler inverse_sqrt \
--warmup-init-lr 1e-8 --warmup-updates 500 --weight-decay 0.0001 --log-format tqdm \
--log-interval 10 --batch-size ${BSZ} --batch-size-valid ${valid_BSZ} --save-dir ${SAVE_PATH} \
--tensorboard-logdir ${LOG_DIR} --max-epoch 300 --patience 20 --ddp-backend legacy_ddp \
--num-workers 8 --preprocess DA2 --update-freq 1 \
--bpe gpt2 --decoder-pretrained roberta2 \ # --bpe sentencepiece --sentencepiece-model ./unilm3-cased.model --decoder-pretrained unilm ## For small models
--finetune-from-model /path/to/model --fp16 \
${DATA}
  • --data-type STR：指定数据类型为STR。
  • --user-dir ./：指定用户自定义代码的目录为当前目录。即trocr/
  • --task text_recognition：指定训练任务为文本识别。指定任务类型，对应task.py中的实现
  • --input-size 384：输入图像的大小为384。
  • --arch trocr_large：使用trocr_large架构，也可以选择trocr_base。指定模型架构，对应trocr_models.py中的定义
  • --seed 1111：设置随机种子为1111，保证结果的可重复性。
  • --optimizer adam：使用Adam优化器。
  • --lr 2e-05：学习率设置为2e-05。
  • --lr-scheduler inverse_sqrt：使用逆平方根学习率调度器。
  • --warmup-init-lr 1e-8：热身阶段的初始学习率为1e-8。
  • --warmup-updates 500：热身阶段的更新步数为500。
  • --weight-decay 0.0001：权重衰减系数为0.0001。
  • --log-format tqdm：使用tqdm格式输出训练日志。
  • --log-interval 10：每10个批次输出一次训练日志。
  • --batch-size ${BSZ}：训练时的批量大小，使用之前设置的BSZ。
  • --batch-size-valid ${valid_BSZ}：验证时的批量大小，使用之前设置的valid_BSZ。
  • --save-dir ${SAVE_PATH}：保存模型的目录，使用之前设置的SAVE_PATH。
  • --tensorboard-logdir ${LOG_DIR}：保存TensorBoard日志的目录，使用之前设置的LOG_DIR。
  • --max-epoch 300：最大训练轮数为300。
  • --patience 20：早停策略的耐心值为20，如果在20个轮次内验证集性能没有提升，则停止训练。
  • --ddp-backend legacy_ddp：使用legacy_ddp作为分布式数据并行后端。
  • --num-workers 8：数据加载的工作进程数为8。
  • --preprocess DA2：使用DA2进行数据预处理。
  • --update-freq 1：梯度累积步数为1，即每个批次都进行参数更新。
  • --bpe gpt2：使用GPT-2的字节对编码（BPE）。
  • --decoder-pretrained roberta2：解码器使用roberta2进行预训练。
  • --finetune-from-model /path/to/model：从指定的预训练模型开始微调。
  • --fp16：使用半精度浮点数（FP16）进行训练，以减少内存使用和加速训练。
  • ${DATA}：指定训练数据的路径。

README

TrOCR

项目地址：https://github.com/microsoft/unilm

简介

TrOCR是一种端到端的文本识别方法，它结合了预训练的图像Transformer和文本Transformer模型，利用Transformer架构同时进行图像理解和字块级别的文本生成。
在这里插入图片描述

论文：TrOCR: 基于预训练模型的Transformer光学字符识别
李明浩，吕腾超，崔磊，卢一娟，迪内·弗洛伦西奥，张查，李周军，魏富如，AAAI 2023。

TrOCR模型也以Huggingface格式提供。[文档][模型]

模型参数数量测试集得分
TrOCR-Small62MIAM4.22（区分大小写的字符错误率）
TrOCR-Base334MIAM3.42（区分大小写的字符错误率）
TrOCR-Large558MIAM2.89（区分大小写的字符错误率）
TrOCR-Small62MSROIE95.86（F1值）
TrOCR-Base334MSROIE96.34（F1值）
TrOCR-Large558MSROIE96.60（F1值）
模型IIIT5K - 3000SVT - 647ICDAR2013 - 857ICDAR2013 - 1015ICDAR2015 - 1811ICDAR2015 - 2077SVTP - 645CT80 - 288
TrOCR-Base（单词准确率）93.495.298.497.486.981.292.190.6
TrOCR-Large（单词准确率）94.196.198.497.388.184.193.095.1
安装
conda create -n trocr python=3.7
conda activate trocr
git clone https://github.com/microsoft/unilm.git
cd unilm
cd trocr
pip install pybind11
pip install -r requirements.txt
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" 'git+https://github.com/NVIDIA/apex.git'
微调与评估
模型下载
模型下载链接
TrOCR-Small-IAMtrocr-small-handwritten.pt
TrOCR-Base-IAMtrocr-base-handwritten.pt
TrOCR-Large-IAMtrocr-large-handwritten.pt
TrOCR-Small-SROIEtrocr-small-printed.pt
TrOCR-Base-SROIEtrocr-base-printed.pt
TrOCR-Large-SROIEtrocr-large-printed.pt
TrOCR-Small-Stage1trocr-small-stage1.pt
TrOCR-Base-Stage1trocr-base-stage1.pt
TrOCR-Large-Stage1trocr-large-stage1.pt
TrOCR-Base-STRtrocr-base-str.pt
TrOCR-Large-STRtrocr-large-str.pt
测试集下载
测试集下载链接
IAMIAM.tar.gz
SROIESROIE_Task2_Original.tar.gz
STR基准测试集STR_BENCHMARKS.zip

IAM主要用于手写文本识别任务
SROIE主要用于打印文本识别任务，特别是在文档处理和信息提取方面。
STR 基准测试集用于文本识别模型的基准测试，涵盖了多种场景和风格的文本图像，

如果本页面上的任何文件下载失败，请在URL后添加以下字符串作为后缀。

后缀字符串: ?sv=2022-11-02&ss=b&srt=o&sp=r&se=2033-06-08T16:48:15Z&st=2023-06-08T08:48:15Z&spr=https&sig=a9VXrihTzbWyVfaIDlIT1Z0FoR1073VB0RLQUMuudD4%3D

在IAM上进行微调
export MODEL_NAME=ft_iam
export SAVE_PATH=/path/to/save/${MODEL_NAME}
export LOG_DIR=log_${MODEL_NAME}
export DATA=/path/to/data
mkdir ${LOG_DIR}
export BSZ=8
export valid_BSZ=16

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python -m torch.distributed.launch --nproc_per_node=8 \
    $(which fairseq-train) \
    --data-type STR --user-dir ./ --task text_recognition --input-size 384 \
    --arch trocr_large \   # 或者 trocr_base
    --seed 1111 --optimizer adam --lr 2e-05 --lr-scheduler inverse_sqrt \
    --warmup-init-lr 1e-8 --warmup-updates 500 --weight-decay 0.0001 --log-format tqdm \
    --log-interval 10 --batch-size ${BSZ} --batch-size-valid ${valid_BSZ} --save-dir ${SAVE_PATH} \
    --tensorboard-logdir ${LOG_DIR} --max-epoch 300 --patience 20 --ddp-backend legacy_ddp \
    --num-workers 8 --preprocess DA2 --update-freq 1 \
    --bpe gpt2 --decoder-pretrained roberta2 \ # --bpe sentencepiece --sentencepiece-model ./unilm3-cased.model --decoder-pretrained unilm ## 对于小模型
    ${DATA}
在SROIE上进行微调
export MODEL_NAME=ft_SROIE
export SAVE_PATH=/path/to/save/${MODEL_NAME}
export LOG_DIR=log_${MODEL_NAME}
export DATA=/path/to/data
mkdir ${LOG_DIR}
export BSZ=16
export valid_BSZ=16

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python -m torch.distributed.launch --nproc_per_node=8 \
    $(which fairseq-train) \
    --data-type SROIE --user-dir ./ --task text_recognition --input-size 384 \
    --arch trocr_large \   # 或者 trocr_base
    --seed 1111 --optimizer adam --lr 5e-05 --lr-scheduler inverse_sqrt \
    --warmup-init-lr 1e-8 --warmup-updates 800 --weight-decay 0.0001 --log-format tqdm \
    --log-interval 10 --batch-size ${BSZ} --batch-size-valid ${valid_BSZ} \
    --save-dir ${SAVE_PATH} --tensorboard-logdir ${LOG_DIR} --max-epoch 300 \
    --patience 10 --ddp-backend legacy_ddp --num-workers 10 --preprocess DA2 \
    --bpe gpt2 --decoder-pretrained roberta2 \ # --bpe sentencepiece --sentencepiece-model ./unilm3-cased.model --decoder-pretrained unilm ## 对于小模型
    ${DATA}
在STR基准测试集上进行微调
    --preprocess RandAugment  --update-freq 1  --ddp-backend legacy_ddp \
    --num-workers 8  --finetune-from-model /path/to/model  \
    --bpe gpt2  --decoder-pretrained roberta2 \
    ${DATA}
在SROIE上进行评估
export DATA=/path/to/data
export MODEL=/path/to/model
export RESULT_PATH=/path/to/result
export BSZ=16
$(which fairseq-generate) \
        --data-type SROIE --user-dir ./ --task text_recognition --input-size 384 \
        --beam 10 --nbest 1 --scoring sroie --gen-subset test \
        --batch-size ${BSZ} --path ${MODEL} --results-path ${RESULT_PATH} \
        --bpe gpt2 --dict-path-or-url https://layoutlm.blob.core.windows.net/trocr/dictionaries/gpt2_with_mask.dict.txt \ # --bpe sentencepiece --sentencepiece-model ./unilm3-cased.model --dict-path-or-url https://layoutlm.blob.core.windows.net/trocr/dictionaries/unilm3.dict.txt ## 对于小模型
        --preprocess DA2 \
        --fp16 \
        ${DATA}
在STR基准测试集上进行评估
export DATA=/path/to/data
export MODEL=/path/to/model
export RESULT_PATH=/path/to/result
export BSZ=16
$(which fairseq-generate) \
        --data-type Receipt53K --user-dir ./ --task text_recognition \
        --input-size 384 --beam 10 --nbest 1 --scoring wpa \
        --gen-subset test --batch-size ${BSZ} --bpe gpt2 \
        --dict-path-or-url https://layoutlm.blob.core.windows.net/trocr/dictionaries/gpt2_with_mask.dict.txt \
        --path ${MODEL} --results-path ${RESULT_PATH} \
        --preprocess RandAugment \
        ${DATA}

请使用 “convert_to_sroie_format.py” 将输出文件转换为zip格式，并在网站上提交以获取分数。

推理示例

详情请见 pic_inference.py。

引用

如果您想在研究中引用TrOCR，请引用以下论文：

@misc{li2021trocr,
      title={TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models}, 
      author={Minghao Li and Tengchao Lv and Lei Cui and Yijuan Lu and Dinei Florencio and Cha Zhang and Zhoujun Li and Furu Wei},
      year={2021},
      eprint={2109.10282},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}
许可证

本项目遵循此源代码树根目录下的LICENSE文件中的许可证。部分源代码基于fairseq项目。微软开源行为准则

联系信息

如需使用TrOCR时获得帮助或遇到问题，请提交一个GitHub问题。
如需与TrOCR相关的其他沟通，请联系崔磊 (lecu@microsoft.com)，魏富如 (fuwei@microsoft.com)。

KOSMOS-2.5:密集文本的多模态读写模型
pku_langzi的博客
10-15 923
微软提出的KOSMOS-2.5，一个多模态读写模型，用于机器阅读文本密集型图像。KOSMOS-2.5在大规模文本密集型图像上进行预训练，支持处理两个独立但协作的转录任务： (1)生成空间感知的文本块 (2)生成结构化markdown文本输出。在文本识别和结构化文本输出上，相比于Google Document AI以及Nougat有比较大的提升。
【语音识别】- 几个主流模型 - 2024 - 附论文地址和源码地址
大数据AI笔记
03-02 2484
损失函数：同时使用CTC和AED的输出，可以提高识别率，但是由于AED本身是非流式的解码，在Wenet中，则没采用联合解码的方式，而是采用了先使用CTC解码，再用AED对CTC的Nbest结果进行Rescoring，这样即结合了两种模型的效果，又可以应用于流式场景。流式计算：标准的Fully self-attention会对依赖整个序列，不能进行流式计算，因此wenet采用了基于chunk的attention，将序列划分为多个固定大小的chunk，每个chunk内部的帧不会依赖于chunk右侧的帧。
网页结构建模在低质采集站上的识别应用
lihui49的博客
01-07 1265
本文首先讨论了恶劣采集作弊站点的识别难点，以及利用网页结构信息进行辅助识别的必要性。然后介绍了MarkupLM对于内容文本和页面排版的优势。最后介绍反作弊方向将MarkupLM建模方法应用于恶劣采集站上的识别，并通过实验展示XPath embedding结构对于识别作弊站的效果。除了应用在恶劣采集站的识别上，这样引入网页结构信息的建模方式还可以尝试扩展到其他的一些针对网页类型的作弊识别模型上，亦或是作为网页特征提取的基座对作弊页面实现多分类功能。参考文献cs.CL推荐阅读海量存储的批量计算框架。
MarkupLM源码解析之数据准备（三）
码农1479的博客
03-04 370
本文解析get_field_xpaths源码，这个方法会把每个网页中抽取的值对应的xpath表达式构造出来。
MarkupLM源码解析之数据准备（二）
码农1479的博客
03-03 388
这篇文章主要分析负责加载SWDE数据集中的html文件和标注数据的方法。
6生成token怎么弄_NeurIPS 2019 | 既能理解又能生成自然语言，微软提出统一预训练新模型UniLM...
weixin_39832727的博客
11-15 237
选自arXiv，作者：Li Dong、Nan Yang、Wenhui Wang 等，机器之心编译，参与：Panda。自然语言是人工智能正在攻克的一大难关，而微软的研究者最近发布了一种统一的预训练语言模型 UniLM，微软表示，该模型在机器阅读理解方面已经超越了人类水平。在 10 月 20 号的世界互联网大会中，微软之前提出来的「统一预训练语言模型与机器阅读理解技术」荣获「世界互联网领先科技成果」奖...
Unilm
03-21
Unilm 简介 UniLM模型既可以应用于自然语言理解（NLU）任务，又可以应用于自然语言生成（NLG）任务。 来自微软研究院。 模型虽然强大，但微软并没有开源中文的预训练模型。因此云问本着开源之前，将我们预训练好的中文unilm_base模型进行开源。 模型链接 模型地址 提取码 tf tblr 火炬 etwf 详细介绍 详细介绍见： 在CLUE中的部分分类数据集和阅读理解数据集上进行了简单测试，具体效果如下： 模型 空军质量管理委员会 新闻 智联科技 中国移动通信网 CSL CMRC2018 AVG bert_base 73.70％ 56.58％ 60.29％ 79.69％ 80.36％ 71.60％ 70.37％ ERNIE_base 73.83％ 58.33％ 58.96％ 80.29％ 79.10％ 74.70％ 70.87％ unilm_
Bert用在seq2seq任务上——UNILM实战
Tuka2000的博客
08-24 3817
文章目录1.UNILM简介2.实战2.0 租服务器2.0.1 基础配置2.0.2 网络和安全组2.0.3 系统配置2.0.4 服务器的状态2.0.5 查看账单2.1 环境配置2.1.0 登录服务器2.1.1 安装torch2.1.2 配置 UNILM 要求的包2.2 训练2.3 验证3.结语 1.UNILM简介 按照我粗浅的理解： 传统的seq2seq模型需要用一个encoder把输入的语料处理成向量,一个decoder把向量转换为词表里的词，生成目标语句。 Bert是一个预训练好的语言模型，有三层
基于夸夸闲聊数据的UniLM模型实战.zip
03-23
UniLM，全称为统一语言模型预训练，由微软和斯坦福大学共同研发。该模型的一大创新之处在于其双向训练能力。传统的预训练模型如BERT只能进行单向预测，而UniLM则能在同一序列中执行前向和后向预测，增强了模型的灵活...
2.特定领域知识图谱融合方案：文本匹配算法之预训练Simbert、ERNIE-Gram单塔模型等诸多模型【三】
丨汀、的博客
02-14 3354
本项目主要讲述文本匹配算法、知识融合学术界方案、知识融合业界落地方案、基于单塔 Point-wise 范式的语义匹配模型 erniematching: 模型精度高、计算复杂度高,适合直进行语义匹配
pretrained-unilm-Chinese:中文版unilm预训练模型
05-09
Pretrained-Unilm-Chinese 中文版unilm预训练语言模型 Table of Contents Background 最近由于公司业务的需要，做了一些基于预训练seq2seq模型的文本生成式任务，研究了、、之后，发现unilm这风格的seq2seq非常优雅。但是作者只开源了英文版的预训练模型，在git上也没找到合适的中文版unilm的预训练模型以及预训练代码，于是自己写了一个tensorflow版本。本项中预训练基于tensorflow-gpu==1.14.0，后续的微调任务基于。 Pretrain Training Data 简体中文维基百科数据，处理成一行一行句子对的形式。 Input Mask And Attention Mask 在一条数据中随机mask15%的token，被mask的token中80%用[MASK]表示，10%从vocab中随机选择一个tok
[UNILM]论文实现：Unified Language Model Pre-training for Natural Language.........
bigcrab的博客
12-09 1370
这篇论文主要讲的是一个统一的语言模型的预训练；前者的代表是GPT；中间的代表是BERT；后面很新奇，但是其本质也很简单，类似于GPT在mask加掩码；这里并不是一个模型中包含这三种层来进行训练，而是共享参数然后对每一个语言模型的要求进行mask再来训练；一个语言模型对应一个或几个下游任务，让模型理解这个下游任务，然后叠加，这个就是UNILM；这篇文章最重要一点就是结合多种模型来适配多种任务得到的效果要比单一的模型要好；
UNILM翻译
piaocoder
04-29 1964
翻译：*** 审核：yphacker 原论文 论文代码 UNILM翻译摘要1. 介绍2. 统一预训练语言模型2.1 输入表示2.2 主干网：多层Transformer2.3 预训练目标2.4 预训练安装2.5 对下游NLU和NLG任务进行微调3. 实验3.1 文本摘要3.2问答(QA)提取QA：生成式 QA：3.3 问题生成3.4 基于对话生成3.5 GLUE Benchmark4. 总结...
MarkupLM源码解析之Xpath Embedding
码农1479的博客
03-07 791
本文解析MarkupLM的Xpath嵌入生成原理。
MarkupLM源码解析之数据准备（一）
码农1479的博客
03-02 629
MarkupLM网页数据预处理源码解析。
Unilm生成式之Attention Mask解读
liliang199的专栏
03-13 2227
生成式对话说明
unilm layoutlmv3 训练代码调试 SER 推理可视化
gjj19901005的博客
08-20 2864
unilm layoulmv3 训练代码调试 SER 推理可视化
LayoutLM 系列有可以商用的吗
最新发布
08-12
是的，**LayoutLM 系列模型是可以用于商业用途的**，因为它们使用的是 **MIT License**，这是一种非常宽松的开源许可证，允许你： ✅ 自由地使用、复制、修改和分发代码 ✅ 用于商业目的 ✅ 不需要公开你自己的源代码（与 GPL 不同） ✅ 只需保留原始版权声明即可 --- ### LayoutLM 的许可证详情如下： | 模型版本 | 是否可商用 | 许可证类型 | 来源 | |----------------|------------|-------------|------| | LayoutLMv1 | ✅ 是 | MIT License | [GitHub - Microsoft/UniLM](https://github.com/microsoft/unilm) | | LayoutLMv2 | ✅ 是 | MIT License | [GitHub - Microsoft/UniLM](https://github.com/microsoft/unilm) | | LayoutLMv3 | ✅ 是 | MIT License | [GitHub - Microsoft/UniLM](https://github.com/microsoft/unilm) | --- ### 使用建议： - 你可以放心将 LayoutLM 集成到商业产品中，例如文档解析系统、发票识别、合同信息提取等。 - 请确保在项目中保留原始项目的版权声明（例如在 LICENSE 文件中注明）。 --- ### 示例：如何在项目中引用 MIT License 的代码 ```text MIT License Copyright (c) Microsoft Corporation. Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions: ... ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值