bert推理速度太慢如何解决

最新推荐文章于 2025-09-19 17:20:39 发布

转载最新推荐文章于 2025-09-19 17:20:39 发布 · 3.7k 阅读

2 ·

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/junjie20082008/article/details/104280864/

针对Estimater.predict频繁加载模型的问题，本文提出了一种解决方案，旨在避免模型重复加载，提升工程业务效率。

问题：
大家用Estimater.predict总是把模型重新load一遍，这样工程业务根本没法用。
下面的解决方案是为了解决这个问题而产生的为了使模型不要老是重新load

在这里插入图片描述

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_ry5219775

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

BERT推理加速实践：提高NLP模型效率的方法

DbjkKubernetes的博客

09-17

614

BERT（Bidirectional Encoder Representations from Transformers）模型由Google于2018年提出，通过预训练和微调的方式在多项NLP任务中取得了显著的突破。通过批量推理、模型量化和模型裁剪这些方法，我们可以显著提高BERT模型的推理效率，从而更好地应用于实际的NLP任务中。在上述代码中，我们首先加载了预训练好的BERT模型和对应的分词器。层裁剪了20%，并指定了保留的BERT模型中的头部注意力头个数为4个。最后，我们将量化模型保存到指定的路径中。

BERT模型压缩与加速

AI天才研究院

10-10

888

作者：禅与计算机程序设计艺术 1.背景介绍 Google提出的BERT模型，是当今最火的自然语言处理(NLP)模型之一，其已经成为NLP任务的主流技术。BERT模型的输入可以是文本序列，输出是预测的标签或概率分布。它在两个方面做了优化：一是通过精心设计的网络结构，使得模型能够学习到上下文信息；二是通

参与评论您还未登录，请先登录后发表或查看评论

AIGC:语音克隆模型Bert-VITS2-2.3部署与实战

十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎

03-05

6760

本文提出VITS2，一种单阶段的文本到语音模型，通过改进之前工作的几个方面，有效地合成了更自然的语音。本文提出了改进的结构和训练机制，所提出的方法在提高多说话人模型中语音特征的自然度、相似性以及训练和推理效率方面是有效的。证明了所提出方法可以显著减少以前工作中对音素转换的强依赖，允许完全端到端单阶段方法。

bert-vits2搭建与训练，实现训练个性化音色

最新发布

2501_93199963的博客

09-19

449

【TTS】3：Bert-VITS2/OpenVoice/VITS2学习和代码实战

【TTS回顾】Bert-VITS2深度解析：融合BERT的多语言语音合成模型

kakaZhui的博客

05-19

1697

Bert-VITS2是基于VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的改进版本，通过整合BERT语义编码能力，显著提升了语音合成的自然度和表现力。项目地址：https://github.com/fishaudio/Bert-VITS2语种自然度相似度流畅度中文4.24.14.3日语4.03.94.1英语3.83.73.9核心特性。

基于PyTorch的VITS-BigVGAN的tts中文模型，加入韵律预测模型

01-20

基于PyTorch的VITS-BigVGAN的tts中文模型，加入韵律预测模型。本项目实现vits+BigVGAN端到端的中文TTS 模型，推理阶段加入中文韵律预测模型，实现的带韵律预测的中文TTS模型。 1.环境准备(Environment) Python 3.7 or higher. Pytorch 1.9.0, or any compatible version. NLTK 3.2, torch-struct 0.4, transformers 4.3.0, or compatible. pytokenizations 0.7.2 or compatible. 安装espeak库：apt-get install espeak 编译monotonic_align:

BERT TextClassify Estimator预测速度慢的问题

FK2016的博客

05-13

2223

在使用BERT做文本分类时，在使用tf.estimator.Estimator做预测时，速度总是很慢，单纯的一个生成器解析都很耗费时间；无论是使用ckpt和pb预测总是会变成对ckpt模型的预测，因此，本文重写了pb的预测代码： BERT模型训练完以后得到的文件有： ...

bert推理速度太慢的解决方案[用于生成表征向量]

junjie20082008的博客

02-12

3158

思路借鉴：https://blog.youkuaiyun.com/hezhefly/article/details/98877796，再次表示感谢本文的用途是基于bert的表征向量的生成基于上面的文章的分类预测思路，修改成了基于bert 的表征向量生成，其中表征向量以最后一层CLS的向量表示，也可以取最后一层的所有token的平均，或者取倒数第二层的所有tokens的平均(倒数第二层不那么接近任务，但...

【NLP加速】【基于TensorRT 加速 bert 推理】的代码实现和总结

Sito的博客

09-30

2251

基于TensorRT 加速 bert 推理

ACL2020 | FastBERT：放飞BERT的推理速度

夕小瑶科技说

04-09

3213

一只小狐狸带你解锁炼丹术&NLP秘籍FastBERT自从BERT问世以来，大多数NLP任务的效果都有了一次质的飞跃。BERT Large在GLUE test上甚至提升了7个...

使用Bert的预训练模型和toknizer做下游任务模型，训练速度慢，发现是数据加载的问题，解决方案

Y2813860260的博客

09-04

502

问题就出现在这个加载函数这里，collate_fn的这个函数是在提取出数据时才进行处理，发现在这速度很慢，于是推测是tokenizer的问题，但是单独拿出来发现速度并不慢。最后发现是因为上传的dataset使用了datasets包生成的dataset，最后使用遍历生成list结构的dataset。最后要注意生成的loader数据加载器的数据类型需要是张量，这里我在collate_fn函数中做了转换，如果不使用collate_fn函数的情况下，传入的dataset数据需要是张量。

Python 运行速度慢原因之一一因为它是解释语言

代码帮

08-17

4495

这条理由我也听过很多，我发现它过于简化了 CPython 的实际工作原理。当你在终端上写 python myscript.py 时，CPython 会启动一长串操作，包括读取、词法分析、语法分析、编译、解释以及执行。如果你对这些过程感兴趣，可以看看我之前写的文章： 6分钟修改Python语言：https://hackernoon.com/modifying-the-python-langua...

python跑循环很慢_Python机器学习性能优化—PyCon2019分享

weixin_39806808的博客

11-30

364

上周末在上海参加PyCon2019，第一次与Python爱好者们面基，顺便讲了个机器学习相关的Talk。现场反馈还不错，人工智能会场爆满，还收获不少粉丝。其中一位粉丝是人工智能的PhD，散场后交流了不少，送了我一本《深度学习》的书，才发现他是译者。其他场次比较值得一听的是英伟达讲师的分享，如果早点认识可以省去不少弯路。大会没有直播和视频，在此分享一下我的PPT和演讲者备注。关于我：网易游...

训练BERT，我只花了一半的时间

算法码上来

07-14

1655

相信很多人都知道Hugging Face，也都用过它的Transformers预训练语言模型，但你们有没有觉得它训练的有点太慢了呢？这时候，字节第二快的男人要站出来了（第一快是我mentor），手把手教你怎么让训练时间缩短一半。训练BERT首先我们要安装Transformers库，这很简单：pip install transformers然后我们直接把官方的例子拷贝下来，这里我们用的是GLUE任务...

Win环境下BertClient无响应

weixin_45712625的博客

04-08

559

bert-as-service是一个开源的BERT服务，它让用户可以以调用服务的方式使用BERT模型而不需要关注BERT的实现细节。

BERT-TensorFlow预处理create_pretraining_data太慢的解决方法

亓官劼的博客

02-18

1790

BERT-TensorFlow预处理create_pretraining_data太慢的解决方法大家好，我是亓官劼（qí guān jié ），在【亓官劼】公众号、优快云、GitHub、B站、华为开发者论坛等平台分享一些技术博文，主要包括前端开发、python后端开发、小程序开发、数据结构与算法、docker、Linux常用运维、NLP等相关技术博文，时光荏苒，未来可期，加油~ 如果喜欢博主的文章可以关注博主的个人公众号【亓官劼】(qí guān jié)，里面的文章更全更新更快。如果有需要

Python - Bert-VITS2 语音推理服务部署

BITDDD小栈

01-11

4823

Bert-VITS2 自定义语音推理服务部署。

AIGC：使用bert_vits2实现栩栩如生的个性化语音克隆

十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎

11-10

8259

本文提出VITS2，一种单阶段的文本到语音模型，可以有效地合成更自然的语音。通过在时长预测器中引入对抗学习，提高了训练推理效率和自然度。将transformer块添加到规范化流中，以捕获在转换分布时的长期依赖关系。通过在对齐搜索中引入高斯噪声，提高了合成质量。对音素转换的依赖显著减少，这对实现完全端到端单阶段语音合成构成了挑战。测试结果也表明，整体可懂度得到了提升。通过实验、质量评估和计算速度测量，验证了所提方法的有效性。