性能加速最高可达28倍!这个NLP工具包太NB了!

从CD到5G:维特比译码这个“老古董”,为啥依然是通信系统的隐形冠军? 本文探讨了维特比译码算法从CD到5G时代的持久影响力。作为通信系统的隐形冠军,维特比算法通过动态规划的核心思想,在硬判决和软判决技术中持续优化,成为现代通信、IoT设备及AI混合架构的关键组件。其跨领域应用展示了这一经典算法的强大生命力和技术价值。 阅读详情

一、导读

PaddleNLP 是兼具科研学习和产业实践能力的 Python NLP 工具包,提供中文领域丰富的预训练模型和部署工具,被高校、企业开发者广泛应用。近日,PaddleNLP v2.1正式发布,为开发者带来三项重要更新:

  • 开箱即用的工业级NLP预置任务能力Taskflow:八大经典场景一键预测。

  • 预训练时代的微调新范式应用:三行代码显著提升小样本学习效果。

  • 高性能预测加速:文本生成任务28倍加速效果。

传送门:

GitHub项目: https://github.com/PaddlePaddle/PaddleNLP

二、PaddleNLP整体开源

能力速览

PaddleNLP是飞桨生态的自然语言处理开发库,旨在提升文本领域的开发效率,为开发者带来模型构建、训练及预测部署的全流程优质体验。

cc4277a5745e762c8b71a68d773f30f0.png

PaddleNLP功能全景图

PaddleNLP项目自发布以来,就受到广大NLPer的关注。在2021年6月PaddleNLP官方直播打卡课中,有7000+ 用户参加PaddleNLP的项目学习和实践,加速了自身科研和业务实践进程,同时也带动PaddleNLP多次登上GitHub Trending榜单。

6edceee3b0cb3bd41a36636132f4e6fa.gif

那么最近的2021年10月份更新,PaddleNLP又给大家带来哪些惊喜呢?下文将为您逐一细细解读。

三、PaddleNLP 全新升级

深入解读

  • 1. 开箱即用的工业级NLP预置任务能力——Taskflow

依托于百度在多年语言与知识领域的业务积淀,PaddleNLP面向NLP八种任务场景,聚合了众多百度自研的算法以及社区开源模型,并凭借飞桨核心框架的能力升级提供开箱即用、极致优化的高性能一键预测能力——Taskflow。

本次Taskflow升级覆盖自然语言理解(NLU)和生成(NLG)两大场景共八大任务,包括中文分词、词性标注、命名实体识别、句法分析、文本纠错、情感分析、生成式问答和智能写诗。

这些高质量模型的背后,一方面聚合了百度在语言与知识领域多年的业务积淀和领先的开源成果:如词法分析工具LAC、句法分析工具DDParser、情感分析系统Senta、文心ERNIE系列家族模型、开放域对话预训练模型PLATO、文本知识关联框架解语等;另一方面也涵盖了开源社区优秀的中文预训练模型如CPM等。

未来Taskflow会随着PaddleNLP的版本迭代不断扩充技能,如开放域对话、文本翻译、信息抽取等能力,以满足更多NLP开发者的需求。

如下图所示,通过PaddleNLP Taskflow,只需要一行代码,传入任务名称即可自动选择最优的预置模型,并且以极致优化的方式完成推理,开发者可以方便地集成到下游的应用中。

b1e6d6c0abbd94394a3cd80e75111e70.gif

图:Taskflow使用示意图

https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/taskflow.md

  • 2. 预训练时代的微调新范式应用:三行代码提升小样本学习效果

Few-Shot Learning(以下简称FSL)是机器学习的一个子领域。在仅有少数监督样本的情况下,训练得到强泛化能力的模型,实现对新数据的分类。

结合最新的Prompt Tuning的思想,PaddleNLP中集成了三大前沿FSL算法:

  (1)EFL(Entailment as Few-Shot Learner)[1],将 NLP Fine-tune任务统一转换为二分类的文本蕴含任务。

  (2)PET(Pattern-Exploiting Training)[2],通过人工构建模板,将分类任务转成完形填空任务。

  (3)P-Tuning[3]:自动构建模板,将模版的构建转化为连续参数优化问题。

使用小样本学习策略,仅仅32条样本即可在电商评论分类任务上取得87%的分类精度[4]。此外,PaddleNLP集成 R-Drop 策略作为 API,只需要增加三行代码即可在原任务上快速涨点,如图所示:

0008be3780586ba170544c0fc7aa86db.png

https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/few_shot

  • 3. 高性能预测加速:文本生成场景高达28倍加速效果

PaddleNLP与NVDIA强强联合,以FasterTransformer[5]为基础,提供了Faster系列的推理API,重点拓展了更多主流网络结构适配与解码策略支持。同时结合飞桨核心框架2.1版本全新的自定义OP的功能,提供了与飞桨框架无缝衔接的使用体验。

da87e4ea433b7d137a0f7fbd9ad3791a.png

FasterTransformer Decoding Workflow

  (1)大幅提升生成任务的推理能力

在Transformer机器翻译、GPT文本生成两个任务中,分别对比使用动态图版本的性能和内置Faster系列的推理API后,不同batch size下预测性能加速比,从对比数据可以看到无论Transformer还是GPT,均可得到高达28倍推理速度提升!

bd4c0e9763c85e80c95d62e351987c30.png

3b89279a262fb7b12d8a516841b57b8f.png

1bcba8fd35c0cf0ec4d8eb5af1ebdee1.pngfd25dfa68de3cc43d24f2e974a089868.png

PaddleNLP Transformer翻译模型加速优化前后的Nsight Profling对比图

  (2)支持丰富的经典解码策略

PaddleNLP v2.1提供工业界主流的解码加速支持,包括经典的Beam Search,以及多个Sampling-based的解码方式:如Diverse Sibling Search[6]、T2T版本的Beam Search实现[7]、Top-k/Top-p Sampling等。丰富的加速策略可以满足对话、翻译等工业场景的实际应用,同时PaddleNLP的加速实现也在百度内部经过了大规模互联网业务的真实考验。

表1:PaddleNLP 2.1 支持加速的模型结构与解码策略ec6b9c66dd77a23037cd9275efb70d3d.png

更多PaddleNLP加速使用文档可以参考:https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/advanced_guide/fastertransformer.rst

别的不需要多说了,大家访问GitHub点过star之后自己体验吧:

https://github.com/PaddlePaddle/PaddleNLP

55e6cf93debd1bd683945c2c2ef02f5c.png

d9ae678a5f560237eb65d142f0f2bf74.gif

四、直播预告

除了重磅发版以外呢,我们还为大家精心准备了配套课程,在10月13-15日,连续三天PaddleNLP技术精讲课程,百度飞桨的明星讲师们历时一个月呕心沥血打磨的三日课,小伙伴们速度扫码报名,快速get PaddleNLP最新技能点!

扫描二维码报名,立即加入技术交流群

80c65eccf3394be9219736367fa77ddf.png

精彩内容抢先看👇   

5c0feab93efc49269de0f636b234b298.png

官网地址:https://www.paddlepaddle.org.cn

PaddleNLP 项目地址:

GitHub: https://github.com/PaddlePaddle/PaddleNLP

Gitee: https://gitee.com/paddlepaddle/PaddleNLP

参考文献:

[1]Entailment as Few-Shot Learner

(https://arxiv.org/pdf/2104.14690.pdf)

[2] Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference

(https://arxiv.org/pdf/2001.07676.pdf)

[3] GPT Understands, Too

(https://arxiv.org/pdf/2103.10385.pdf)

[4]FewCLUE: A Chinese Few-shot Learning Evaluation Benchmark

(https://arxiv.org/pdf/2107.07498.pdf)

[5] https://github.com/NVIDIA/FasterTransformer

[6] A Simple, Fast Diverse Decoding Algorithm for Neural Generation

(https://arxiv.org/pdf/1611.08562.pdf)

[7] Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation (https://arxiv.org/pdf/1609.08144.pdf)

Paddle Lite端侧AI部署:架构解析与实战优化 端侧AI部署是解决移动端和物联网设备实时推理需求的关键技术,其核心在于平衡计算效率和模型精度。通过轻量化框架如Paddle Lite,开发者可以实现模型在ARM CPU、Mali GPU等异构硬件上的高效运行。该技术采用模块化设计、内存复用等机制,显著降低延迟和功耗,适用于智能门锁、工业质检等隐私敏感和实时性要求高的场景。其中模型量化技术(如INT8动态量化)和硬件适配层(支持NPU加速)是提升性能的关键,典型应用可实现200ms内的人脸识别响应。 阅读详情

相关推荐

AI模型对抗性攻击测试实战:从FGSM到批量评估的完整指南

对抗性攻击是机器学习安全领域的核心概念,它通过构造特殊输入样本来揭示模型的潜在脆弱性。其原理在于利用模型梯度或决策边界信息,添加人眼难以察觉的微小扰动,使模型产生高置信度的错误输出。这项技术的核心价值在于为AI系统的安全性提供量化评估手段,帮助开发者在模型部署前发现并修复安全漏洞。在自动驾驶、金融风控、内容审核等高风险应用场景中,对抗性测试已成为模型安全审计的关键环节。本文以实战为导向,详细解析了如何利用对抗样本生成工具进行模型鲁棒性评估,并重点介绍了FGSM攻击方法的实现与批量测试流程,为构建更可靠的AI

weixin_30443813的博客 462

预训练时代微调新范式,高性能加速2800%,NLPer赶紧看过来!

导读PaddleNLP 是兼具科研学习和产业实践能力的 Python NLP 工具包,提供中文领域丰富的预训练模型和部署工具,被高校、企业开发者广泛应用。近日,PaddleNLP v2.1...

AI科技大本营 505

Paddle:指定GPU

2:指定GPU,通过set_device函数接口。1:查看默认运行的device设备。

微风❤水墨 3788

NLP入门开源实践总结

NLP入门开源实践总结

470

飞桨:中文NLP开源工具全面解析

以上是飞桨中文NLP开源工具的部分示例,飞桨还提供了丰富的其他功能和工具,如命名实体识别(Named Entity Recognition)、关键词提取(Keyword Extraction)、情感分析(Sentiment Analysis)等。飞桨提供了多种语义表示方法,包括预训练的词向量(如Word2Vec、GloVe)、预训练的语言模型(如BERT、ERNIE)以及基于深度学习的编码器(如LSTM、Transformer)。飞桨是由百度开发和维护的开源深度学习平台,提供了丰富的深度学习工具和算法库。

ZksProlog的博客 501

【信息科学与工程学】计算机科学与自动化——第三篇 计算理论基础05 计算数论01

车联网(IoV)算法是支撑智能交通系统高效、安全运行的核心技术,涵盖通信调度、路径规划、数据处理、决策控制等多个维度。

weixin_49199313的博客 1304

深度学习:batch_size和学习率warm-up

-柚子皮- 学习率衰减 import torch.optim as optim from torch.optim import lr_scheduler # 训练前的初始化 optimizer = optim.Adam(net.parameters(), lr=0.001) #学习率衰减 scheduler = lr_scheduler.StepLR(optimizer, 10, 0.1) # # 每过10个epoch,学习率乘以0.1 # 训练过程中 for n in n_epoch: ...

皮皮blog 4万+

【SEW-伺服电机-Profinet-io通讯控制——伺服配置】

SEW-伺服电机-Profinet-io通讯控制——伺服配置一、本次使用配置说明编写经历受国际形式与疫情影响相关资料查询阅读测试验证不易二、伺服配置流程1.基本准备条件2.硬件-电路连接3.设备在线连接4.软件-参数配置5.手动运行测试6.PN-IO自动控制配置8.PLC1200硬件组态9.PLC软件编程10.调试故障分析三、总结四、参考 一、本次使用配置说明编写经历 受国际形式与疫情影响 由于近期受国际形式影响以及全球疫情影响,Siemens等常用产品供货期与供货量严重受限,项目上不得不采取选用其它替代产

qq_39024187的博客 1万+

LLM嵌入表示与高效检索技术解析

文本表示技术是自然语言处理的基础,从传统的Word2Vec、GloVe到现代的BERT、RoBERTa,再到大型语言模型如LLaMA和GPT,文本表示技术经历了显著的演进。高维嵌入虽然提升了语义表示能力,但也带来了存储开销、相似度计算复杂度和索引构建效率等挑战。为解决这些问题,业界发展出维度压缩技术(如乘积量化PQ和稀疏编码CSR)、近似最近邻索引(如HNSW和IVF聚类)以及二进制哈希方法(如学习型哈希L2H)。这些技术在大规模检索场景中表现出色,能够有效平衡存储成本、检索速度和精度。Isolation

weixin_30905981的博客 368

STM32F103C8T6键盘DIY全攻略:从电路设计到固件烧录(附避坑指南)

本文详细介绍了基于STM32F103C8T6微控制器的DIY键盘制作全流程,涵盖硬件电路设计、按键矩阵实现、USB HID通信及固件烧录等关键步骤。特别针对常见问题提供避坑指南,帮助开发者高效完成从电路设计到功能实现的完整过程,打造个性化瀚文键盘。

soda5的博客 770

【模拟电子设计实战】开源!基于Multisim与AD620的心电采集电路仿真与优化

本文详细介绍了基于Multisim与AD620的心电采集电路仿真与优化实战。通过分析心电信号采集的挑战,重点讲解了AD620仪表放大器和OP07运算放大器的选型优势及电路设计技巧,包括对抗50Hz工频干扰和基线漂移的优化方法。文章还分享了Multisim仿真参数设置与实测对比经验,最终实现性能达标的心电采集电路设计。

weixin_30555125的博客 97

一个方案搞定从模型量化到端侧部署全流程

量化的背景得益于海量数据、超强算力和最新技术,深度学习在视觉、自然语言处理等领域都取得了巨大成功。然而,深度学习模型的网络结构越来越复杂、参数越来越多、计算量越来越大,给模型部署应用带来...

百度大脑 3075

逆向选择启示录:一个失败高频策略如何意外跑赢市场

本文探讨了高频交易中的逆向选择现象,揭示了一个失败的高频策略如何通过简化意外跑赢市场。通过加密货币市场的实证分析和蒙特卡洛模拟,研究发现低预测性的简单策略反而更具鲁棒性,有效规避了逆向选择风险。文章还提供了小币种做市策略的优化框架和实践建议,为量化交易者提供了宝贵洞见。

weixin_29191669的博客 401
上一篇: 如何通俗的理解协方差、相关系数?
下一篇: 3年半巨亏242亿!商汤高估了深度学习,下错了棋?
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值