新版PyTorch发布！新增TorchScript API，扩展ONNX导出……4大功能更新值得关注

于 2019-08-09 16:19:29 发布
阅读量803 收藏 1
点赞数
PyTorch 1.2.0 版本发布，引入多项重大改进，包括增强 TorchScript 支持，扩展 ONNX 导出，新增 Transformer 模块，及 TensorBoard 的直接集成。此外，还更新了 torchvision、torchaudio 和 torchtext 库。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

铜灵 发自 凹非寺
量子位 出品 | 公众号 QbitAI

今天，PyTorch 1.2.0版正式发布。

官方表示，和1.1版本相比，新版本在使用体验上又往前迈进了一大步。主要新增/改动的功能包括：

  • 完善TorchScript环境，提供了新的将模型编译为TorchScrip的API

  • 扩展ONNX模型的导出的支持

  • 增强对Transformer架构的模块级支持

  • 此外，TensorBoard现在也能快速开始使用了

对于这一系列的更新，Reddit网友开心得不得了。

有网友评价，Transformer层非常棒，此前需要用自己的自定义图层，现在终于不用去维护它了。

640?wx_fmt=png

TensorBoard不再是一个实验性的功能了。RIP，浏览器。

640?wx_fmt=png

总之，1.2.0版本的PyTorch更方便更好用了。一起围观下具体更新。

640?wx_fmt=jpeg

四大更新

TorchScript编译器

TorchScript编译器最早是在1.0版本出现的，可以将PyTorch模型转换为静态图表征，可用于Python不可用的受限环境中的优化和执行。

新版本中扩展了TorchScript对PyTorch模型中使用的Python子集的支持，提供了一种新的、更易于使用的API，用于将模型编译为TorchScript。

此前，TorchScript编译器将模型逐步转换为TorchScript，将编译后的代码与Python无缝混合。有了新的API，能将nn.Modules 转换为ScriptModules。

看一下示例用法：

640?wx_fmt=png

扩展ONNX导出

作为开源的模型交换格式，让不同的框架以相同格式存储模型数据并交互，ONNX的出现为开发人员节约了不少时间。

在PyTorch最新版中，开发者进一步扩展了ONNX导出。

主要包括：

  • 支持多种Opset，包括在Opset 10中导出dropout、slice、flip和interpolate

  • 改进ScriptModule，支持多个Tensor factory和tuples作为输入和输出

  • 新支持了十几个额外的PyTorch operator，还能对其进行自定义

  • 改进bug~

nn.Transformer模块

在PyTorch 1.2.0版本中，包含了一个标准的nn.Transformer模块，这个模块完全依赖于注意机制来理清输入和输出之间的全局依赖关系。其中的各个组件可以独立使用。

  • 例如，nn.TransformerEncoder可以单独使用，不需要更大nn.Transformer。新API包括：

  • nn.Transformer

  • nn.TransformerEncoder和nn.TransformerEncoderLayer

  • nn.TransformerDecoder和nn.TransformerDecoderLayer

Tensorboard

此外还有一处更新。现在输入from torch.utils.tensorboard import SummaryWriter即可直接使用了。

只要安装了TensorBoard，这些实用程序就可以将PyTorch模型和标准记录到目录中，用户可在TensorBoard UI中进行可视化。

更新×3

这次更新的不止PyTorch 1.2，还有torchvision 0.4，torchaudio 0.3和torchtext 0.4。

torchvision 0.4版本，包含了：

可用于读/写视频和音频文件的IO原语（I/O primitives），支持任意编码和格式。

一个标准视频数据集，兼容torch.utils.data.Dataset和torch.utils.data.DataLoader。

基于Kinetics-400数据集构建的预训练模型，可用于视频（训练脚本）的动作分类。

用于训练你自己视频模型的参考训练脚本

torchaudio 0.3主要针对让机器解释音波，新版本中围绕标准化、复数（complex number）、转换（重新采样）进行改进，还更新了torchaudio的转换接口。

torchtext 0.4针对的时NLP研究，可以用于处理基于原始文本的数据。

此次更新的版本中，包含了很多流行监督学习带“one-command”数据加载的baseline，此外，还更新了如何用新数据集进行文本分类分析的教程。

传送门

PyTorch介绍：
https://pytorch.org/blog/pytorch-1.2-and-domain-api-release/

GitHub地址：
https://github.com/pytorch/pytorch/releases

— 完 —

加入社群 | 与优秀的人交流

640?wx_fmt=png

小程序 | 全类别AI学习教程

640?wx_fmt=jpeg


640?wx_fmt=jpeg

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「好看」吧 ！



QbitAl
关注
博客
杨植麟被梁文锋叫醒了！Kimi新模型发布即开源，1T参数全线SOTA
07-12 1
而Kimi的修改在于，如果基于Kimi K2打造的产品或服务月活跃用户超过1亿，或者月收入超过2000万美元，那么需要在该产品和服务的用户界面上显示“Kimi K2”。通过可验证任务持续优化critic，提升泛化任务表现。因为Kimi的数据增长地位，跟其之前拿着巨额融资后烧钱投流的策略密不可分，然而如果DeepSeek和腾讯元宝，可以靠着先进模型就能快速突破，那这壁垒又何在？审美属于是简洁挂的。172天之前，2025年春节之前，Kimi曾是国产基础大模型中最受关注的一个，团队青春风暴，产品体验优雅。
博客
Claude团队大揭秘！如何调动多智能体搞深度搜索
07-12
与单个代理的Claude相比，它在内部评估中成功率达到90%更高，比如，以Claude Opus 4为领导智能体、Claude Sonnet 4为子智能体的多智能体系统，在团队的内部研究评估中比单智能体Claude Opus 4表现高出90.2%。在系统中，主代理(The Lead Agent)将查询分解为子任务，描述清晰的目标、预期的输出格式、可使用的工具和信息来源指引以及明确的任务边界，将子任务传递给子代理。比如说，对主智能体的一处微小改动，可能会以不可预测的方式改变子智能体的行为。
博客
奥特曼30亿刀收购案黄了！谷歌迅速出手：Windsurf核心团队打包带走
07-12 1
毕竟OpenAI这笔收购案闹得轰轰烈烈，Windsurf作为一个基础模型靠大厂的AI编程工具，还因此惨遭Claude断供，API直接不给用。在收购风波之前，Windsurf已经吸引超80万开发者用户、约1000家企业用户，是继Cursor之后，全球最受关注的AI编程初创公司之一。，采取的是雇佣式收购策略：谷歌不会对Windsurf本身控股，但将获得Windsurf部分技术的非独家授权。现在，谷歌闪电官宣，花了多少钱没有具体透露，但有OpenAI打样，又在硅谷疯狂抢人的大环境之下……
博客
Kimi新模型数学反超DeepSeek！北大校友刘征瀛等领衔
07-11 11
刘征瀛，本科毕业于北京大学元培学院，主修物理学和数学，博士毕业于巴黎萨克雷大学，主修AutoML，加入月之暗面前，原华为诺亚方舟实验室AI基础理论团队研究员，现带领团队探索数学和推理方向。如果否定语句可证明，则表明原始引理在逻辑上不一致，并立即被丢弃。集成到模型中，它可以解读 Lean 的错误信息并提出有针对性的修正建议，通过迭代反馈来优化其输出，从而提高证明的可靠性和整体样本效率。回看近期发布的定理证明模型，他们的一个关键限制是，缺乏根据证明助手的反馈来修正证明的能力，这却是人类经常使用的能力。
博客
Grok4全网玩疯，成功通过小球编程测试，Epic创始人：这就是AGI
07-11 22
这项挑战被发在了Reddit，一同参与的还有o3、Gemini 2.5 Pro和Claude 4 Sonnet，帖主认为这是测试大模型视觉和空间推理能力的好方法。Dan制作这个网页只用了四轮对话，并且第一轮只是询问Grok4最喜欢的公式是什么，最后一轮是调整为暗色模式，相当于只用两轮就能完成核心功能的制作。一位叫Alex的提示词工程师，用8个问题给Grok-4做了一波“全面体检”，还拿OpenAI的o3进行了对比。总得来看，不管是哪个模型，在这场以画图为形式的综合测试中，表现都还有很大提升空间。
博客
吴恩达YC演讲：AI创业如何快人一步？
07-11 8
比如，“用AI提升电子邮件的个人效率”，这很模糊、不够具体，但如果是“能否开发一个与Gmail集成的应用，通过合适的提示和筛选，实现邮件自动化处理”，那么工程师就能立马get到！另外，吴恩达还提供了一个补充建议，在软件架构中可以对构建模块设计得更为灵活，一旦有新模型发布，就快速进行评估，如果优于旧模型，立马切换到新模型。此外，吴恩达发现了一个相当有趣的现象，初创团队的产品管理工作反而日益成为瓶颈，因为工程师的速度实在太快。而对于企业级产品，如果难以进入特定的市场渠道，可能此时才更需要考虑护城河的因素。
博客
无需CUDA代码给H100加速33%-50%，Flash Attention作者新作火了
07-11 8
写内核代码时，第一个要解决的问题就是“怎么加载输入数据、存储结果”。工具分析了它的内存负载图和SASS代码，发现当每个SM要加载65k数据时，SM的资源被耗尽，结果就是大量寄存器溢出，还会频繁往HBM里回写数据，这才拖慢了速度。由于作者对硬件知识有清晰的理解，即使使用常规的3遍扫描softmax算法，也能轻松充分利用所有内存层级的每一个字节，实现“光速”级别的吞吐量。不过他还指出，在处理长度不超过约16384的序列时，PyTorch的torch.compile的性能数据能较轻松地得到优化，更接近理想状态。
博客
美国版梁文锋来了
07-11 9
他们认为，数学是推理的语言，是人类发现宇宙基本真理的工具，通过提升AI的数学能力，能够让AI拥有更强大的逻辑推理能力，从而在科学、工程等众多领域发挥巨大作用。进行了系列改进，如重新划分数据集，将488个MiniF2F问题（原本均匀分为验证集和测试集）随机重新分为392个训练问题、48个验证问题和48个测试问题。的AI系统，以此来克服当前AI面临的诸多问题，比如令人头疼的 “幻觉” 问题，即模型对无法正确回答的问题编造答案。亿美元，净利润达3.36亿美元，净利率达到36%，创历史新高，平台总资产达到。
博客
中科院“二氧化碳制糖”新成果全网热议！不依赖光合作用，“迈向深空前置技术”
07-11 17
本项研究核心构建了一个体外生物转化平台（ivBT），能够将C1-C3低碳小分子（甲醇、甲醛和二羟基丙酮）转化为高阶碳水化合物（碳数 Cn ≥ 12），包括蔗糖、淀粉和纤维低聚糖（COS）。马延和表示，这一系列研究能带来的直接改变包括节约土地耕地、淡水，减轻农业压力，还提供了一个非常可靠的渠道去消纳二氧化碳。去年，该团队的“空气变馒头”成果登上Science，首次实现了二氧化碳到淀粉的从头合成（也是和大连化物所合作）。这个过程有多麻烦不必多说，效率也低，需要适宜的土地气候，还要等作物长好了才能收割提炼。
博客
感知错误率降低30.5%：隐式感知损失让模型主动“睁大眼睛” | UIUC＆阿里通义
07-11 14
近期有许多工作专注于提升强化学习再多模态场景中的应用，但大多集中在从数据（Data，Rollout）以及奖励机制（Reward）的设计，很少设计对于核心GRPO算法的改动。而PAPO训练的模型则正确识别了x是30度角对应的短边，得到了正确答案。为了在高-γ设置中更好地正则化KLprcp，PAPO团队引入了双重熵损失，这是一种有效的正则化方法，能够在保持性能的同时防止崩溃。在中等依赖任务中表现稳定；在评估多模态基准的视觉依赖程度时，PAPO团队发现，许多主流的多模态推理基准中实际上包含大量非“多模态”任务。
博客
奖励模型也能Scaling！上海AI Lab突破强化学习短板，提出策略判别学习新范式
07-11 17
在日常生活中，只要条件合适，比如刚下完雨、喷泉边，甚至在水幕电影附近，都能邂逅这种美丽的景象。值得注意的是，POLAR-1.8B仅有1.8B参数，就可取得与Skywork-Reward-27B和WorldPM-72B-UltraFeedback（参数量分别为其15倍和40倍）相当的结果，凸显了POLAR的强大潜力。例如，在STEM任务中，POLAR-1.8B和POLAR-7B分别超越了最佳基线24.9和26.2个百分点，并且能够准确识别推理、聊天、创意写作等通用任务中轨迹的细微区别，准确预测人类偏好。
博客
这届985毕业生直播带货一把好手！50余款产品热销全网供不应求
07-11 656
最新官方数据显示，目前全国各类返乡入乡创业人员超过1200万，他们亟需更快适应电商等新业态来提升收益，为此，拼多多开设了“多多课堂”，来为这些“新农人”“农创客”点亮技能。值得注意的是，与进口榴莲提前采摘、在运输过程中逐渐成熟不同，这种树上熟榴莲是在树上自然成熟，更新鲜、风味更佳，气味也不浓重，离着2-3米远也能闻到一股清香味。入驻之后，通过选育、改种新品种，引入水肥一体化设备、病虫害防控等生产技术，成功培育出了冰淇淋萝卜，深受消费者喜爱，当地人的种植积极性也被带动起来。类似这样的案例还有很多。
博客
抱抱脸进军具身智能机器人：5小时成交破百万，299美元起售
07-11 13
2024年5月，HuggingFace推出了LeRobot项目，旨在通过开源机器人模型、数据集和工具，帮助用户在仿真环境或低成本机器人平台上训练和部署机器人算法，从而降低机器人开发的门槛。无线版配有RaspberryPi5作为计算核心，支持Wi-Fi和电池供电，麦克风数量也从Lite版的2个提升到4个，并额外加入了加速度计，使其具备更完整的传感与交互能力。有线版需要连电脑来跑模型，无线版则自带计算模块可以独立运行。此外，随着产品的迭代，部分标准人形机器人已迈入万元档，低成本机器人未必能一直保持价格的优势，
博客
文档秒变演讲视频还带配音！开源Agent商业报告/学术论文接近人类水平
07-11 10
4、语音合成后，与幻灯片进行时间同步，最终生成一个结构良好、讲解清晰的视频演示。评估采用基于提示的方式进行。如图3所示，左侧给定多样的输入文档，如论文、网站、博客、幻灯片或PDF，PresentAgent能生成带讲解的演示视频，输出为同步的幻灯片和音频。为有效评估此类复杂多模态系统，团队整理了一个涵盖教育、金融、政策与科研等多个领域的30组人工制作的“文档-演示视频对”的测试集。该系统以文档（如网页）为输入，经过以下生成流程：（1）文档处理（2）结构化幻灯片生成（3）同步字幕创建（4）语音合成。
博客
小扎开价14亿让他换个地方打工，库克连挽留尝试都没有
07-11 254
其他高管如果加薪资、期权股票，再折合年数，还真没有这么高。结论就是，在Meta的各类岗位中，即便是薪资天花板最高的软件工程师一职，一年基本工资差不多48万美元（约合人民币344万元），最低也有12万美元（约合人民币86万元）。不过需要说明，这个2亿美元的薪酬包，不是年薪、不是基本工资，是一个包含年限在内的整体薪酬包，有基本工资、签约奖金、分年限解锁的股票期权。
博客
Llama惨遭抛弃！Meta内部改用Claude写代码
07-11 10
鉴于Meta在Llama产品上投入巨大，这次换掉自家的Llama，改用Claude Sonnet写代码相当于承认Llama的表现不佳。然而，一位即将离职的Meta员工在一篇内部文章中尖锐批评了公司的文化缺陷，他认为这是阻碍LLaMA等项目成功的因素。尽管Meta会加大投入，加强下一代Llama的性能，但在此之前，它不想阻碍工程师们的工作效率，于是做出了更换决定。等人创立的小型世界级实验室，他们的工作是受好奇心驱动，利用公开数据开展长期的开放研究，并不训练产品级规模的大模型。
博客
Manus跑路了吗？
07-10 772
3月18日，联合创始人兼首席科学家季逸超发推文透露，Manus这样的Agent环境下，每个用户的平均token消耗量是聊天机器人的1500倍，“这仅仅是个开始”。3月10日，Manus联合创始人兼首席科学家季逸超直接表示产品“基于阿里千问大模型及Claude等模型微调而成”，并强调这是自主整合框架，不惧“套壳”争议。一方面，Manus做的是通用AI Agent，验证了标准化工具集成的可行性，这种与MCP类似理念的生态在海外更成熟。事实上，Manus总部已在5月搬到了新加坡，国内员工何去何从？
博客
他一人撑起谷歌90%的AI宣传，劈柴真是挖到鬼才了
07-10 28
Logan Kilpatrick表示，“在OpenAI的经历，前六个月像是在初创公司的体验，后来基本上就成了一家超大规模的公司”，那段日子虽然混乱，但帮助他学会了如何构建一个生态系统，也让他初步成为了开发者们的“关键人物”。一位要求匿名的高级员工表示，“Logan似乎无处不在，而这正是他的超能力”，由于领导层认识到Logan Kilpatrick在开发者社区有效互动方面的能力，已经让他负责更多产品了，“Loga占据了谷歌90%的营销工作”。2022年，OpenAI正准备推出ChatGPT。
博客
马斯克Grok-4碾压所有大模型！“比所有领域博士都聪明”，AIME25拿满分
07-10 28
得益于在训练中原生融入工具，Grok-4找到刷分法门，Grok-4 Heavy达到44.4%，比Gemini-2.5-Pro直接提升将近18个百分点。首先，Grok-4的训练量是Grok-2的100倍、Grok-3的10倍，这其中在RL方面投入了大量计算资源。以及在马斯克忠爱的游戏领域，Grok-4现在可以设计和构建视频游戏了，包括资源获取、写代码等，只需4个小时就能完成一款第一人称射击游戏。一开场，马斯克先对Grok-4的亮点表现做了一些概括性介绍，比如比博士生还聪明，“这一点值得反复强调”。
博客
Chrome危！AI浏览器新品大爆发，OpenAI都来抢饭碗
07-10 32
虽然一开始推出的“AI摘要”功能引发了一些争议，但无论是Gemini的迭代速度，还是其对Chrome浏览器进行的智能升级，都反映了谷歌大力守住护城河的决心。事实上，OpenAI要单独做浏览器的消息从去年就有了，而且当时他们还挖来了两位谷歌前资深副总裁，这两人曾是开发谷歌Chrome浏览器的原始团队成员。并且最重要的是，拥有最终投票权的用户已经习惯了Chrome，只要其他对手没有拿出必须更换浏览器的绝对理由，Chrome在浏览器的地位就难以撼动。：由国内团队开发，但当前主要面向海外市场。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值