一个API调用27个NLP预训练模型：BERT、GPT-2全囊括，像导入NumPy一样容易

原创 于 2019-07-17 13:17:42 发布 · 861 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

Pytorch-Transformers 1.0库提供了一个API，方便调用包括BERT、GPT-2在内的27个NLP预训练模型，实现与原始性能相当，简化了自然语言处理的研究和应用。库内含六种常用NLP模型的PyTorch实现、预训练权重和转换工具，支持快速上手和多种环境。作者是一位跨界科学家，目前在Huggingface Inc.领导科研团队。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

鱼羊 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

只需一个API，就能调用BERT、XLM等多种语言模型，逆天的GPT-2也一样轻松到碗里来，这样的模型库你是否期待？

现在，真的有人完成了这一惊人工作，推出了堪称最先进的自然语言处理预训练模型库。

六种架构，27个预训练模型，简单易用，鹅妹子嘤。

640?wx_fmt=jpeg

其名为Pytorch-Transformers 1.0。

登场数小时，获赞1000+，网友忍不住惊叹：这简直就是上帝的工作。

640?wx_fmt=png

Pytorch-Transformers 1.0

从模型分析到生产加速，对自然语言处理研究人员来说，简直是一库在手，天下我有。

目前这个库中包含PyTorch实现，预训练模型权重，数据集和六个模型的转换工具。

六种NLP模型

最低0.47元/天 解锁文章

200万优质内容无限畅学
QbitAl
关注
博客
小哥硬核手搓AI桌宠！接入GPT-4o，听得懂人话还能互动，方案可复现
07-16
具体来说，就是分别确定三个肌腱在2D平面上的主拉力方向，形成一个总和为零的三角形，然后控制向量投影到每个肌腱的主轴上，计算调整每个肌腱的长度，并与目标方向对齐。此外关于触手的移动控制，为了简化控制过程，触手的三个肌腱，也就是一个3D空间被缩小到两个维度，这样就能直接使用电脑触控板作为输入。，通过模仿章鱼的抓取策略，能自动适应目标物体的尺寸和形状，并抓取尺寸相差超过两个数量级、重量达自身体重260倍的物体。另外配备的摄像头，可以有效听取用户对话，实现人工交互，也能更好地传递“宠物”的陪伴感。
博客
马斯克造了个AI女友
07-16
以星野和猫箱为例，和年初相比，其单日新增下载已不足当时的50%，几乎倒退回一年前的水平。数据显示，带火AI情感陪伴的鼻祖，Character.ai，表面上坐拥令人羡艳的2.33亿月活，但是用户付费率并不高，ARPU（每用户平均收入）低至0.72美元。这就像是，未来会有个虚拟平台，其中的NPC具有真正的智慧并且完全不可预测，他们可以不断的进化。这么看来，即便是xAI，即便是马斯克治下的工程师团队，也是知道怎么向上管理的（手动狗头）～现在马斯克推出的这个新产品，已经有网友表示，很像Character.AI。
博客
Jason Wei也被小扎带走：思维链开创者、o1系列奠基人！这次真挖到OpenAI大动脉了
07-16
但更多的是对OpenAI的工作模式进行了反思，肯定了其工作模式中很少有繁文缛节的务实精神，但也从人员到技术细数了OpenAI内部的诸多不足。在此之前，面对Meta的挖人攻势，OpenAI CEO还在内部PUA，说真正TOP的都还在，只不过有些“名单靠后”的人，“唯利是图”。在去年o1的“网友见面会”中，坐第一排C位的就是Jason Wei，他的旁边是o1的另一名关键人物赵盛佳，现在也被小扎“收入囊中”。Meta超级智能实验室为顶尖AI人才提供超乎想象的强大支持——直接向小扎汇报，并且最强GPU无上限随！
博客
OpenAI谷歌Anthropic罕见联手发研究！Ilya/Hinton/Bengio带头支持，共推CoT监测方案
07-16
此次文章的合著者之一Bowen Baker分享了他们OpenAI 3月份的一篇研究，展示了如何通过 CoT 监测捕获代码中的奖励攻击。CoT监测为前沿人工智能的安全措施提供了宝贵的补充，同时也了解到AI Agent如何做出决策的。然而，我们无法保证当前的可视程度会持续下去。另外，他们建议不要直接对前沿推理模型的CoT施加强大的优化压力，而应该对CoT进行不受限制的监测，不然该作弊的还是会作弊。在受控实验中，他们模型提供了关于正确答案的微妙提示，并测量了模型在推理过程中承认使用这些提示的频率。
博客
老黄投了个120亿美元最贵种子轮！但小钱：H20中国开卖，市值一夜暴涨1600亿美元
07-16
有一说一，产品方面，Thinking Machines Lab还是画大饼的状态，“接下来几个月我们将发布首款产品”。更恐怖的是这可能才只是开始，因为一些机构还在看多，看更多。Thinking Machines Lab的创立愿景，是“致力于构建一个让每个人都能获得知识和工具，让AI满足他们独特需求和目标的未来”。各种采访者都替他热了，但老黄的解释是“因为西装没来得及干洗，我只有一套西装，还有点被穿坏了。其中最瞩目的自然是英伟达，毕竟作为AI时代最大的受益者，再大的种子轮在4万亿美元市值的池子里，毛毛雨而已。
博客
完全透明开源的共情语音大模型，三阶段训练，四大模块实现端到端对话 | 紫东太初联合长城汽车开源OpenS2S
07-16
更重要的是，该技术实现了对语音情感表达的精准控制，能够以极低的人力成本，构建出内容丰富、高质量的训练数据集，为共情语音系统的发展注入强大动力。最为重要的是，团队开源了构建OpenS2S所需的所有资源，包括：训练与微调数据集、数据构建代码、模型权重以及预训练和微调代码，致力于赋能更广泛的研究社区，推动共情语音系统领域的创新与发展。在GitHub页面上还展示了若干语音到语音的共情对话样例。端到端语音到语音共情交互相对难以评测，按照两阶段的方式，先进行语音到文本的评测，再展示语音到语音的共情交互样例。
博客
首篇潜空间推理综述！模型思考不必依赖Token，带宽暴增2700+倍
07-16 1
混合AR-扩散（Hybrid AR-Diffusion）模型：结合扩散和自回归范式的优势，使用自回归前缀缓存机制，将已生成的稳定文本部分固定，只对不确定部分使用扩散优化。更多研究表明，这种信息流动并非单向的线性传递，还包含跨层信息流，甚至“反向注意力”机制表明，隐藏信息可以有效地从较高层传输到较低层，增强模型的推理能力。每次迭代都能访问完整的双向上下文，优化步数可在推理时调整。深层则负责输出优化和决策制定，接收来自中间层的表示信息，执行针对特定下游任务的语义转换，进行更复杂的逻辑整合并确定最终答案。
博客
7个月翻一番！AI agent能力飙升，METR报告揭示指数级进化规律
07-16
为了证明上面的问题，报告选取了9个benchmark，包括软件开发（METR‑HRS、SWE‑bench）、计算机使用（OSWorld、WebArena）、数学竞赛（Mock AIME、MATH）、编程竞赛（LiveCode-Bench)、科学问答（GPQADiamond）、视频理解（Video‑MME）、自动驾驶（Tesla FSD）和机器人仿真（RLBench）。在此前的测试中，METR将评估范围聚焦于软件开发和研究类任务，并发现AI agent的能力呈现出一种“摩尔定律”式的增长趋势——
博客
看遍奥斯卡后，VLM达到电影摄影理解新SOTA｜上海AI Lab开源
07-16
此外，尽管ShotVL只有3B参数，但它超越了GPT-4o和最强的开源模型Qwen2.5-VL-72B-Instruct，刷新SOTA，在电影语言理解方面设立了新的技术标准，同时提供了显著更低的部署和使用成本。在所有ShotBench维度上均实现了持续且显著的提升（增益达19.0%），确立了新的顶尖性能，并明确超越了最佳开源模型（Qwen2.5-VL-72B-Instruct）和专有模型（GPT-4o）。在所有配置中，SFT→GRPO的设置实现了最佳整体性能，证实了其在增强电影语言理解方面的有效性。
博客
只因一个“:”，大模型全军覆没
07-15 12
首先从原始的16万条训练数据中随机采样2万条，用GPT-4o-mini生成带推理开头语句的响应，但仅保留无实质内容的第一句话，并标记为“错误”。之前在上海科技大学就读本科，先学习了1.5年化学，后才转为计算机科学，主要研究以强化学习为中心，致力于推进RL在LLM后训练中的应用。作者本人也现身评论区，他认为，生成式奖励模型容易受到虚假奖励攻击，如何更好地避免类似情况发生，将是未来的研究方向。因此有网友表示，该发现揭示了模型稳健的重要性，而RLHF也需要严格对抗评估，构建更为可靠的LLM工作流程。
博客
一篇被证明“理论有误”的论文，拿下了ICML2025时间检验奖
07-15 11
（Internal Covariate Shift），指深度神经网络在训练中，每一层的参数都在不断更新，导致后续层的输入数据分布一直在变化，迫使网络需要持续适应新的数据分布，从而带来上面的一系列问题。比如它天然具有的正则化效果，由于每个小批次的均值和方差都存在细微差异，这为网络的激活值引入了噪声，其效果类似于Dropout，有助于提升模型的泛化能力，在某些情况下甚至可以替代Dropout。的开创性工作，是深度学习发展史上一个里程碑式的突破，极大地推动了深层神经网络的训练和应用。
博客
卡帕西预言成真！华人团队开源全AI操作系统：神经网络模拟Windows，预测下一帧屏幕图像
07-15 17
但也存在一定比例的偏移预测，说明个别状态存在混淆。为每个用户量身打造的流动（fluid）、魔幻（magical）、可交互（ephemeral）的2D画布，就像你专属的操作系统，实时重绘、实时响应。这里让AI Agent来模拟人类的正常行为，比如打开浏览器、输入文字、关闭窗口等，让AI学习“符合常理的操作逻辑”。虽然现在看起来很粗糙，但它展示了一个新可能——未来的“操作系统”不一定是死板的按钮，而是可以被AI动态“生成”的。，尤其是快速打字时，它可能跟不上每个按键的实时显示，或者出现字母顺序错乱的情况。
博客
开放世界任务成功率82%！美的攻克机器人泛化控制难题
07-15 13
为了让机器人动作能精准跟随复杂、甚至前所未见的域外推理指令，ChatVLA-2在模型的深层用推理令牌替换了原有的观测嵌入，生成调控动作生成的缩放与偏移参数，深度注入到模型决策过程中。从保留视觉-语言模型的认知能力，到实现推理结果向动作的转化，ChatVLA-2提供了一种探索通用机器人控制的新思路，并为后续在复杂场景与多模态交互中的研究提供了参考方向。：在数学匹配游戏中，研究团队采用了三类指标来评估模型在域内和开放世界下的操控、推理与理解能力，包括任务成功率、手写数字与符号识别得分、以及数学推理得分。
博客
Switch的救世主是老黄！？
07-15 11
此外，随着Switch2上NVN2的曝光，它增加的英伟达的深度学习超级采样（DLSS）和光线追踪（RT Core）能让游戏画面更加精致顺畅。不过，和OpenGL或Vulkan这种通用图形API不同，NVN去除了不必要的通用功能，因此极大减少了调用图形指令时的性能开销。在2022年，更是有泄露的信息表明，新一代Switch的NVN（也就是如今Swtich2上的NVN2）正在开发中。为挽颓势，岩田聪将目光投向开发新的移动游戏硬件，Switch的雏形由此而生——一款结合主机和掌机的新产品。
博客
小扎自曝挖人秘诀：小团队我亲自带，豪掷数百亿建GW集群，大家不图天价薪酬只为“造神”
07-15 375
虽然有消息称Llama4折戟之后，Meta高管们就曾讨论过是否需要减少对开源Llama模型的投入，但最终Meta的发言人还是公开表示，Meta将完全致力于开发Llama。去年，Meta在发布Quest 3S以后暂停了对Quest系列的开发，似乎是放弃了笨重的头部设计，中心转向轻量化智能眼镜Orion。他意气风发，虽败犹战，决心要带最好的团队、用最强的资源打个漂亮的翻身仗，重夺大模型时代属于Meta的地位和辉煌。实际上，Meta并不是从创立起就一直坚持开源，只不过近年来确实在Llama的开源路线上成果显著。
博客
刘璐也被Meta挖走了！华南理工校友，创造了4o吉卜力爆款
07-15 11
另外，刘璐在读书期间还一直和国际上的行业专家开展合作研究，例如新南威尔士大学的Fethi Rabhi教授和Lina Yao教授，以及加拿大麦吉尔大学的William Hamilton教授、Google Brain的Hugo Larochelle和美国华盛顿大学的Tianyi Zhou。更早之前，刘璐在谷歌工作，还曾参与过。：曾在谷歌大脑任职，提出过CoT、指令微调，还发表了有关大模型涌现能力的论文，目前仍然在OpenAI任研究员，也是o1系列模型的功臣之一。
博客
Windsurf打工人被谷歌做局24小时后获收购！华人AI编程明星出手，接收250名员工
07-15 12
这种操作不仅让Windsurf瞬间从明星独角兽变成了“空壳公司”，剩余员工手里的股权期权面临归零风险，更是破坏了行业生态，让大伙对创业公司的期权激励模式都产生了深深的质疑。这次收购的内容相当全面：Windsurf的全部知识产权、产品线（包括AI编程工具）、品牌，以及所有未被谷歌挖走的员工。从更大的格局看，Windsurf的命运给所有AI创业公司敲响了警钟：在巨头环伺的环境下，要么站队，要么被吃掉。而且谷歌这次玩的不是常规收购，而是最近流行的硅谷式“人才收购”，花24亿美元直接把Windsurf的。
博客
B站下场自研AI配音！纯正美音版甄嬛传流出，再不用看小红书学英语了（Doge）
07-14 23
在第一阶段，团队使用基于 Conformer 的情绪感知器条件器（emo perceiverconditioner），它用于从风格提示中提取情绪嵌入，专门对情绪数据进行训练。在推理过程中，风格提示可被情感参考音频所替代，该音频可能来自不同的说话者。不同的音频提示可以分别作为音色和情绪表达的参考，也可以用描述性的文本也能用来情绪参考，同时保持音色不变。它最大的亮点，就在于在实现时长控制的同时，还能再现符合Prompt的情感特征。指定替换文本：你在我们屋里走路的时候，发现了一条遥远的路，这是不够奇怪的。
博客
腾讯混元A13B用130亿参数达到千亿级效果，Flash Attention作者点赞
07-14 27
这种整合有效解决了真实数据获取成本高和工具种类有限的问题，生成了多样化的环境反馈，极大地 丰富了模型的学习场景。双模式优势：模型不仅在RULER等长文本评测中表现出优异的稳定性，其“快慢思考”双模式，融合模型一次部署支持两种模式，允许用户推理时按需在效率与深度间自由切换，灵活利用计算资源，极大提升了实用性。同时，团队还设计了超过30种智能体系统指令，将工具、动作和响应的 格式变化相结合，创建了20000种格式组合，将训练数据多样性进一步扩展以提高模型的泛化能力。能在单H200 GPU上以FP8精度运行。
博客
不用抗生素也能抗菌！AI设计新型蛋白质抵御细菌耐药性｜Nature子刊
07-14 18
的生成式蛋白质模型（如ProtGPT2、ProGen）也相继问世，让AI不仅能预测蛋白质结构，还具备了设计新蛋白质的能力，进入了“AI造蛋白”时代。率先在蛋白质结构预测领域实现里程碑式突破，尤其是2020年发布的AlphaFold2，精度接近实验水平，解决了持续数十年的“蛋白质折叠”难题。研究人员借助AI工具，成功设计出能与ChuA结合的蛋白质，这些蛋白质就像“门卫”一样，阻止ChuA与血红蛋白接触，从而抑制细菌生长。的高效模式，颠覆了传统蛋白质药物研发的试错模式，为抗菌药物的快速迭代提供了可能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值