OpenAI Adjusts Strategy as ‘GPT’ AI Progress Slow

注:本文为两篇关于当前大模型方向讨论的文章。


OpenAI 大改下代大模型方向,scaling law 撞墙?AI 社区炸锅了

机器之心 2024 年 11 月 11 日 11:57 北京

机器之心报道

编辑:Panda、泽南

大模型的 scaling law 到头了?行业龙头 OpenAI 在转换策略。

有研究预计,如果 LLM 保持现在的发展势头,预计在 2028 年左右,已有的数据储量将被全部利用完。届时,基于大数据的大模型的发展将可能放缓甚至陷入停滞。

图片

  • 来自论文《Will we run out of data? Limits of LLM scaling based on human-generated data》*

但似乎我们不必等到 2028 年了。昨天,The Information 发布了一篇独家报道《随着 GPT 提升减速,OpenAI 改变策略》,其中给出了一些颇具争议的观点:

  • OpenAI 的下一代旗舰模型的质量提升幅度不及前两款旗舰模型之间的质量提升;

  • AI 产业界正将重心转向在初始训练后再对模型进行提升;

  • OpenAI 已成立一个基础团队来研究如何应对训练数据的匮乏。

文章发布后,热议不断。OpenAI 著名研究科学家 Noam Brown 直接表示了反对(虽然那篇文章中也引用了他的观点)。他表示 AI 的发展短期内并不会放缓。并且他前些天还在另一篇 X 推文中表示,对于 OpenAI CEO 山姆・奥特曼的 AGI 发展路径已经清晰的言论(「事情的发展速度将比人们现在预想的要快得多」),OpenAI 的大多数研究者都表示比较认同。

图片

著名 X 博主 @apples_jimmy 甚至直斥之为 Fake News,毕竟奥特曼说过 AGI 很快就要实现了。

OpenAI 的 Adam GPT 则给出了更详细的反对意见。他表示大模型的 scaling laws 和推理时间的优化是两个可以互相增益的维度。也就是说就算其中一个维度放缓,也不能得出 AI 整体发展放缓的结论。

图片

OpenAI 产品副总裁 Peter Welinder 也认同上述看法。

图片

当然,也有人认同 The Information 这篇文章的观点,比如一直有类似观点的 Gary Marcus 表示这篇文章宣告了自己的胜利。

图片

数据科学家 Yam Peleg 也表示某前沿实验室的 scaling laws 出现了巨大的(HUGE)受益递减问题。

图片

大多数吃瓜群众基本认同 OpenAI 相关人士公开发布的意见,毕竟该公司虽然存在无数的争议和八卦,但目前仍旧是当之无愧的行业领导者。也就是说,相比于媒体揣测,OpenAI 的话会更可信一些。

图片

不过有意思的是,The Information 这篇报道也宣称很多信息来自 OpenAI 内部员工和研究者。当然,该媒体没有给出具体的信息源。下面我们就来看看这篇引发广泛的争议的报道究竟说了什么。

使用 ChatGPT 和其他人工智能产品的人数正在飙升。不过,支撑这些产品的基本构建模块的改进速度似乎正在放缓。

为了弥补这种减速,OpenAI 正在开发新技术来增强这些构建模型,即大型语言模型。

据一位知情人士透露,尽管 OpenAI 只完成了 Orion 训练过程的 20%,但奥特曼表示,在智能和完成任务和回答问题的能力方面,它已经与 GPT-4 不相上下。

据一些使用或测试过 Orion 的 OpenAI 员工称,虽然 Orion 的性能最终会超过之前的型号,但相比于该公司发布的最新两款旗舰模型 GPT-3 和 GPT-4 之间的飞跃,质量的提升要小得多。

据这些员工称,该公司的一些研究者认为,在处理某些任务方面,Orion 并不比其前代模型更好。据 OpenAI 的一名员工称,Orion 在语言任务上表现更好,但在编程等任务上可能不会胜过之前的模型。其中一位员工表示,这可能是一个问题,因为与 OpenAI 之前发布的其他模型相比,Orion 在 OpenAI 数据中心运行的成本可能更高。

Orion 的情况可以检验人工智能领域的一个核心假设,即 scaling laws:只要有更多数据可供学习,并有更多的计算能力来促进训练过程,LLM 就能继续以相同的速度提升性能。

为了应对近期 GPT 提升放缓对基于训练的 scaling laws 带来的挑战,AI 行业似乎正在将精力转向训练后对模型进行改进,这可能会产生不同类型的 scaling laws。

包括 Meta 的马克・扎克伯格在内的一些 CEO 表示,在最坏的情况下,即使当前技术没有进步,仍有很大空间在现有技术的基础上构建消费者和企业产品。

例如,OpenAI 正忙于将更多的编程功能融入其模型中,以抵御来自竞争对手 Anthropic 的重大威胁。后者正在开发一种软件,其可以接管用户电脑,通过像人类一样执行点击、光标移动、文本输入来使用不同的应用程序,从而完成涉及网络浏览器活动或应用程序的白领工作。

这些产品是向处理多步骤任务的 AI 智能体迈进的一部分,可能与 ChatGPT 最初发布时一样具有革命性。

此外,扎克伯格、奥特曼和其他 AI 开发商的首席执行官也公开表示,他们尚未达到传统 scaling laws 的极限。因此,OpenAI 等公司仍在开发昂贵的、价值数十亿美元的数据中心,以尽可能多地提升预训练模型的性能。

然而,OpenAI 研究者 Noam Brown 上个月在 TEDAI 大会上表示,更先进的模型可能在经济上不可行。

「毕竟,我们真的要花费数千亿美元或数万亿美元训练模型吗?」 Brown 说。「在某个时候,scaling 范式会崩溃。」

OpenAI 尚未完成对 Orion 的安全性

内容概要:本文档详细介绍了基于布谷鸟搜索算法(CSO)优化长短期记忆网络(LSTM)进行时间序列预测的项目实例。项目旨在通过CSO自动优化LSTM的超参数,提升预测精度和模型稳定性,降低人工调参成本。文档涵盖了项目背景、目标与意义、挑战及解决方案、模型架构、代码实现、应用领域、注意事项、部署与应用、未来改进方向及总结。特别强调了CSO与LSTM结合的优势,如高效全局搜索、快速收敛、增强泛化能力等,并展示了项目在金融、气象、能源等多个领域的应用潜力。 适合人群:具备一定编程基础,特别是对MATLAB有一定了解的研发人员和技术爱好者。 使用场景及目标:①提高时间序列预测精度,减少误差;②降低人工调参的时间成本;③增强模型泛化能力,确保对未来数据的良好适应性;④拓展时间序列预测的应用范围,如金融市场预测、气象变化监测、工业设备故障预警等;⑤推动群体智能优化算法与深度学习的融合,探索复杂非线性系统的建模路径;⑥提升模型训练效率与稳定性,增强实际应用的可操作性。 阅读建议:此资源不仅包含详细的代码实现,还涉及模型设计、优化策略、结果评估等内容,因此建议读者在学习过程中结合理论知识与实践操作,逐步理解CSO与LSTM的工作原理及其在时间序列预测中的应用。此外,读者还可以通过多次实验验证模型的稳定性和可靠性,探索不同参数组合对预测效果的影响。
内容概要:本文详细介绍了ArkUI框架及其核心组件Button在鸿蒙应用开发中的重要性。ArkUI框架作为鸿蒙系统应用界面的核心开发工具,提供了简洁自然的UI信息语法、多维状态管理和实时界面预览功能,支持多种布局方式和强大的绘制能力,满足了现代应用开发对于简洁性、高效性和灵活性的要求。Button组件作为ArkUI框架的重要组成部分,通过绑定onClick事件,实现了从简单的数据操作到复杂的业务流程处理,从页面间的无缝导航到各类功能的高效触发。此外,文章还探讨了Button组件在未来智能化、交互体验多样化以及跨设备应用中的潜力和发展趋势。 适合人群:具备一定编程基础,尤其是对鸿蒙应用开发感兴趣的开发人员和设计师。 使用场景及目标:①理解ArkUI框架的基本特性和优势;②掌握Button组件的使用方法,包括基本绑定、复杂逻辑处理和事件传参;③熟悉Button组件在表单提交、页面导航和功能触发等场景下的具体应用;④展望Button组件在智能化、虚拟现实、增强现实和物联网等新兴技术中的未来发展。 阅读建议:由于本文内容涵盖了从基础概念到高级应用的广泛主题,建议读者先了解ArkUI框架的基本特性,再逐步深入学习Button组件的具体使用方法。同时,结合实际案例进行实践操作,有助于更好地理解和掌握相关知识。
资源下载链接为: https://pan.quark.cn/s/d3128e15f681 罗技MX Master 2S是一款高端无线鼠标,凭借其卓越的性能和舒适性,深受专业设计师、程序员以及需要长时间使用鼠标的人群的喜爱。它在macOS平台上表现出色,功能丰富。而“LogiMgr Installer 8.20.233.zip”是该鼠标在macOS系统上对应的软件安装程序,版本号为8.20.233,主要功能如下: 驱动安装:该安装包可确保MX Master 2S在macOS系统中被正确识别和配置,发挥出最佳硬件性能,同时保证良好的兼容性。它会安装必要的驱动程序,从而启用鼠标的高级功能。 自定义设置:借助此软件,用户能够根据自己的工作习惯,对MX Master 2S的各个按钮和滚轮功能进行自定义。比如设置特定快捷键、调整滚动速度和方向等,以满足个性化需求。 Flow功能:罗技Flow是一项创新技术,允许用户在多台设备间无缝切换。只需在软件中完成设备配置,鼠标就能在不同电脑之间进行复制、粘贴操作,从而大幅提升工作效率。 电池管理:软件具备电池状态监控功能,可帮助用户实时了解MX Master 2S的电量情况,并及时提醒用户充电,避免因电量不足而影响工作。 手势控制:MX Master 2S配备独特的侧边滚轮和拇指按钮,用户可通过软件定义这些手势,实现诸如浏览页面、切换应用等操作,进一步提升使用便捷性。 兼容性优化:罗技的软件会定期更新,以适应macOS系统的最新变化,确保软件与操作系统始终保持良好的兼容性,保障鼠标在不同系统版本下都能稳定运行。 设备配对:对于拥有多个罗技设备的用户,该软件能够方便地管理和配对这些设备,实现快速切换,满足多设备使用场景下的需求。 在安装“LogiMgr Installer 8.20.233.app”时,用户需确保macOS系统满足软件的最低要求,并
资源下载链接为: https://pan.quark.cn/s/6b3e936ec683 《历年软考真题解析与复习指南》是一本极具价值的备考资料。随着信息技术行业的迅猛发展,软考作为一项权威的行业资格认证,对于提升个人专业素养、拓展职业发展空间有着至关重要的作用。这本书汇集了2009年至2020年历年软考的真题及其答案,为考生提供了全面且详尽的复习资源。 软考涵盖多个级别和方向,比如程序员、软件设计师、系统架构师等职位,其考试内容广泛,涉及计算机网络、操作系统、数据库管理、软件工程、项目管理等诸多领域。通过深入研究历年真题,考生可以把握考试的命题方向、题型特征以及重点考查的知识点。 在2009年至2020年的软考真题中,有几类核心知识点。首先是基础理论知识,主要考查考生对计算机科学基础的掌握程度,包括数据结构、算法分析、计算机组成原理等。这些基础知识是解决实际问题的基石,考生必须熟练掌握。其次是编程语言与开发环境,不同级别的考试会涉及不同的编程语言,如C、Java、Python等,同时还会考查对开发环境的运用,比如IDE、版本控制工具等。数据库管理也是重点内容,包括数据库设计、SQL查询、事务处理、数据库安全性等,考生需要熟悉主流数据库系统,如MySQL、Oracle、SQL Server等的操作。计算机网络部分则涵盖网络协议、网络拓扑结构、网络安全等内容,尤其是TCP/IP协议栈和HTTP协议的应用。操作系统方面,考生要理解操作系统的原理,如进程管理、内存管理、文件系统等,以及Linux或Windows等操作系统的常用命令和管理方法。软件工程与项目管理涉及软件的生命周期管理,包括需求分析、设计、测试、维护等,还有PMBOK中的项目管理知识。此外,法律法规与职业道德也是考查内容,考生需了解与信息技术相关的法律法规,如知识产权法、网络安全法,以及行业内的职业道德规范。近年来,
资源下载链接为: https://pan.quark.cn/s/2f7c1c4db4a5 在本压缩包中,包含了一份完整的广东工业大学数据库实验报告,内容覆盖了实验1至实验7。这些实验旨在帮助学生深入理解数据库管理系统的基础概念、设计原则及实际操作技能。以下是根据实验内容提炼的关键知识点: SQL语言:SQL是用于管理关系数据库的标准语言。实验中的SQL文件涉及数据的查询、插入、更新和删除操作,以及创建和修改表结构、索引、视图等数据库对象的语句。 数据库设计:实验可能包括ER模型的创建,这是数据库设计的初步阶段,用于描述实体间的关系。此外,还可能涉及第三范式(3NF)和BCNF等规范化理论,以确保数据完整性和减少冗余。 关系数据库管理:实验可能涵盖在数据库管理系统(如MySQL、Oracle或SQL Server)中创建、修改和管理数据库,包括备份与恢复、性能优化和安全设置。 SQL查询:实验可能包含复杂查询的编写,如联接(JOIN)、子查询、聚合函数(COUNT、SUM、AVG等)以及排序和分组(GROUP BY和ORDER BY)。 事务处理:学生可能会学习SQL事务操作,了解事务的ACID属性(原子性、一致性、隔离性和持久性),以及并发控制和事务回滚。 视图与存储过程:创建和使用视图可简化复杂查询,而存储过程可封装SQL语句,提高效率并增强安全性。 数据库性能调优:实验可能涉及索引的创建与优化以提升查询速度,或分析查询执行计划以发现性能瓶颈。 数据库安全性:实验可能包括用户权限设置、角色管理和访问控制等内容。 数据库备份与恢复:学习创建数据库备份及在数据丢失或损坏时进行恢复,对保护数据完整性至关重要。 工程文件:这些文件可能包含数据库设计文档、实验报告和代码注释等,有助于理解和复现实验过程,同时培养学生良好的项目文档编写习惯。 通过这些实验,学生能够从理论到实践全面掌握
内容概要:本文档详细介绍了 `gee scripts.txt` 文件中的 `trainer.py` 模块,该模块主要实现了变分自编码器(VAE)模型在变化检测数据集上的训练循环和工具。`VAETrainer` 类负责协调训练、验证、检查点保存、日志记录以及难负样本挖掘等功能。它支持加权采样、TensorBoard 日志记录、早停机制、学习率调度以及基于重建误差的样本权重更新。文档还展示了如何初始化 `VAETrainer`,并提供了训练和验证单个 epoch 的方法,包括设备设置、数据加载、损失计算、优化器配置、调度器管理以及模型评估。此外,文档描述了如何通过重建误差更新样本权重,并在每个 epoch 后重建训练数据加载器。 适合人群:具有机器学习和深度学习基础的研究人员和工程师,特别是对 VAE 模型及其在变化检测任务中的应用感兴趣的读者。 使用场景及目标:① 在变化检测数据集上训练 VAE 模型,通过加权采样和难负样本挖掘提高模型性能;② 利用 TensorBoard 记录训练过程中的各项指标,便于监控和调优;③ 实现早停机制和学习率调度,防止过拟合并加速收敛;④ 通过样本权重更新机制动态调整训练样本的重要性,提升模型的泛化能力。 阅读建议:此资源不仅包含 VAE 模型的训练实现,还涵盖了详细的日志记录和可视化功能。建议读者在学习过程中结合代码注释和日志输出,深入理解每个步骤的作用,并尝试调整超参数以优化模型性能。同时,利用 TensorBoard 进行训练过程的可视化,有助于更好地理解和调试模型。
资源下载链接为: https://pan.quark.cn/s/27aaeeaf622d 《清华大学-大数据系统基础-课件》是一套专注于大数据核心概念与技术的优质教育资源,重点围绕 Hadoop、Spark 等主流大数据处理框架展开。该课程资源致力于帮助学习者深入理解大数据系统的架构与运行原理,掌握利用相关工具进行数据处理和分析的方法。 其中涉及的几个关键词分别代表大数据技术的不同层面:大数据是指海量且快速增长、复杂度高的数据集,传统数据处理工具难以应对,其特点为大量性、快速性、多样性和价值密度低;Hadoop 是 Apache 软件基金会开发的开源分布式计算框架,基于 Java 实现,主要用于大规模数据的处理和存储,由 Hadoop Distributed File System(HDFS)和 MapReduce 组件构成;Spark 是另一种流行的开源大数据处理框架,相比 Hadoop,它在内存计算和流处理方面更具优势,核心组件包括 Spark Core、Spark SQL、Spark Streaming、MLlib(机器学习库)和 GraphX(图计算);MapReduce 是 Google 提出的并行编程模型,用于大规模数据集的并行计算,在 Hadoop 中负责将大型数据集分解并分配给集群中的多个节点计算;NoSQL 是非关系型数据库,适用于大规模、高度分布式的数据处理,如 MongoDB、Cassandra 等。 从文件名称列表来看,课程内容涵盖的主题包括:introduction_37680374.pdf,可能是课程介绍部分,涉及大数据基本概念和课程大纲;4 storage_657407173.pdf,可能详细探讨大数据存储,包括 HDFS 等分布式存储系统的工作原理;3 systems2_683508904.pdf,可能涉及大数据系统的设计和优化,包含 Had
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值