AI 潮汐日报,旨在提供最新潮、最核心、最有意思的AI速递。四大专栏:今日热点、应用速递、研究进展、思维碰撞。
今日热点
马斯克与OpenAI分歧始末曝光
近期,新披露的邮件揭示了马斯克与OpenAI分歧的早期细节。2016年,OpenAI寻求微软合作以获取计算资源,但马斯克对此表示反对。随后,OpenAI提出与微软的合作协议,马斯克要求避免成为微软营销工具。这些邮件是马斯克对OpenAI和微软诉讼的一部分,表面上是为证明微软与OpenAI的反竞争合作关系,实则揭露了OpenAI从非营利组织向微软闭源子公司的转变,以及马斯克与山姆·奥特曼之间权力斗争的瓦解。
OpenAI“网红化”与AI圈的冷思考
OpenAI近期推出的o1系列深度推理模型,号称能进行复杂推理,但其实际表现并不如预期,甚至不如GPT-4o,引发了行业对其技术跃迁的质疑。李开复透露,o1模型的发布可能是为了在GPT5训练不顺的情况下维持融资势头。与此同时,中国AI行业在追赶预训练大模型的同时,也在探索务实的发展路径,如腾讯、阿里等大厂持续投入AI技术,而中小创业公司则聚焦于AI应用创新。
Mistral AI发布Pixtral 12B多模态大模型
Mistral AI发布了其首款多模态大模型Pixtral 12B,该模型在文本和图像处理能力上表现出色。Pixtral 12B采用Transformer架构,具备多轮、多图像对话的能力,其视觉编码器PixtralViT能处理各种分辨率和纵横比的图像。在多模态基准测试中,Pixtral 12B的性能优于其他同等大小的开源模型,甚至在某些测试中超过了Meta的Llama-3.2 90B模型。此外,Mistral AI还贡献了一个名为MM-MT-Bench的开源基准测试,用于评估视觉语言模型在实际场景中的表现。Pixtral 12B的成功展示了Mistral AI在多模态AI领域的技术实力。
应用速递
AI智能体模拟真实人类行为达到85%相似度
斯坦福大学的研究团队通过深度访谈1052名参与者,将访谈内容输入语言模型,成功创建了1000多个AI智能体,这些智能体在模拟人类行为上达到了85%的相似度。研究使用了GPT-4o进行两小时的采访,覆盖了不同性别、年龄、地区等背景,并将访谈内容作为文字提示输入模型。这些智能体在社会调查、人格预测、经济博弈等方面的表现与人类相当,为AI处理复杂交互提供了新的可能性。该研究不仅展示了生成式AI代表真实人类的能力,还通过开源存储库和Python包,使研究结果可供公众使用。
阿里通义千问发布Qwen2.5-Turbo开源AI模型
阿里通义千问发布了Qwen2.5-Turbo开源AI模型,将上下文长度从12.8万扩展至100万tokens,相当于约100万英语单词或150万汉字。模型在Passkey检索任务中实现100%准确率,并在RULER长文本评估中得分93.1,超越GPT-4和GLM4-9B-1M。通过整合稀疏注意力机制,处理100万tokens的时间从4.9分钟缩短至68秒,速度提升4.3倍。Qwen2.5-Turbo的处理成本保持在每百万tokens 0.3元,能处理3.6倍于GPT-4o-mini的token数量,具有高效经济的长上下文处理能力。团队将继续优化模型性能和推理成本。
研究进展
苹果研究揭示大模型中的“超级权重”
圣母大学和苹果的研究团队发现,在大型语言模型中存在极少数“超权重”,这些权重对模型表现至关重要。去除这些“超权重”会导致模型性能大幅下降,而去除其他权重影响较小。研究还提出了一种新方法,通过检测层间降维投影输入和输出分布中的峰值来定位“超权重”。此外,研究团队改进了round-to-nearest quantization技术,提出了一种对算力友好的方法,能在保持模型效果的同时减少模型大小。
研究揭示大模型算术能力不足的根源
研究表明,大型语言模型(LLM)在数学运算上的表现不佳,主要是由于依赖启发式算法进行计算。研究通过分析多层感知机中的单个神经元,发现特定神经元的激活模式对算术推理结果有显著影响。尽管大模型在训练早期就形成了算术启发式机制,但其在处理算术问题时仍常常失败,原因在于缺乏足够的泛化能力,而非神经元数量不足。研究结果指出,提升大模型的数学能力需要根本性的训练和架构改进,而非简单的激活引导。
思维碰撞
谷歌回应AI芯片设计质疑
谷歌发文回应对其AI芯片设计研究的质疑,质疑者在复现AlphaChip方法时存在多个错误,包括未进行预训练、计算资源不足、未训练至收敛,以及在过时的基准上评估。谷歌强调,AlphaChip的开源代码和数据支持完整的预训练,而质疑者的研究在算力和训练方面存在缺陷。谷歌认为,这些错误导致了质疑者对AlphaChip性能的不准确评估,并重申了AlphaChip在先进工艺节点上的有效性。
Sam Altman展望OpenAI未来:迈向AI系统时代
OpenAI CEO Sam Altman在播客中表示,提升推理能力是OpenAI的核心战略,公司将专注于GPT系列模型的快速迭代和优化。他认为AI创业的新机会在于构建能随模型进步而受益的业务。Altman预测,明年OpenAI将进入AI系统时代,强调系统而非模型是未来的发展方向。他还提到,OpenAI计划开发无代码工具,以提升程序员效率并满足非技术人员需求。Altman认为,AI将创造数万亿美元价值,尤其在医疗和教育领域。他强调,保持对人才的高标准比偏向某个年龄段更重要,以应对AI领域的复杂性和挑战。