谈谈AI的下一步发展

谈谈AI的下一步发展

这两天正好是NeuralPS2024，ILya在会上发布了演讲，总结了近些年来AI的发展，并且给出推论，我们所知道的AI大模型预训练的时代即将结束。

知乎上很多大佬对这次会议进行了总结，大家感兴趣的可以去看下面的回答。

(2 封私信 / 16 条消息) 如何看待 Ilya 在 NeurIPS 2024 中提出的「预训练即将结束，接下来是超级智能」的观点？ - 知乎

在大模型的时代，有一个定律：Scaling law。你训练的参数量越大、数据越大，通过下一个token的预测加自然分布的预料就能越逼近智能的极限。但是通过这种大力出奇迹的算法已经显现出了边际效应，前面的增长是很快的，大家通过清洗数据、合成数据得到高质量的大规模的数据来进行训练，所以从GPT2到GPT4基本以飞一样的速度进行迭代。但是因为我们只有一个互联网，所以导致数据是有瓶颈的，所以这也可能是GPT5迟迟没有发布的原因之一。关于AI未来的发展，llya给出了下面的三个点。

agent

首先是第一点，agent。我通过kimi得到的agent的定义如下。

AI智能体（Artificial Intelligence Agent）是指能够执行任务或提供服务的自主系统，它们可以模拟人类的认知功能，比如学习、推理、感知、规划等。AI智能体可以是软件形式，也可以是集成到机器人中的硬件和软件的组合。

举个简单的例子，比如自动驾驶的汽车就是一种agent，可以使用传感器和ai算法来感知周围的环境并且做出驾