最近在厂里做项目,检测手机摄像头,
之前做的时候,厂长问,为啥每次做个项目买个机器,为啥做个深度学习项目,模型就要重新训练一次,我说目前情况是这样的,他说不是有这个了么?
OpenAI 和 英伟达 联合Figure01 人形机器人从合作到发布仅仅用时13天
我说是的,AI 革命是真的来了,只是很多人不知道。目前我们的水平还是得慢慢往前走。。。
此次的突破,由 OpenAI 与 Figure 共同做出。OpenAI 提供负责提供视觉推理和语言理解,而 Figure 的神经网络提供快速、低水平、灵巧的机器人动作。
机器人所做出的所有行为都是出于已经学习过,内化了的能力。
以后老板问:人家OpenAI 做个机器人才13天,你这项目咋要几个月这么久,怎么回答?
AI 的冬天不会再来了
之前走过的弯路
胡老师经常说:2023年AIGC大爆发不是太快了,而是太慢了,因为过去几年走了好多弯路。如果不走弯路,哪怕过去走弯路的专业人士现在幡然悔悟,发展会超出2023年的,要知道我们现在感到震惊的产品,很多都是2023年半年的成就。
以下是AI发展过程中的四个弯路
2023之前十年,AIGC史前时代面临的那些三岔口:
1️⃣模型 vs. 数据:靠训练数据规模拉升指标算不算赢?这个源于图像识别中出现过多次用测试集训练模型拉升成绩,学界的洁癖症就开始鄙视大量数据训练,特别追捧小数据,认为如果训练集包含测试题目就是作弊。结果大语言模型直接暴力出奇迹,把人类知识全部建模了,直接到7B、70B、8x7B。这绝对符合学界洁癖所谓的作弊,然而好用啊。
在AIGC的早期阶段,关于模型和数据之间的平衡是一个核心问题。一方面,学术界倾向于强调模型的简洁性和小数据集的效能,这在一定程度上是出于对过拟合和泛化能力的担忧。另一方面,随着大语言模型的崛起,如GPT系列,人们发现庞大的数据规模和模型复杂度可以带来显著的性能提升。这实际上是一个在实践中寻找最优平衡的过程,而这个过程在2023年之前显然还在进行中。
2️⃣BERT vs GPT:BERT(AE自编码)和GPT(AR自回归),哪个有未来?这个纯粹的技术路线问题,当时看不清。
3️⃣AI是爆发前期还是平缓期?这个是线性思维,认为AI还会出现过去几十年出现过的波动。
4️⃣AI的数据来源:要不要等物联网或者类似的其他数据源行业先起飞?这个属于方向问题,很多AI是为机器服务,结合当时物联网大爆发,自然思维。
AI大佬们的判断
CES 2024(国际消费电子展)上,著名的 AI 科学家吴恩达和李飞飞出席了「伟大的思想,大胆的愿景」两人一致认为,2024 将会是 AI 技术继续深化的一年,同时也会覆盖到更多行业,成为下一次数字革命或工业革命真正的变革性驱动力。
CES2024-李飞飞,吴恩达访谈:AI 冬天不会再来了-1
CES2024-李飞飞,吴恩达访谈:AI 冬天不会再来了-2
少看替代,多看机会
上面两位大佬说了,小心代替工作(job)和代替任务(task)的区别。每一个人类工作,实际上是涉及到多个任务的集合。目前的提升实质上是任务水平的提升,很少到达工作水平,那么对于某个职业来讲,说替代为时过早,说机会那可真是大把大把!
英伟达带来的启示:《打败对手不是目标——黄仁勋》
坦率地说,很多公司一开始就把我们当成对手。
而直到它们倒下,我可能都不知道还有这么一位对手,不是因为它们太小或者存在的时间太短,而是因为我们不是把对手当成自己的目标。
一个健康的市场,对手总会不停地涌现,甚至会多到让你看都看不过来,而一个健康的公司,不能总把目光放在对手身上。老盯着对手,就会失去自我。
我在创业之前就告诉自己,对手既不会给你提供研发的方向,更不会告诉你客户的新需求,而这两者才恰恰是一家企业生存的根本。尽管如此,创业之初我仍然犯过错误,这个错误并非是模仿对手,而是刻意地执行差异化战略,研发与对手完全不同的产品。事实上,这种错误跟一味模仿对手一样,都是不可饶恕的,都将受到惩罚。因为你把精力放在对手身上,而不是放在客户身上。
有了这个教训,我更加坚信,公司应该把研究客户的需求,解决客户的问题放在第一位,而不是去关注对手。如果你的精力只是放在如何从对手那里把客户抢过来,你还会错失更大的机会:开拓新客户。
几乎所有人都认为 NVIDIA 是一家芯片公司,我虽然不反对他们这么说,但并不赞成。表面上,我们确实是生产芯片的,但在我的眼里,我们从来都不是一家芯片公司,而是一家帮助客户解决复杂视觉计算问题的公司。
如果 NVIDIA 把自己限定为生产芯片的公司,我们就会自动地认为电影和我们没有关系,游戏和我们也没有关系,医院和我们也没有关系。事实上,这些都已经成为我们重要的业务,因为它们背后有一个同样的问题,即复杂的视觉计算问题,这些问题没有一个属于对手,全部属于客户。我想,对目标的这种认定,或许就是 NVIDIA 与对手最大的不同。
国产可信软硬件的机会
除了英伟达,如果从一个机器学习工程师的角度来看,国产可信软硬件有的是新机会,如果单从下面的两款显卡,个人应该负担的起。
想做大模型,实在买不起,买不到英伟达的卡了,用国产折腾呀!
摩尔线程
MTT S4000 48G
https://item.jd.com/10065360417210.html
适配 pytorch:https://github.com/MooreThreads/torch_musa/tree/main
华为昇腾
https://www.hiascend.com/hardware/accelerator-card?tag=300I-duo
适配pytorch:https://gitee.com/ascend/pytorch
开发者社区:https://www.hiascend.com/edu/experiment
参考文献与学习路径
- https://mp.weixin.qq.com/s/ufBmqR_wRrPYJPDhwEH71Q