2021 智源大会

为什么写？

最近开始慢慢更新了~

• 6.12更新：鄂维南院士第一天的：机器学习中的数学原理

---

最近毕设事情比较多，一些思考和记录慢慢、放上了

1. 自己对大会内容的一个笔记，顺便帮助自己下一步选题扩宽角度
2. 作为一个组会报告将大会内容转述。（这就要求自己对于讲者所提到的东西不能只是一个感觉，而是有基本的准确理解，且能复述，且在论文内容可以进行进一步的探讨）

大会内容

放张图上来开个头
从会议中，可以看到优秀的最新的工作，也可以看到优秀的人。后续可进行检索并学习。

详尽的大会日程安排

大致为（加粗为个人感兴趣的内容）：

5-31：Tutorial-讲习班-分为四部分

1. 脉冲视觉
2. 情感认知
3. 前沿机器学习
4. 大规模预训练技术

6-1(D1)：

上午：全体大会
下午：五个论坛

1. 人工智能数理基础
2. 预训练模型论坛
3. 智能体系架构与芯片论坛
4. AI科技女性论坛
5. AI人才培养论坛

6-2(D2)：

上午：一个全体大会、一个青源学术年会（全天）和六个论坛

1. 科学智能论坛
2. 智能信息检索与挖掘论坛
3. 机器学习论坛
4. 决策智能科学场景暨滴滴决策智能仿真开放平台发布会
5. 产业画像和精准治理中的AI创新应用论坛
6. 人工智能伦理、治理与可持续发展论坛（全天）

下午：三个论坛

1. 人工智能的认知神经基础论坛
2. 精准智能论坛

晚上：全体大会

6-3(D3)：

上午：8个论坛

1. AI创业论坛
2. 人工智能与社会经济论坛
3. 自然语言处理论坛
4. AI赋能生命健康与生物医药论坛（线上）
5. 强化学习与决策智能论坛（线上）
6. 工业智能论坛
7. AI交通论坛
8. 国际AI研究机构论坛

下午：

1. 视觉大模型论坛
2. AI 制药论坛
3. AI系统论坛
4. AI开放与共享论坛
5. AI安全与产业治理论坛

晚上：
全体大会 晚间闭幕式（线上）

6-1(D1)：

上午：全体大会

–09:30-10:20 - Towards Robust Generalization in Machine Learning with System 2 Deep Learning

Yoshua Bengio | 2018年图灵奖得主，加拿大蒙特利尔大学教授

–主要还是system1 和 2 -部分ppt内容和nips19年所做报告相似。

–11:10-12:00 - 机器学习的数学原理

鄂维南 | 中国科学院院士，北京大学教授

鄂维南院士，是一个致力于将机器学习运用到传统工科，或者说，致力于将传统数学物理方法和现在ML结合的学者。

1. 科学研究的基本方法1：开普勒范式：从数据中直接总结出规律并且解决实习问题（行星运动的第三定律）——最成功的案例：生物信息学（人类基因工程）——最成功的工具：统计方法、机器学习、计算方法
2. 科学研究的基本放法2：牛顿范式：寻求基本原理并用以解决实际中的问题。（牛顿定律）——行星运动变成一个数学（微分方程）的问题——最成功的例子：物理学、牛顿力学等——最成功的工具：微分方程
3. 总结：开普勒定律：高效但知其然不知其所以然。牛顿模式：深刻，但难以用来解决实际问题。
4. 对于量子力学：量子力学的建立宣告寻找基本原理的任务完成，剩下的问题主要是量子理学所带来的数学问题。-薛定谔方程
5. 其他基本原理：空气动力学（Euler方程）-流体理学（Navier-Stokes方程）-弹性力学（Lame方程）-电磁场问题（Maxwell方程）
6. 第一个时代：（50年代到现在）电子计算机+数值方法——差分方法，有限元方法，谱方法等等——第一次大规模实现直接用基本原理解决实际问题——基本出发点：（分片）多项式可以有效的逼近一般函数。——这些方法带来的影响是巨大的，在工程科学，计算方法是主要工具（之一）
7. 新的瓶颈材料的性质与设计，分子、药物的性质及设计、燃烧问题（内燃机的模拟、设计与控制）
8. 瓶颈的根源：维数灾难共同问题是依赖的变量太多——造成维数灾难——在高维情况下，多项式不是一个有效的工具。——这里我们或许可以从ML中获得帮助。
9. 例子：图像识别：维数是=32×32×3（逼近高维函数），人脸识别（高维未知概率密度取样），机器下围棋（解高维的Bellman方程），本质上都是在解决一个高维数学问题。
10. 结论：本质是 深度学习对高维函数提供了有效的逼近方法——深度神经网络时多项式的有效替代品——函数是最基本的数学工具（之一）
11. **用该方法解决问题的例子：**高维控制问题——分子动力学——空气动力学
12. 用机器学习帮助构造物理模型可扩展性——从物理原理出发——遵循物理规律
13. 最后结论：传统的科研领域应该成为人工智能的主战场——人工智能算法和模型的基础研究
14. 自然语言中的数学模型：语义是 翻译 的不变量-这个我将对鄂院士的一篇文章进行解读。

下午：五个论坛

1. 人工智能数理基础
2. 预训练模型论坛
3. 智能体系架构与芯片论坛
4. AI科技女性论坛
5. AI人才培养论坛

人工智能数理基础

15:40-16:20 - 随机梯度下降法的线性稳定性导致的Sobolev正则化效应

马超 | 斯坦福大学助理教授

这个工作值得自己仔细学习，其他几篇自己可以去了解。

16:30-17:30 - 圆桌论坛：人工智能的大统一理论？

小领域的部分统一吧。
林伟老师给的四个方向可以借鉴。

预训练模型论坛

13:30-14:00 - 主旨演讲

唐杰 | 清华大学教授，智源研究院副院长

万亿模型，大致介绍全局

这种局面下，nlper应该做什么研究

14:00-14:30 - 像孩子一样学习：第二代文澜多模态预训练模型

文继荣 | 中国人民大学教授，智源首席科学家

详细分析模型的来龙去脉，在组会讲

14:30-15:00 - CPM-2：面向预训练模型的全流程高效计算框架

刘知远 | 清华大学副教授，智源青年科学家

非常扎实的工作，非常多的细节，值得好好学习

6-2(D2)：

上午：2会+6论坛

全体大会
青源学术年会（全天）

1. 科学智能论坛
2. 智能信息检索与挖掘论坛
3. 机器学习论坛
4. 决策智能科学场景暨滴滴决策智能仿真开放平台发布会
5. 产业画像和精准治理中的AI创新应用论坛
6. 人工智能伦理、治理与可持续发展论坛（全天）

青源学术年会（全天）

这是今天全场最佳，
上午的自监督，讲的很好，亚研院的那位cv ssl的老师讲的很好很好，最后的panel也很有趣。
自己也有一些启发

下午的GNN，因为自己不是很了解，没有听的很好。

后续的写作和审稿，讲的很好
以及最后的panel也有很多收获。
老师们分享了自己的经历，比较好玩。

下午场的panel

刘知远老师分享，其实作为一个学生时期，最重要的是可以，去行动去调查，刘老师也说，尽管是，做nlp的，他仍然会去看所有的nips，ir，ml会议的所有文章，至少保证别人说到一个东西，自己是知道的，我觉得这就是自己的基本要求吧。
做应用，或许不要求自己，把ML的东西可以自己去证bound，但至少要知道这个theory。

智能信息检索与挖掘论坛

没仔细听，听起来更像是一个自己论文和工作的介绍，因为没有提前详细了解，所以，听着不是很有趣

机器学习论坛

没来得及听，沾小伙伴的光和周老师合照了

10:50-11:35 - 开放环境机器学习

周志华 | 南京大学教授

下午：三个论坛

1. 人工智能的认知神经基础论坛
2. 精准智能论坛

人工智能的认知神经基础论坛

全程线上没听，去听了青年会的报告

6-3(D3)：

上午：8个论坛

1. AI创业论坛
2. 人工智能与社会经济论坛
3. 自然语言处理论坛
4. AI赋能生命健康与生物医药论坛（线上）
5. 强化学习与决策智能论坛（线上）
6. 工业智能论坛
7. AI交通论坛
8. 国际AI研究机构论坛

自然语言处理论坛

下午：

1. 视觉大模型论坛
2. AI 制药论坛
3. AI系统论坛
4. AI开放与共享论坛
5. AI安全与产业治理论坛

视觉大模型论坛

这一部分的panel也是讨论了许多十分有趣的问题。

晚上：
全体大会 晚间闭幕式（线上）

panel

其中一个q&a：博士如何规划：多问问什么？问为什么，做这个问题，这个问题为什么这样，应该怎么解决，为什么这么解决？ Just Ask Why!!!

疑问和思考

回看去年的智源大会，来对比今年的智源大会引发一些思考。

技术思考

1. sgd-可以搜索参数存在隐式L^正则或者极小点附近平稳的有效假设空间；但同时sgd在尝试寻找最优解时，他最后找到的其实是一个局部最优路径的参数，然后，当你换一部分数据之后，这个路径可能会换成一个新的路径，所以，在数据和模型具有一定规模的情况下，模型会遗忘，他会按照最新的路径去perform（苦笑-ML的研究，这种很basic的研究都不是很清楚，其实对自己来说，做应用确实感觉有点随机性太强的感觉，还是提升一定的硬实力–快速准确coding和数学能力！-这些东西绝不是 眼下的paper可以代替的，这是长期的）
   
   nas和神经元重要性的评价

其他思考

1. 他们做大模型了，我们从中学习到什么。除了用他的模型，还可以从他的结果中，得到一些大模型大数据的规律，我们从他们的实验中有什么感受
2. 他们做了大模型，做了很多细节的改进，反馈到我们这，我们不能在做那些细节改进，我们应该做什么？我的希望是：平台搭好以后，我们可以更多的做基于机器学习，基于数学的角度去探究一些东西，而不是做太多无用的实验，对于多模态和自然语言处理来说（自己一直以来的一个疑问：如何站在机器学习的角度去做nlp，或许大模型能给我们这个启发）
3. 在听大会的时候，听到一些有趣的idea，自己总是有很多灵感迸发，比如这次，对“不变量”和“多模态”的一些想法，但是，需要注意的是，这些灵感，都是太抽象的，具体下来用什么方法，还需要足够充分有耐心有逻辑的思考。并且，真的做出来，想出来，这种时候，就需要自己扎实的编程技术和数学能力了。

总结

技术

学术成长和科研建议