【MIT】Introduction to DL

MIT课程首页
http://introtodeeplearning.com/2020/index.html

6. Limitations and New Frontiers

6.1 AI被过渡宣传

有人说：“A feedforward network with a single layer is sufficient to approximate, to an arbitrary precision, any continuous function.”，但是这其中有隐含的限制：

• 需要无穷大的结点数
• 模型未必泛化

6.2 泛化性

NN的泛化能力需要重新审视，Google做过实验，如果将训练集中部分样本的标签写错，训练集的准确率依然能接近100%，只是测试集的准确率随比例逐渐降低。

DL并不是万能的，如果训练集并不能表征样本的实际分布，DL不可能自学。

6.3 对抗攻击

adversarial attack
随便加一点噪声，NN完全不能work，全分错了。

其他缺陷：
难以编码结构
难以表示不确定性
过分依赖优化
专家级设计

6.4 新方向

CNN擅长利用空间结构；
社交类数据，可以用Graph Conv Nets；
不确定性，用bayesian贝叶斯 Deep Learning；
设计，用AutoML。

7.Neurosymbolic Hybrid AI

神经符号混合人工智能
IBM
https://zhuanlan.zhihu.com/p/101324429

8. Generalizable Autonomy in Robotics

NVIDIA

9. Neural Rendering

神经渲染
Lambda

10. ML for Scent

Google Brain