AI周报-资讯&比赛-资料&框架-经典学习（一）

2021-4-9~4-12

资讯&比赛

语言与心智：普遍语法是否存在

人类拥有动物不具备的“心智”技术，可以把语言额的各个部分组合起来，并从中构筑更宏大意义的能力。

普遍语法，一个有意思的概念。

一个非常有意思的观点： 语言是无限的，但他的无限是建立在有限之上的–这个事情就像是，偶数，是无限的，但他却又是有限的，因为它不包含3的倍数和7的倍数。–我们可以根据语法结构，造成无限个句子，但并非所有事物都可以被语句结构表示

我在：神经实现公众号看到，个人觉得这篇文章，内容很好，值得一看。

AI可解释性的几个方向

贝叶斯网络之父：Judea Pearl 推荐：他的推荐原因是，这篇文章讨论了，为什么无法通过“数据为中心”来实现 可解释性。

美国IBM研究院和伦斯勒理工学院提出：AI可解释性的几个方向-Direction for Explainable Knowledge-Enabled Systems

解释性和可解释的知识驱动系统：
九种解释类型： 基于案例-语境-对比性-反事实-常识-科学-基于模拟-统计学的-可溯源的

研究方法：

• 因果方法：因果关系和因果推理-贝叶斯方程：关联性-干涉性-反事实性
• 神经符号AI方法：神经符号本集成本身不会帮助解释，但会帮助打造一个知识驱动系统
• 可解释空间的语义表示
• 支持知识驱动AI的分布式账本技术：最佳性能-可解释性

（这部分本人不太理解！）

CCL20215项技术评测任务

跨领域句法分析：封闭领域规范的做的比较好了，跨领域不规范（网络文本）性能不好。
中文空间语义理解：考察机器对语言中空间信息的认知能力
智能医疗对话诊疗：赛道一：医患对话的理解-实体识别-试图识别-症状识别-医疗报告生成-赛道二：自动医疗诊断。
图文多模态幽默识别：Meme（幽默图文组合）-幽默程度对比-幽默等级划分
中译语通-Nihao无监督中文分词：无监督汉语分词

涵盖：词法-句法-语义-语用

AI 2000技术发展趋势

国家研究热度趋势：
中美德英加日法澳韩
完整榜单在AMiner官方平台

ACL 引入 ARR审稿

Rolling review

• 每个月都有截稿日
• 审稿意见一个月内返回
• 根据意见修改后可重新投稿
• 一键投稿
• 可选择性发布匿名预印本

每月都可投 入 池中

资料&框架

智源社区 《强化学习周刊》

智源社区强化学习组在不断的整理，强化学习的论文，动态、热点、教程、新工具等等。

经典学习&思考讨论

关于 Normalization

WHY？

1. 独立同分布与白化。
   去除特征之间的相关性–》独立（PCA）
   特征具有相同的均值和方差–》同分布
2. ICS internal covariate shift-内部协变量偏移
   深度神经网络多层叠加，每一层的参数更新会导致上层的输入数据分布发生变化，层次叠加之后，高层的输入分布变化会非常剧烈。
   （ICS的一个好的解释：统计机器学习中的一个经典假设-源空间和目标空间的数据分布是一致的，如果不一致，就会出现了新的问题，如：迁移学习/域适应。内部协方差偏移就是 分布不一致的一个问题，他是指：源空间和目标空间的条件概率是一致的，但是其边缘概率是不同。即 ：$P_s(Y|X=x)=P_t(Y|X=x)$，但$P_s(X)\ne P_t(X)$， 对于神经网络的各层输出，由于经过各层操作，其分布显然与输入分布不同，他们的差异会随着网络的深度加深，但他们所能表示的label是不变的。)
3. 导致的问题：上层参数需要不断的适应新的输入数据分布，降低学习速度-下层输入的变化可能趋向于变大或者变小，导致上层落入饱和，使得学习过早停止。-每层的跟新会影响到其他层，要尽可能的保持严谨。