顾险峰老师2023年计算共形几何暑期课程学习笔记3
流形学习理论(流形结构学习)
拓扑空间中的闭集A、B,一定存在一个函数使得在A上为0,B上为1.
m维流形嵌入n维空间,如果n足够大,那流形嵌入的方式会变得足够简单。
神经网络:
一个多变量连续函数可以用两个单变量连续函数的组合逼近。(有限元逼近)
这种分片结构的可视化:输入空间取一个点,会激活一些神经元,得到的激活路径称为激活路径。
两个输入点激活路径相同称两点等价。
将输入空间进行胞腔分解,,每个胞腔内是等价的点。得到输入空间和输出空间的胞腔分解。
胞腔之间的映射是线性的,不同胞腔是分片线性的(左-右 编码-解码)
定义网络的学习能力:给定一个网络,他能将输入空间分解成胞腔数的上限
学习难度:
一个复杂流形无法直接得到一对一的映射,会有重叠。故需对流形切片分段一对一映射,切片数的下界代表学习难度。
如果一个网络要能学会一个流形,必须学习能力大于难度。
如何检测网络学习能力:
构造曲线达到学习能力上界