1*1卷积；tensorflow小提示

最新推荐文章于 2023-02-23 20:47:19 发布

原创最新推荐文章于 2023-02-23 20:47:19 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#1*1卷积

本文探讨了单隐层感知器逼近定理，指出在闭区间上，足够多的隐含神经元能以任意精度逼近多变量连续函数。讨论了反向传播误差信号在神经网络深层的指数级变化，介绍了空间金字塔池化网络如何解决输入大小固定的问题。分享了TensorFlow使用心得，包括tensor赋值技巧、数据类型转换和环境一致性的重要性。解析了1乘1卷积的两种应用场景，一种用于CNN网络中替代全连接层，另一种作为内核调整矩阵维度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

单隐层感知器逼近定理：只要单隐层感知器包含的隐含神经元足够多，就能够在闭区间上以任意精度逼近一个多变量连续函数。累积反向传播误差信号在神经网络的层数增加时会出现指数衰减或增长的现象，从而导致数值计算快速收缩或越界。
空间金字塔池化网络可以克服其输入大小固定的却底单，办法是在最后一个卷积层和第一个全连接层之间插入一个空间金字塔池化层。

tensorflow使用心得：tensor不能被直接赋值，有些时候需要用到tensorflow的一些函数加以辅助，如tf.stack，但应注意数据

List item

类型的预先调整，在不同数据类型的前提下无法使用，可利用tf.cast调整数据类型，但输出的结果必定增加维数根据需求或可用tf.squeeze消除维数影响。此外，在使用anaconda时即使时同一环境输出结果也可能不同，主要是注意jupyter qtconsole的结果变化，最好在同一环境+编辑器下进行功能测试。

1乘1卷积：
关于1乘1卷积，笔者见过的存在两种完全不同的操作：
1.CNN网络中1乘1卷积：
假定卷积网络的结果输入至全连接层，卷积层输出的尺寸为[N,N,C]，转化NNC连接至fc，输出节点个数为O，
则可以用一个[N,N,C,O]卷积来代替，输出[1,1,O]的矩阵。
2.内核是1乘1的卷积：
卷积网络的输出为[N,M,C],卷积核[1,1,C,L],作用是连接矩阵各维度内部，同时可以调整矩阵第三维的维数，可以增加也可以减少