组建神经网络需要什么概念？

最新推荐文章于 2025-02-11 19:26:06 发布

codingDL

最新推荐文章于 2025-02-11 19:26:06 发布

阅读量325

点赞数

CC 4.0 BY-SA版权

文章标签：神经网络

本文链接：https://blog.youkuaiyun.com/foreachself/article/details/111469565

本文探讨了神经网络的构建基础，包括计算图的概念，强调原子算子的翻转模式和张量节点的理解。介绍了前向与反向模式计算，以及网络动力学的猜想，涉及到学习框架组件和工程实践中的问题。通过分析计算图的动态行为，提出在网络内部，前向传播和反向传播的交互可能影响网络的记忆和动力学特性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

编写深度学习系统，最大系统仍然是编程语言
层级： ops-layer-module-network
编写时，各级极度耦合，存在调用情况的占比，如network级存在ops，大量的module；但ops绝不会出现高层函数调用

数学算子（ops.math）：多元算子

其实多元算子的flip，就仅仅是identity？
乘法是因为我们只知道无状态的，前向计算的算子它的计算方法，忽视了输入端是有状态的

张量算子（ops.tensor）：【逆】张量的轴，维发生，扩张，收缩
编程算子（ops.python）：【反转计算】if max 等等具有布尔运算参与的算子（可翻转形式需要储存大量前激活）

大多数数学算子可以被逻辑算子表示（数学可导更可靠）

1.数学编程复合，如relu
2.张量编程复合，轴，维发生重排
3.数学张量复合，轴，维发生，扩张，收缩【jacobian】

元算子有属性：（bool : saved_for_backward【是否保存多元输入提供给反向计算】），（bool : seq_keep【对于计算图优化，节点先后无关(如copy,轴收缩扩张)】）

张量算子
(N)->(N,M)
(N,M)->(M,N)
数学算子
(N,M)-*W1->(N,M)
最简单的复合数学算子：数学计算图
a1

200万优质内容无限畅学