卷积神经网络和卷积公式,卷积神经网络运算公式

卷积神经网络(CNN)是一种深度学习算法,以其表征学习和平移不变性著称。卷积层通过稀疏连接和权重共享降低参数量,防止过拟合。卷积公式描述了函数重叠部分的累积,常用于图像处理和试井解释等领域。CNN在深度学习中扮演重要角色,用于各种计算机视觉任务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

卷积神经网络算法是什么?

一维构筑、二维构筑、全卷积构筑。

卷积神经网络(ConvolutionalNeuralNetworks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(FeedforwardNeuralNetworks),是深度学习(deeplearning)的代表算法之一。

卷积神经网络具有表征学习(representationlearning)能力,能够按其阶层结构对输入信息进行平移不变分类(shift-invariantclassification),因此也被称为“平移不变人工神经网络(Shift-InvariantArtificialNeuralNetworks,SIANN)”。

卷积神经网络的连接性:卷积神经网络中卷积层间的连接被称为稀疏连接(sparseconnection),即相比于前馈神经网络中的全连接,卷积层中的神经元仅与其相邻层的部分,而非全部神经元相连。

具体地,卷积神经网络第l层特征图中的任意一个像素(神经元)都仅是l-1层中卷积核所定义的感受野内的像素的线性组合。

卷积神经网络的稀疏连接具有正则化的效果,提高了网络结构的稳定性和泛化能力,避免过度拟合,同时,稀疏连接减少了权重参数的总量,有利于神经网络的快速学习,和在计算时减少内存开销。

卷积神经网络中特征图同一通道内的所有像素共享一组卷积核权重系数,该性质被称为权重共享(weightsharing)。

权重共享将卷积神经网络和其它包含局部连接结构的神经网络相区分,后者虽然使用了稀疏连接,但不同连接的权重是不同的。权重共享和稀疏连接一样

### 图卷积神经网络(GCN)公式运算过程解释 #### 公式背景 图卷积神经网络的核心在于如何在不规则的图结构上定义卷积操作。传统的卷积神经网络适用于网格状的数据(如图像),但在图结构中,节点之间的连接关系是非固定的。因此,GCN引入了一种基于邻接矩阵度矩阵的操作来实现这一目标。 #### 邻接矩阵与度矩阵 - **邻接矩阵 \(A\)** 是描述图中节点之间连接关系的一个方阵。如果两个节点有边相连,则对应的矩阵元素为1;否则为0。 - **度矩阵 \(D\)** 是一个对角矩阵,其对角线上的值等于对应节点的度数(即该节点与其他节点的连边数量)。 这两个矩阵构成了图的基础表示形式[^1]。 #### 计算公式 GCN 的核心公式可以写成如下形式: \[ H^{(l+1)} = \sigma(\tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} H^{(l)} W^{(l)}) \] 其中: - \(H^{(l)}\) 表示第 \(l\) 层的节点特征矩阵; - \(\tilde{A} = A + I_N\) 是原始邻接矩阵加上单位矩阵的结果,用于考虑自环的影响; - \(\tilde{D}\) 是更新后的度矩阵,反映的是加了自环后的图中的节点度数; - \(W^{(l)}\) 是可学习的权重参数矩阵; - \(\sigma\) 是激活函数,通常采用 ReLU 函数。 此公式的意义是对当前层的节点特征进行变换,并通过聚合邻居节点的信息得到下一层的节点特征。 --- #### 运算步骤解析 1. **标准化邻接矩阵** 使用 \(\tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}}\) 对邻接矩阵进行规范化处理。这种规范化能够平衡不同节点因度数差异带来的影响,使得每个节点与其邻居节点的重要性更加均衡。 2. **特征传播** 将标准化后的邻接矩阵作用于当前层的节点特征矩阵 \(H^{(l)}\) 上,从而实现消息传递的过程。这一步相当于让每个节点接收来自其相邻节点的消息并加以汇总。 3. **线性变换** 应用权重矩阵 \(W^{(l)}\) 来调整特征空间维度,同时捕捉输入数据的不同模式或特性。 4. **非线性激活** 添加激活函数 \(\sigma\) 增强模型表达能力,使网络具备拟合复杂映射的能力。 --- #### 消息传递视角下的理解 从消息传递的角度来看,上述公式可以通过以下两步概括: 1. **Send**: 节点将其自身的特征向所有直接相连的目标节点发送。 2. **Recv**: 接收到来自多个源节点的消息后,目标节点对其进行聚合处理(通常是求平均或其他组合方式),并将结果作为新的特征表示。 这种方法不仅直观易懂,而且便于扩展至其他类型的 GNN 架构中[^2]。 --- #### 实际应用案例 以高光谱图像分类为例,研究者利用 GCN 提取像素间的空间依赖关系,显著提升了分类精度。这类应用场景表明,即使面对复杂的非欧几里得数据分布情况,只要合理设计图结构及其关联属性,便能充分发挥 GCN 的优势[^3]。 ```python import numpy as np from scipy.sparse import diags, eye def gcn_layer(A, X, W): """ Simulate a single layer of Graph Convolutional Network. Parameters: A (np.ndarray): Adjacency matrix with shape (n_nodes, n_nodes). X (np.ndarray): Input feature matrix with shape (n_nodes, input_dim). W (np.ndarray): Weight parameter matrix with shape (input_dim, output_dim). Returns: np.ndarray: Output features after one GCN layer operation. """ N = A.shape[0] D_tilde = diags(np.array((A + eye(N)).sum(axis=1).flatten()) A_tilde = A + eye(N) normalized_A = D_tilde.power(-0.5) @ A_tilde @ D_tilde.power(-0.5) return np.maximum(normalized_A @ X @ W, 0) # Example usage adj_matrix = np.random.randint(0, 2, size=(5, 5)) # Random adjacency matrix features = np.random.rand(5, 3) # Node feature matrix weights = np.random.randn(3, 4) # Learnable weight parameters output_features = gcn_layer(adj_matrix, features, weights) print(output_features) ``` --- ####
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值