解析卷积神经网络(部分笔记)(未完成)

本文介绍了深度学习的基础概念,如卷积、汇合操作及分布式表示,并探讨了模型压缩技术,包括前端压缩如知识蒸馏和后端压缩如低秩近似、剪枝与参数量化等方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

先验知识:
快速傅立叶变换
第二章:
概念:
loss function = data loss + regulation loss
三维张量: xlRHlWlDl x l ∈ R H l ∗ W l ∗ D l ,用三元组 (il,jl,dl) ( i l , j l , d l ) 表示该张量对应第 il i l 行,第 jl j l 列,第 dl d l channel的位置
四维张量: xlRHlWlDlN x l ∈ R H l ∗ W l ∗ D l ∗ N ,N表示mini-batch每一批样本的个数

卷积(convolution):卷积操作可获取图像区域不同类型特征。
汇合(pooling):汇合等操作可对这些特质进行融合和抽象。
卷积核(convolution keras),激活函数(activation function),感受野(receptive filed)
多层卷积汇合等操作的堆叠,各层得到的深层特征逐渐从泛化特征(边缘纹理)过度到高层语义表示。

第三章:
感受野:神经元只接受其所支配的刺激区域内的信号
小卷积核的优势:
[1]小卷积核需多层叠加,加深了网络深度进而加强了网络容量核复杂度
[2]增强网络容量的同时减少了参数个数

分布式表示:每个语义概念由许多分布在不同神经元中被激活的模式表示;而每个神经元又可以参与到许多不同语义概念的表达中去。
解释:一张图片中的某个目标物体可以由很多卷积核(神经元)激活后的特征图表示;而每个神经元又可以给多张图片不同的目标做卷积。

第四章:
模型压缩:均旨在将一个庞大而复杂的预训练模型 (pre-trained model)转化为一个精简的小模型。
前端压缩:是指不改变原网络结构的压缩 技术,主要包括知识蒸馏、紧凑的模型结构设计以及滤波器层面的剪枝等;
后端压缩:则包括低秩近似、未加限制的剪枝、参数量化以及二值网络等,其目标在于尽可能地减少模型大小,因而会对原始网络结构造成极大程度的改造。

4.1低秩近似
方法:结构化矩阵来进行低秩分解,矩阵分解来降低权重矩阵的参数

4.2剪枝与稀疏约束
剪枝算法的操作流程:

  • 衡量神经元(权重连接,滤波器)的重要程度(*)
  • 移除掉一部分不重要的神经元
  • 对网络进行微调

4.3参数量化

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值