深度网络知识

1. batch normalization

将一个batch size中同一个通道的所有像素值做成总和为0的分布,让像素分布更加的均匀,有利于模型参数的优化

2. IOU与NWS

多头注意力机制:

1.  将图像分成多个patch

2. 每个patch进行embedding,得到一个向量,这个过程中每个patch加上位置编码

3. 将每个patch分别提取qkv

4.多个patch之间进行交叉q*K*V, 得到每个patch对应的新的向量

5. 每个向量按照头数进行拆分

6.利用全连接层把每个patch对应位置的向量进行合并

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值