特征交叉04 SENet 和 Bilinear 交叉

最新推荐文章于 2025-07-24 17:41:48 发布
最新推荐文章于 2025-07-24 17:41:48 发布
阅读量402 收藏 1
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 推荐系统 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/DEVIL_hym/article/details/143156365

  SENet 和 Bilinear 交叉这两种模型用在排序上都有收益。

  SENet：

根据所有的特征，自动判断每一个field的特征重要性。对离散特征做field-wise 加权。

embedding向量维度相同

离散特征的处理：表示成K维的向量，m个特征

对矩阵的行做avgpooling得到一个向量，向量每个元素对应一个离散特征。

再用一个全连接层和relu激活函数把m维向量压缩成m/r维向量。r是压缩比例，一个大于1的数。

再用一个全连接层和sigmoid函数恢复成m维向量，元素介于0-1之间欸。

把向量成行乘到最初的mxk矩阵上，得到新的矩阵。新矩阵第二行是原矩阵第二行乘以m维向量第二个元素。

中间m维向量的作用就是对特征对加权。

embedding向量维度不同

field间特征交叉

这两种都要求训练形状相同。

Bilinear 交叉（内积）

想要减少参数数量，需要人工指定某些相关而且重要的特征做交叉，而不能让全部都交叉。

Bilinear 交叉（哈达玛乘积）

FiBiNet:

结合SENet 和 Bilinear 交叉

AI上推荐 之 FiBiNET模型(特征重要性选择与双线性特征交叉)
Miracle8070
07-03 6257
1. 写在前面 从五月份的xdeepFM到现在，已经有一个多月的时间没有与推荐模型相关的paper了，说好的"小步快跑"呢？ 来到公司实习之后， 更一直抽不出时间来更新这个系列。不过，最近这段时间， 由于开始接触实际场景下的推荐小项目， 而实习生的话一般要从模型上手，所以这一周终于又有了时间开始玩推荐模型，并进行相应的魔改。 当然，来实习之后， 从前辈们的以及周围伙伴的交流中悟出了一个真理，在推荐系统甚至其他领域(CV,NLP)等，模型都只是工具而已，遇到问题解决问题的方法和策略才是王道， 那么我为啥还要坚
【YOLOv8十万长文优化】独家魔改优化技巧+附20余个源码手把手教程
热门推荐
cv君的博客
08-01 2万+
【YOLOv8十万长文全解】v8 v9通用。独家魔改优化技巧+附20余个源码手把手教程; Hello，大家好，我是cv君，最近开始在空闲之余，经常更新文章啦！除目标检测、分类、分隔、姿态估计等任务外，还会涵盖图像增强领域，如超分辨率、画质增强、降噪、夜视增强、去雾去雨、ISP、海思高通成像ISP等、AI-ISP、还会有多模态、文本nlp领域、视觉语言大模型、lora、chatgpt等理论与实践文章更新，更新将变成一周2-3更，一个月争取10篇，重回创作巅峰
深度学习 - 42.特征交叉与 SENET、Bilinear Interaction 与 FiBiNet
BITDDD小栈
04-24 1923
新的特征重要性和双线性特征交叉网络 FiBiNet 模型论文笔记。
深度学习 - 43.SeNET、Bilinear Interaction 实现特征交叉 By Keras
BITDDD小栈
04-25 1180
kears 实现 FiBiNet 论文中的 SENET Layer 与 Bilinear Interaction Layer。
Bilinear CNN Models for Fine-grained Visual Recognition-笔记
雪碧橙子
05-01 1728
我们提出一个新的识别结构：bilinear CNN，它是由两个特征提取器组成，它们的输出在对应的位置进行外积相乘，形成最好的图像表示。
【王树森推荐系统】特征交叉04：SENet 和 Bilinear 交叉
hxdxiaoming的博客
07-12 978
这节课介绍几种方法： 1. SENet 是计算机视觉中的一种技术，可以用在推荐系统中对特征做动态加权。 2. 双线性（bilinear）特征交叉可以提升排序模型的表现。有很多种 bilinear 交叉的方法。 3. FiBiNet 是将 SENet 与 Bilinear 模型结合。
第四章 特征交叉（王树森学习笔记）
weixin_64420349的博客
01-11 1001
我们用一个现实的例子来理解，比如我们要预估一个二手房的价格，单用面积和地理位置都不能很好的预测结果，将两个特征交叉之后会有较准确的预测。不论是内积or哈达玛积，都要求每个特征的embedding向量形状一样，都是k维向量；因此在实践中，最好人工指定一部分特征做交叉，这样既可以减少参数数量，也可以让concatenation之后的向量变小。，对m^2个向量做concatenation，得到的向量维度太大，且其中大多数都是无意义的特征。用特征交叉的话，两个特征不仅能相加，还能相乘，这样可以提升模型的表达能力。
特征交叉-FiBiNet特征交叉原理与代码学习
清风徐来
11-25 476
两个field做交叉得到新的特征，比方把物品和用户地点做embedding，然后做交叉, 如果用inner product和hadamard乘积，必须维度一致，不一致的情况下，Bilinear引入了一个W矩阵，保证两者可以做交叉。SENet 虽然不是特征交叉方法，但是是在FiBiNet这个文章里一起出现的，就说明下，是一种field-wise加权，一共m个field。1）field维度的平均池化：每一个field做average-pooling，3）还原：再加一个linear+sigmoid还原成m维度。
XW-优化 特征交叉 调研&尝试&思考
weixin_35702861的博客
04-08 140
特征交叉方法 负责 特征组合方面的工作，其意义是为解决如何高效组合、如何高阶组合的问题。为了实现这个目的，首先尝试了 显示特征交（POLY二阶、FM和FFM）通过 内积、笛卡尔积等技术，发现建模能力有限、高阶交叉难、数据稀疏难训练、不能自动、特征一样重要 问题。针对这些问题做了 隐式交叉 改进，改进的方法相对原来的优势是和神经网络结合、wide&deep、deepFM。进一步提出了一种新的方法（xdeepFM、AutoFIS、AFM）。修改后的方法取得了区分特征重要度 ”。
WSDM 2022 | 点击率模型特征交叉方向的发展及CAN模型介绍
阿里妈妈技术
03-02 1819
丨目录：· 摘要· 背景· 问题和方法·Co-Action Network方案· 方案扩展· 总结·References· 关于我们▐一、摘要排序模块在广告、推荐和搜索等系统中扮演...
深度解析论文FiBiNET: Combining Feature Importance and Bilinear Feature Interaction for Click-Through Rate
qq_36013952的博客
12-22 812
CEPR: A Collaborative Exploration and Periodically Returning Model for Location PredictionAbstractQuestionMethodModelContributionAnswer Abstract Question ①目前的很多研究都是用Hadamard product、inner product等简单的方法来计算特征交互，对特征的重要性关注较少。 ②不同的特征对目标任务有不同的重要性。例如，当我们预测一个人的收入时
基于深度学习的胸部 X 光图像肺炎分类系统（二）
最新发布
wh_xia_jun的专栏
07-24 431
不是固定公式：没有 “必须 21 层” 的规定，就像盖房子，3 层能住，5 层也能住，看需求。经验为主：人们发现处理这类 X 光片（中等复杂度的图片），用 4 个卷积块（16 层）+ 简单分类器（5 层）比较合适：少于 10 层：可能 “看不透” 细节（比如小的肺炎阴影抓不到）。多于 30 层：电脑要算很久，还可能 “想太多”（把正常的纹理当成肺炎特征）。试出来的：程序员可能一开始试了 10 层，发现效果不好（漏诊多）；又试了 30 层，发现太慢还容易错；最后调到 21 层，效果和效率比较平衡。
卷积神经网络中的注意力机制：CBAM详解与实践
wyy202206174248的博客
07-21 921
注意力机制源于人类视觉系统的工作方式 - 我们不会同时处理视野中的所有信息，而是选择性地聚焦于重要部分。在深度学习中，注意力机制通过动态调整特征图中不同位置或通道的重要性，使模型能够关注更有信息量的区域。CBAM作为一种简单有效的注意力机制，通过顺序应用通道和空间注意力模块，显著提升了CNN模型的性能。本文详细介绍了CBAM的原理、PyTorch实现方法以及在不同任务中的应用方式。实验表明，CBAM能够以较小的计算代价带来明显的性能提升。未来发展方向：更高效的注意力计算方式。
CNN实战案例：从图像识别到医疗诊断
keny-大成的博客
07-23 963
本文介绍了基于SpringBoot与CNN（卷积神经网络）的30个应用实例，涵盖图像识别、医疗诊断和工业检测等领域。主要内容包括：1）典型应用场景如MNIST手写识别、医疗影像分析等，提供关键代码示例；2）CNN核心组件（卷积层、池化层等）和工作原理；3）经典网络架构如LeNet、ResNet；4）模型部署方案与性能优化技巧。文章强调从基础示例入手，结合实际需求调整模型架构，为开发者提供完整的CNN应用实现参考方案。
卷积神经网络：模型评估标准
m53421的博客
07-23 536
真正例率（TPR，又称灵敏度、召回率）真实正例中被正确预测为正例的比例，反映模型对正例的识别能力。假正例率（FPR，又称 1 - 特异度）真实负例中被错误预测为正例的比例，反映模型的误判率。（注：TP、TN、FP、FN 的定义见混淆矩阵相关内容）
【CNN】LeNet网络架构
2302_77326347的博客
07-23 436
LeNet-5模型是由杨立昆（Yann LeCun）教授于1998年在论文Gradient-Based Learning Applied to Document Recognition中提出的，是一种用于手写体字符识别的非常高效的卷积神经网络，其实现过程如下图所示。原论文的经典的LeNet-5网络结构如下：各个结构作用：卷积层：提取特征图的特征，浅层的卷积提取的是一些纹路、轮廓等浅层的空间特征，对于深层的卷积，可以提取出深层次的空间特征。
30天打牢数模基础-循环神经网络讲解
小叶的趣味数模
07-21 341
显示每轮训练的损失（loss）和准确率（accuracy），验证集的损失（val_loss）和准确率（val_accuracy）；：如果训练集准确率很高（如100%）但测试集准确率很低（如50%），说明模型过拟合，可以减少训练轮次或增加数据。：如果有主题标签（如“思乡”“山水”），可以将其作为额外特征加入模型（需修改模型结构为函数式API）。：显示测试集输入唐诗前半部分的预测结果（如输入“慈母手中线，游子身上”，预测“衣”）。：显示模型能识别的所有字符（如“床”“前”“明”等）；
深度学习 -- 梯度计算及上下文控制
m0_73338216的博客
07-21 727
本文介绍了PyTorch中的自动微分和梯度计算相关内容。主要内容包括： 自动微分基础概念： 张量的requires_grad属性控制是否计算梯度 计算图动态跟踪张量操作 叶子节点与非叶子节点区分 梯度计算方法： 标量梯度计算 向量梯度计算及推导过程 多标量和多向量梯度计算 梯度上下文控制： 使用torch.no_grad()控制梯度计算 梯度累加特性及清零方法 应用案例： 使用梯度下降法求函数最小值 线性回归参数求解实现 文章通过代码示例详细展示了PyTorch自动微分机制的核心功能和使用方法，为神经网络训
Zetane：让深度学习不再抽象，一键3D可视化
weixin_64110589的博客
07-21 371
Zetane Systems是一家专注于AI模型可视化的加拿大公司，成立于2016年。其核心产品Zetane Engine通过3D可视化技术解决深度学习"黑箱"问题，支持ONNX、Keras等格式模型的可视化分析，提供多维度张量投影、特征图视图等功能。用户可从官网下载Windows/Linux/Mac版本，实现AI模型的交互式探索和内部机制解析。
SENet和SE
05-06
### SENet 和 SE 的概念及其在深度学习架构中的关系 #### 什么是 Squeeze-and-Excitation (SE)？ Squeeze-and-Excitation 是一种用于增强卷积神经网络（CNN）性能的模块化设计。它通过显式建模通道之间的相互依赖性，使网络能够自适应地重新校准通道特性的重要性[^1]。具体来说： - **Squeeze 操作**：该操作会全局平均池化每个通道上的特征图，从而生成一个描述整个输入空间的单一向量。这一步骤有效地压缩了空间维度的信息。 - **Excitation 操作**：基于挤压后的特征向量，这一阶段利用两个全连接层计算权重，这些权重表示不同通道的重要程度。最终得到的是一个归一化的激活函数输出。 - 将 Excitation 阶段产生的权值乘回到原始输入特征图上完成最后的重缩放过程。 这种机制允许模型关注更有意义的部分而抑制无关紧要的内容，进而提升整体表现效果。 #### 关于 SENet 架构 SENet（Squeeze-and-Excitation Network）是在传统 CNN 基础之上引入了多个 SE 模块构成的新一代高效网络结构之一。它的核心思想就是在标准 Residual Blocks 或者其他类型的 Building Blocks 中嵌入上述提到过的 SE 组件来加强信息传递效率以及提高泛化能力[^1]。 例如，在构建 SE-Inception 网络时，可以将转换 \(F_{tr}\) 视作一个完整的 Inception 模块；而在创建 SE-ResNet 则把同样的变换应用到了残差单元里——即让 squeeze-excitation 过程发生在恒等映射之前[^1]。这样做的好处在于不仅保留了原有框架的优点还额外增加了对跨通道交互的学习功能。 另外值得注意的是，除了与 ResNet 结合外，还可以很容易地将其扩展至更多现有先进模型比如 ResNeXt、Inception-ResNet、MobileNet 及 ShuffleNet 上面去形成各自对应的改进版本如 SE-ResNeXt 等。 ```python import torch.nn as nn class SELayer(nn.Module): def __init__(self, channel, reduction=16): super(SELayer, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.fc = nn.Sequential( nn.Linear(channel, channel // reduction, bias=False), nn.ReLU(inplace=True), nn.Linear(channel // reduction, channel, bias=False), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.size() y = self.avg_pool(x).view(b, c) y = self.fc(y).view(b, c, 1, 1) return x * y.expand_as(x) # Example usage within a residual block class SEResBlock(nn.Module): expansion = 1 def __init__(self, inplanes, planes, stride=1, downsample=None, groups=1, base_width=64, dilation=1, norm_layer=None, *, reduction=16): ... self.se = SELayer(planes * block.expansion, reduction=reduction) def forward(self, x): identity = x out = ... # Convolution operations here out = self.se(out) if self.downsample is not None: identity = self.downsample(x) out += identity out = self.relu(out) return out ``` 以上代码片段展示了如何定义一个基本形式下的 SE 层类 `SELayer` 并将其融入到典型的残差块之中成为新的组件 `SEResBlock`. #### 总结对比分析 | 特征 | SE | SENet | |------|----------------------------------------------------------------------------------------|---------------------------------------------------------------------------------------| | 定义 | 单独存在的轻量化模块，负责调整各通道间的关系 | 整套包含若干个 SE 模块在内的新型深层神经网路 | | 功能 | 提升单一层面对复杂场景的理解力 | 显著改善整条流水线上各级别的表达质量 | | 应用范围 | 能够灵活嫁接到几乎所有的经典 CNN 设计上去 | 主要是针对特定领域问题定制开发出来的综合性解决方案 | 尽管两者紧密相连但从严格意义上讲它们还是有所区别的：“SE”仅仅代表了一种技术手段或者说是工具，“SENet”才是指代运用这项技术创新之后所形成的完整体系。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值