特征交叉04 SENet 和 Bilinear 交叉

最新推荐文章于 2026-01-09 21:54:10 发布
原创 最新推荐文章于 2026-01-09 21:54:10 发布 · 476 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

  SENet 和 Bilinear 交叉这两种模型用在排序上都有收益。

  SENet：

根据所有的特征，自动判断每一个field的特征重要性。对离散特征做field-wise 加权。

embedding向量维度相同

离散特征的处理：表示成K维的向量，m个特征

对矩阵的行做avgpooling得到一个向量，向量每个元素对应一个离散特征。

再用一个全连接层和relu激活函数把m维向量压缩成m/r维向量。r是压缩比例，一个大于1的数。

再用一个全连接层和sigmoid函数恢复成m维向量，元素介于0-1之间欸。

把向量成行乘到最初的mxk矩阵上，得到新的矩阵。新矩阵第二行是原矩阵第二行乘以m维向量第二个元素。

中间m维向量的作用就是对特征对加权。

embedding向量维度不同

最低0.47元/天 解锁文章
AI上推荐 之 FiBiNET模型(特征重要性选择与双线性特征交叉)
Miracle8070
07-03 6485
1. 写在前面 从五月份的xdeepFM到现在，已经有一个多月的时间没有与推荐模型相关的paper了，说好的"小步快跑"呢？ 来到公司实习之后， 更一直抽不出时间来更新这个系列。不过，最近这段时间， 由于开始接触实际场景下的推荐小项目， 而实习生的话一般要从模型上手，所以这一周终于又有了时间开始玩推荐模型，并进行相应的魔改。 当然，来实习之后， 从前辈们的以及周围伙伴的交流中悟出了一个真理，在推荐系统甚至其他领域(CV,NLP)等，模型都只是工具而已，遇到问题解决问题的方法和策略才是王道， 那么我为啥还要坚
【王树森推荐系统】特征交叉04：SENet 和 Bilinear 交叉
hxdxiaoming的博客
07-12 1199
这节课介绍几种方法： 1. SENet 是计算机视觉中的一种技术，可以用在推荐系统中对特征做动态加权。 2. 双线性（bilinear）特征交叉可以提升排序模型的表现。有很多种 bilinear 交叉的方法。 3. FiBiNet 是将 SENet 与 Bilinear 模型结合。
深度学习 - 43.SeNET、Bilinear Interaction 实现特征交叉 By Keras
BITDDD小栈
04-25 1402
kears 实现 FiBiNet 论文中的 SENET Layer 与 Bilinear Interaction Layer。
推荐：特征交叉
霜雪i的博客，视频编解码，传统+AI
04-08 251
线性模型对输入的特征取加权和，作为对目标的预估。如果先做特征交叉，再用线性模型，通常可以取得更好的效果。如果做二阶特征交叉，那么参数量为O(特征数量平方)，计算量大，而且容易造成过拟合。因式分解机（Factorized Machine, FM）用低秩矩阵分解的方式降低参数量，加速计算。任何可以用线性模型（比如线性回归、逻辑回归）解决的问题，都可以用 FM 解决。 Deep & Cross Networks (DCN) 译作“深度交叉网络”，可以用于召回双塔模型、粗排三塔模型、精排模型。DCN 由一个
特征交叉方法解析：DCN、LHUC、SENet与Bilinear
Mike的博客
08-28 872
LHUC（Learning Hidden Unit Contribution）起源于语音识别，后由快手团队引入推荐系统并称为。双塔模型是推荐系统的通用架构框架，其用户塔和物品塔可由任意神经网络结构构建，并非特指某种具体实现。SENet源自计算机视觉，可用于对特征进行动态加权。用于高效地进行Field间特征交叉，存在多种形式。的加权，重要性低的Field权重会自动降低。（双线性特征交叉）的模型。，目前已得到广泛应用。（动态特征重要性）和。：SENet实现的是。
深度学习 - 42.特征交叉与 SENET、Bilinear Interaction 与 FiBiNet
BITDDD小栈
04-24 2384
新的特征重要性和双线性特征交叉网络 FiBiNet 模型论文笔记。
推荐系统学习笔记（十七）SENet ＆ Bilinear Cross
weixin_44880995的博客
09-15 549
senet
推荐系统王树森（四）特征交叉+行为序列
nju_spy的博客
08-28 1903
本文介绍了推荐系统中特征交叉和行为序列建模的关键技术。特征交叉部分详解了5种方法：FM因式分解机通过矩阵分解减少参数量；DCN网络显式建模高阶特征交叉；LHUC实现用户特征加权；SENet自主学习重要特征通道；Bilinear交叉通过中间矩阵处理不同维度特征。行为序列部分探讨了DIN模型利用注意力机制动态加权用户历史行为，以及SIM模型通过TopK筛选解决长序列计算问题。这些技术有效提升了推荐系统对特征交互和用户兴趣的建模能力。
FiBiNET详解：动态特征重要性与细粒度特征交互的CTR利器
机器学习，深度学习
05-28 986
广告投放和信息流排序对于许多互联网公司（如 Facebook 和新浪微博）至关重要。在众多真实世界中的广告与信息流排序系统中，点击率（CTR，Click Through Rate）预测扮演着核心角色。目前该领域已经提出了许多模型，例如逻辑回归、基于树的模型、因子分解机模型以及基于深度学习的 CTR 预测模型。然而，当前许多方法在计算特征交互时较为简单，常采用哈达玛积（Hadamard Product）或内积（Inner Product），并且较少关注特征的重要性。本文提出了一种新模型，命名为FiBiNET。
人工智能|推荐系统——工业界的推荐系统之交叉
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
05-06 568
SENet 对离散特征做field-wise加权，如果有𝑚 个fields，那么权重向量是𝑚 维。FiBiNet可以理解为同时考虑了SENet 结合 Field 间特征交叉。之前提到过的召回、排序模型中的神经网络可以用任意网络结构；LHUC起源于语⾳识别，快⼿将LHUC应⽤在推荐精排，称作PPNet。深度交叉网络就是两个分支，一边是全连接，一边是交叉网络。线性模型预测是特征的加权和。交叉网络就是多个交叉层串起来的网络。可以通过矩阵分解减少模型参数量。Field 间特征交叉。
FiBiNET：结合特征重要性和双线性特征交互进行CTR预估
Tak-Wah Blog
04-22 4180
FiBiNET全称FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction，是新浪微博提出的一种基于深度学习的广告推荐/点击率预测算法。可以认为FiBiNET是在wide & deep模型的基础上对它的wide部分进行了一些创新的改进，或者...
【Paper Note】FiBiNet论文详解
roguesir的博客
06-26 910
FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction论文详解
Bilinear CNN Models for Fine-grained Visual Recognition-笔记
雪碧橙子
05-01 1777
我们提出一个新的识别结构：bilinear CNN，它是由两个特征提取器组成，它们的输出在对应的位置进行外积相乘，形成最好的图像表示。
深度学习VS强化学习：预测与决策的本质差异
qq_65632993的博客
01-08 759
摘要：深度学习和强化学习是人工智能的两大分支，但本质不同。深度学习通过静态数据学习函数映射，目标是预测误差最小化；强化学习通过环境交互学习决策策略，追求长期收益最大化。两者在数据来源（固定vs动态）、反馈信号（密集vs稀疏）、核心挑战（泛化vs探索）等方面存在显著差异。深度强化学习是两者的结合，但实际应用中强化学习落地难度更高。选择方法时需根据任务特性：预测任务用深度学习，长期决策任务用强化学习。理解两者的"问题范式"差异比模型结构更重要。
基于深度学习的车牌识别系统
qq_35827191的博客
01-02 1327
本文提出了一种基于深度学习的车牌识别系统解决方案，采用模块化设计架构，包含车辆检测(YOLOv3-tiny)、车牌定位(RetinaNet)和字符识别(LPRNet)三大核心模块。系统通过轻量级模型实现实时处理能力，利用特征金字塔网络和Focal Loss优化小目标检测效果，并采用端到端的字符识别方案。文章详细阐述了技术选型依据、网络结构原理、代码实现细节及环境配置要求，为车牌识别系统的开发提供了完整的实践指导。该系统可广泛应用于智能交通、安防监控等场景，具有良好的实用价值。
通俗理解经典CNN架构：LeNet
不惑
01-05 1279
本文介绍了卷积神经网络(CNN)的鼻祖LeNet的起源、架构和应用。LeNet由Yann LeCun在20世纪90年代开发，主要用于手写数字识别，其创新性的卷积层、池化层等设计奠定了现代CNN的基础。文章详细拆解了LeNet-5的7层结构，包括输入层、卷积层、池化层和全连接层的工作原理，并解释了前向传播和训练过程。尽管LeNet结构简单，参数仅6万个，但它在MNIST数据集上实现了不到1%的错误率。虽然现代网络更加复杂，但LeNet作为教学经典，仍是理解CNN核心概念的重要案例。
基于深度学习的车型识别系统演示与介绍(YOLOv12/v11/v8/v5模型+Pyqt5界面+训练代码+数据集)
ningfoshao8678的博客
01-07 800
本文介绍了一款基于YOLO算法的车型识别系统，支持轿车、卡车、公共汽车和摩托车等多种车型识别。系统具备图片、视频、摄像头实时检测及批量处理功能，集成语音播报、结果导出等实用模块，并提供用户登录和模型训练功能。技术栈采用Python 3.10、PyQt5和SQLite，支持YOLOv5至v12多模型切换。测试数据显示，YOLO12n模型以40.6%的mAP表现最优，YOLO11n在CPU推理速度最快(56.1ms)。系统训练数据集包含19,000张图片，mAP@0.5达到70.8%，F1值为0.67，识别效果
深度学习中稀疏专家模型研究综述 A REVIEW OF SPARSE EXPERT MODELS IN DEEP LEARNING
最新发布
m0_56263746的博客
01-09 524
稀疏模型的构建通常以稠密模型为基础，然后按。
【人工智能领域】- 卷积神经网络（CNN）深度解析
Java && AI Agent工程师
01-07 871
摘要：本文深入解析卷积神经网络(CNN)的工作原理，从生物学视觉皮层研究到AI视觉应用。文章首先介绍CNN的生物学基础——Hubel和Wiesel发现的视觉细胞层级结构，解释简单细胞和复杂细胞如何分别对应CNN的卷积层和池化层。随后详细剖析CNN的核心组件，包括权重共享、局部连接等特性，以及卷积运算的数学原理和三种计算模式。文章还展示了CNN各层次学习到的视觉特征，从基础边缘到完整物体识别的渐进过程，并提供了PyTorch实现示例。最后探讨了ImageNet竞赛对CNN发展的推动作用及其未来展望。
动态特征增强模块
05-17
### 动态特征增强模块的技术原理与实现方式 动态特征增强模块的核心目标在于通过自适应的方式融合多尺度特征，从而提升模型对复杂场景的理解能力和预测精度。以下是关于其实现方式和技术原理的具体分析： #### 1. 多尺度特征提取 动态特征增强模块通常依赖于多尺度特征的提取。这一过程可以通过卷积神经网络（CNNs）中的不同层输出来完成。每一层的输出代表特定尺度下的特征表示。例如，在深层网络中，浅层捕捉到的是局部细节信息，而较深的层次则更多关注全局结构信息。 为了更有效地获取多尺度特征，可以采用金字塔池化结构[^3]。这种结构通过对输入特征图进行多次下采样和上采样操作，生成多个分辨率不同的特征图，随后将其拼接在一起形成最终的多尺度特征表示。 ```python import torch.nn as nn class PyramidPoolingModule(nn.Module): def __init__(self, in_channels, out_channels): super(PyramidPoolingModule, self).__init__() self.pooling_layers = [ nn.AdaptiveAvgPool2d(output_size=(s, s)) for s in [1, 2, 3, 6] ] self.conv_layers = nn.ModuleList([ nn.Conv2d(in_channels, out_channels, kernel_size=1) for _ in range(4) ]) def forward(self, x): pooled_features = [] for i, pooling_layer in enumerate(self.pooling_layers): pool_out = pooling_layer(x) conv_out = self.conv_layers[i](pool_out) upsampled = nn.functional.interpolate(conv_out, size=x.size()[2:], mode='bilinear', align_corners=True) pooled_features.append(upsampled) return torch.cat([x] + pooled_features, dim=1) ``` #### 2. 自适应权重分配 动态特征增强的一个关键技术点是对不同尺度的特征赋予合适的权重。这一步骤可以通过注意力机制实现。具体来说，注意力机制会根据当前任务需求计算每种尺度特征的重要性，并据此调整各部分特征的比例。 一种常见的做法是使用SENet（Squeeze-and-Excitation Network），它先压缩空间维度得到通道间的统计特性，再经过全连接层映射产生各个通道上的激励系数[^3]。 ```python class ChannelAttentionModule(nn.Module): def __init__(self, channels, reduction_ratio=16): super(ChannelAttentionModule, self).__init__() hidden_units = int(channels / reduction_ratio) self.global_avg_pool = nn.AdaptiveAvgPool2d((1, 1)) self.fc1 = nn.Linear(channels, hidden_units, bias=False) self.relu = nn.ReLU(inplace=True) self.fc2 = nn.Linear(hidden_units, channels, bias=False) self.sigmoid = nn.Sigmoid() def forward(self, x): batch_size, num_channels, _, _ = x.size() y = self.global_avg_pool(x).view(batch_size, num_channels) y = self.fc1(y) y = self.relu(y) y = self.fc2(y) attention_weights = self.sigmoid(y).view(batch_size, num_channels, 1, 1) return x * attention_weights ``` #### 3. 特征交互与融合 除了单独考虑每个尺度外，还需要促进不同尺度间的信息交流。为此可设计专门的交叉连接或者残差路径让高低频信号互相补充。比如ResNet风格的跳跃链接允许远距离节点共享梯度更新；又或者是DenseNet那样密集堆叠前向传播链路使得任意两层之间均存在直接联系。 另外还可以引入Transformer架构作为辅助工具进一步加强远程依存关系的学习效果。借助其强大的编码能力捕获长程关联模式有助于改善整体表现水平。 ```python class FeatureFusionBlock(nn.Module): def __init__(self, low_level_inplanes, high_level_inplanes, output_planes): super(FeatureFusionBlock, self).__init__() self.low_conv = nn.Sequential( nn.Conv2d(low_level_inplanes, output_planes//2, kernel_size=1), nn.BatchNorm2d(output_planes//2), nn.ReLU(True) ) self.high_conv = nn.Sequential( nn.Conv2d(high_level_inplanes, output_planes//2, kernel_size=1), nn.BatchNorm2d(output_planes//2), nn.ReLU(True) ) self.fuse_conv = nn.Sequential( nn.Conv2d(output_planes, output_planes, kernel_size=3, padding=1), nn.BatchNorm2d(output_planes), nn.ReLU(True) ) def forward(self, low_feat, high_feat): low_resized = F.interpolate(low_feat, scale_factor=0.5, mode="nearest") high_upscaled = F.interpolate(high_feat, scale_factor=2, mode="nearest") fused_low = self.low_conv(low_resized) fused_high = self.high_conv(high_upscaled) combined = torch.cat([fused_low, fused_high], dim=1) result = self.fuse_conv(combined) return result ``` --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值