特征交叉04 SENet 和 Bilinear 交叉

最新推荐文章于 2025-12-04 14:13:28 发布
原创 最新推荐文章于 2025-12-04 14:13:28 发布 · 460 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

  SENet 和 Bilinear 交叉这两种模型用在排序上都有收益。

  SENet：

根据所有的特征，自动判断每一个field的特征重要性。对离散特征做field-wise 加权。

embedding向量维度相同

离散特征的处理：表示成K维的向量，m个特征

对矩阵的行做avgpooling得到一个向量，向量每个元素对应一个离散特征。

再用一个全连接层和relu激活函数把m维向量压缩成m/r维向量。r是压缩比例，一个大于1的数。

再用一个全连接层和sigmoid函数恢复成m维向量，元素介于0-1之间欸。

把向量成行乘到最初的mxk矩阵上，得到新的矩阵。新矩阵第二行是原矩阵第二行乘以m维向量第二个元素。

中间m维向量的作用就是对特征对加权。

embedding向量维度不同

最低0.47元/天 解锁文章
AI上推荐 之 FiBiNET模型(特征重要性选择与双线性特征交叉)
Miracle8070
07-03 6428
1. 写在前面 从五月份的xdeepFM到现在，已经有一个多月的时间没有与推荐模型相关的paper了，说好的"小步快跑"呢？ 来到公司实习之后， 更一直抽不出时间来更新这个系列。不过，最近这段时间， 由于开始接触实际场景下的推荐小项目， 而实习生的话一般要从模型上手，所以这一周终于又有了时间开始玩推荐模型，并进行相应的魔改。 当然，来实习之后， 从前辈们的以及周围伙伴的交流中悟出了一个真理，在推荐系统甚至其他领域(CV,NLP)等，模型都只是工具而已，遇到问题解决问题的方法和策略才是王道， 那么我为啥还要坚
推荐系统学习笔记（十七）SENet ＆ Bilinear Cross
weixin_44880995的博客
09-15 518
senet
推荐：特征交叉
KEVINzzh的博客
04-08 225
线性模型对输入的特征取加权和，作为对目标的预估。如果先做特征交叉，再用线性模型，通常可以取得更好的效果。如果做二阶特征交叉，那么参数量为O(特征数量平方)，计算量大，而且容易造成过拟合。因式分解机（Factorized Machine, FM）用低秩矩阵分解的方式降低参数量，加速计算。任何可以用线性模型（比如线性回归、逻辑回归）解决的问题，都可以用 FM 解决。 Deep & Cross Networks (DCN) 译作“深度交叉网络”，可以用于召回双塔模型、粗排三塔模型、精排模型。DCN 由一个
【王树森推荐系统】特征交叉04：SENet 和 Bilinear 交叉
hxdxiaoming的博客
07-12 1165
这节课介绍几种方法： 1. SENet 是计算机视觉中的一种技术，可以用在推荐系统中对特征做动态加权。 2. 双线性（bilinear）特征交叉可以提升排序模型的表现。有很多种 bilinear 交叉的方法。 3. FiBiNet 是将 SENet 与 Bilinear 模型结合。
深度学习 - 43.SeNET、Bilinear Interaction 实现特征交叉 By Keras
BITDDD小栈
04-25 1350
kears 实现 FiBiNet 论文中的 SENET Layer 与 Bilinear Interaction Layer。
深度学习 - 42.特征交叉与 SENET、Bilinear Interaction 与 FiBiNet
BITDDD小栈
04-24 2279
新的特征重要性和双线性特征交叉网络 FiBiNet 模型论文笔记。
Bilinear CNN Models for Fine-grained Visual Recognition-笔记
雪碧橙子
05-01 1766
我们提出一个新的识别结构：bilinear CNN，它是由两个特征提取器组成，它们的输出在对应的位置进行外积相乘，形成最好的图像表示。
推荐系统王树森（四）特征交叉+行为序列
nju_spy的博客
08-28 1872
本文介绍了推荐系统中特征交叉和行为序列建模的关键技术。特征交叉部分详解了5种方法：FM因式分解机通过矩阵分解减少参数量；DCN网络显式建模高阶特征交叉；LHUC实现用户特征加权；SENet自主学习重要特征通道；Bilinear交叉通过中间矩阵处理不同维度特征。行为序列部分探讨了DIN模型利用注意力机制动态加权用户历史行为，以及SIM模型通过TopK筛选解决长序列计算问题。这些技术有效提升了推荐系统对特征交互和用户兴趣的建模能力。
FiBiNET详解：动态特征重要性与细粒度特征交互的CTR利器
机器学习，深度学习
05-28 942
广告投放和信息流排序对于许多互联网公司（如 Facebook 和新浪微博）至关重要。在众多真实世界中的广告与信息流排序系统中，点击率（CTR，Click Through Rate）预测扮演着核心角色。目前该领域已经提出了许多模型，例如逻辑回归、基于树的模型、因子分解机模型以及基于深度学习的 CTR 预测模型。然而，当前许多方法在计算特征交互时较为简单，常采用哈达玛积（Hadamard Product）或内积（Inner Product），并且较少关注特征的重要性。本文提出了一种新模型，命名为FiBiNET。
【民族服饰识别系统】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积网络+resnet50算法
子午的博客
11-30 813
民族服饰识别，民族服饰智能识别与分析系统基于TensorFlow框架，采用卷积神经网络（CNN）算法构建而成。系统在收集了回族、汉族、满族、苗族四类典型民族服饰图像数据集的基础上，通过多轮迭代训练，最终生成高精度识别模型，并配合Web可视化平台实现便捷交互。前端后端：Django算法：TensorFlow、卷积神经网络算法具体功能系统分为管理员和用户两个角色，登录后根据角色显示其可访问的页面模块。登录系统后可发布、查看、编辑文章，创建文章功能中集成了markdown编辑器，可对文章进行编辑。
【动物识别系统】Python+TensorFlow+Django+人工智能+深度学习+卷积神经网络算法
子午的博客
12-01 427
动物识别系统，基于TensorFlow搭建Resnet50卷积神经网络算法，通过对4种常见的动物图片数据集（猫、鸡、马、狗）进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。技术栈项目前端使用Html、CSS、BootStrap搭建界面。后端基于Django处理逻辑请求基于Ajax实现前后端数据通信选题背景与意义在人工智能技术蓬勃发展的当下，动物识别作为计算机视觉领域的重要应用方向，有着广泛的实际需求，如动物保护监测、智能安防等场景均需精准高效的动物识别能力。
深入浅出卷积神经网络（CNN）：从LeNet到Vision Transformer的演进及其实战应用
最新发布
云雾J视界的博客
12-04 795
本文系统梳理卷积神经网络从LeNet到Vision Transformer的演进脉络，聚焦“为何选用ResNet而非VGG”这一典型面试问题，揭示其背后的技术选型逻辑。文章基于CVPR、ICLR等顶会论文及MLPerf等公开基准，深入剖析四代架构——奠基（LeNet/AlexNet）、深度爆发（VGG/ResNet）、效率觉醒（MobileNet）与注意力时代（ViT/ConvNeXt）的核心创新与工程权衡。
深度学习实战（基于pytroch）系列（四十一）长短期记忆（LSTM）pytorch简洁实现
echo的博客
11-29 1125
本文介绍了使用PyTorch简洁实现长短期记忆网络(LSTM)语言模型的方法。首先读取周杰伦歌词数据集并进行预处理，然后定义包含LSTM层和全连接层的RNN模型类，其中LSTM需要同时处理隐藏状态和细胞状态。文章详细展示了模型初始化、预测函数实现以及训练过程，包括梯度裁剪和数据迭代器设计。通过对比手动实现，突出了PyTorch框架在简化LSTM实现方面的优势，为自然语言处理任务提供了高效的解决方案。
深度学习1.1-软件安装-Anaconda软件与pyCharm软件安装
诚朴勇毅
12-03 514
为了研究深度学习与信号处理的结合，我又开始搞起了深度学习，博一的时候浅试过一次都失败了，这次打算学习一下Pytorch和一些最新的网络，好好做几篇论文。首先就是搭环境。我先安装了一个Anaconda，从网上搜了一大堆，我的理解是，Anaconda就是一个包管理器，因为pythoh版本太多了，而且要装的包也很多，各种包之间容易产生冲突，为了杜绝这个问题，我们可以安装一个Anaconda，它就像一个虚拟机，可以创建不同的操作系统，我们创建的不同任务和工程可以跑在不同的环境下。
【代码分享】基于CNN（卷积神经网络）-BiLSTM（双向长短时记忆网络）-KDE（核密度估计）的多变量时间序列预测
2501_94304238的博客
11-30 1705
本文提出了一种基于CNN-BiLSTM-KDE的多变量时间序列预测模型。该模型结合CNN提取时空特征，BiLSTM捕捉时序依赖，并创新性地引入KDE进行误差分布建模，实现高精度的点预测和可靠的区间预测。模型支持任意维度的风电、光伏等能源数据输入，自动完成预处理、训练和预测全过程。实验结果表明，该方法在预测精度和不确定性量化方面表现优异，为能源预测等场景提供了端到端的解决方案。
循环神经网络（RNN）：从序列数据难题到实战落地的完整指南
倔强的石头的博客
12-01 1021
循环神经网络（RNN）是专为处理序列数据设计的深度学习模型，解决了传统神经网络无法捕捉序列依赖关系的核心问题。RNN通过记忆状态（Hidden State）实现短期记忆功能，在处理文本、时间序列等数据时能够保留前序信息。其核心结构包括输入层、循环单元和输出层，通过共享权重参数实现序列元素的连续处理。然而，传统RNN存在梯度消失/爆炸的缺陷，导致长序列处理能力受限。为此，LSTM和GRU等改进模型引入门控机制，通过遗忘门、输入门和输出门精细调控记忆更新，显著提升了长序列建模能力。
深度学习调参手册：学习率、Batch Size 的最优搭配策略
dream_it_come_in的博客
11-30 1152
绑定关系：LR 与 BS 是 “步长” 和 “导航精度” 的关系，大 BS 配大 LR，小 BS 配小 LR，遵循 “线性缩放原则”；场景优先：显存充足选大 BS + 适配 LR，显存不足选小 BS + 小 LR + 梯度累积，特殊任务针对性调整；迭代验证：先定 BS 基线，再配初始 LR，最后对比多组组合，以验证集性能为核心指标。
基于WSL 2在Windows 11 构建深度学习开发环境 —— 以Ubuntu、Anaconda、PyCharm及GPU支持为核心
面向AI前沿技术的深度解析平台，覆盖基础理论、算法优化及产业应用全链路
12-01 780
本文提供了一套完整的教程，指导如何在 Windows 11 系统上基于 WSL 2 架构，从零开始搭建高效的深度学习开发环境。内容涵盖启用 WSL 与虚拟机平台、安装 Ubuntu 24.04 子系统、配置 CUDA 12.6 与 cuDNN 加速库、搭建 Anaconda 虚拟环境、安装 PyTorch 并实现 GPU 调用，最后通过 PyCharm 实现远程连接与开发调试。本方案有效解决了双系统切换、虚拟机性能损耗和环境配置复杂等痛点，为开发者提供了一条稳定高效的跨平台开发路径。
【机器学习】21-22 机器学习系统开发流程 & 倾斜数据集
weixin_54010404的博客
11-30 796
本文摘要：文章介绍了机器学习开发流程的关键环节，包括迭代开发过程、错误分析方法、数据增强与合成技术、迁移学习的应用场景与策略。详细阐述了倾斜数据集下的评估指标（准确率、召回率、F1分数）及其权衡关系，并概述了完整机器学习项目的生命周期（从任务定义到部署监控）。特别强调了在数据不平衡情况下传统准确率的局限性，提出了使用精确率和召回率作为替代指标，并通过F1分数进行综合评估的方法。最后提及了机器学习项目中的伦理考量和数据偏见问题。
SEnet 特征交叉
03-14
### FiBiNet 中 SENet 的特征交叉实现 SENet（Squeeze-and-Excitation Network）的核心思想在于通过学习通道间的依赖关系，动态调整各个通道的重要性权重。这种机制能够增强有用的信息并抑制无用的信息。 #### Squeeze 操作 在 SENet 中，“Squeeze” 是指通过对输入特征图 \( X \in R^{C \times H \times W} \) 进行全局平均池化操作，将每个通道的空间维度压缩为单个数值。这一步骤的结果是一个形状为 \( C \times 1 \times 1 \) 的向量[^3]。 具体公式如下： \[ z_c = \frac{1}{H \cdot W}\sum_{i=1}^H\sum_{j=1}^W x_{c,i,j} \] ```python import torch.nn as nn class SELayer(nn.Module): def __init__(self, channel, reduction=16): super(SELayer, self).__init__() self.squeeze = nn.AdaptiveAvgPool2d(1) ``` --- #### Excite 操作 “Excite” 阶段旨在基于挤压后的特征生成通道注意力权重。这一阶段通常由两个全连接层组成，中间加入激活函数（ReLU 和 Sigmoid），用于建模非线性和归一化权重。 具体计算流程如下： 1. 使用第一个全连接层降低维度至 \( \frac{C}{r} \)，其中 \( r \) 表示降维比例； 2. 应用 ReLU 激活函数引入非线性； 3. 使用第二个全连接层恢复原始维度 \( C \) 并应用 Sigmoid 函数得到最终的权重。 代码实现如下： ```python def __init__(self, channel, reduction=16): super(SELayer, self).__init__() self.excite = nn.Sequential( nn.Linear(channel, channel // reduction, bias=False), nn.ReLU(inplace=True), nn.Linear(channel // reduction, channel, bias=False), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.size() # 获取批量大小和通道数 y = self.squeeze(x).view(b, c) # 全局平均池化 + 展平 y = self.excite(y).view(b, c, 1, 1) # 计算通道权重 return x * y.expand_as(x) # 权重加权到原特征图 ``` --- #### 特征交叉的具体作用 SENet 的 “Squeeze and Excite” 本质上是一种跨通道的特征交互方式。通过显式地建模通道间的关系，SENet 能够突出重要的特征而削弱不相关的特征。这种方式不仅增强了模型的表现力，还保持了较低的额外计算开销。 在 FiBiNet 中，SENet 被用来处理嵌入后的低维稠密向量，进一步提升特征选择的效果[^1]。对于离散型和连续型特征，均会先经过 Embedding 层转换为固定长度的向量后再送入 SE 模块进行优化[^2]。 --- #### 完整代码示例 以下是结合 FiBiNet 构造的一个简单例子，展示如何利用 SENet 处理特征交叉问题： ```python import torch from torch import nn class FeatureInteractionModule(nn.Module): def __init__(self, input_dim, embedding_dim, num_fields, reduction_ratio=8): super(FeatureInteractionModule, self).__init__() # 初始化Embedding层 self.embedding_layer = nn.Embedding(input_dim, embedding_dim) # 添加SE模块 self.se_block = SELayer(num_fields * embedding_dim, reduction=reduction_ratio) def forward(self, discrete_features, continuous_features): batch_size = discrete_features.shape[0] # 对离散特征做Embedding embedded_discrete = self.embedding_layer(discrete_features.long()) flat_embedded_discrete = embedded_discrete.view(batch_size, -1) # 对连续特征标准化后直接乘以Embedding结果 normalized_continuous = (continuous_features - continuous_features.mean()) / \ (continuous_features.std() + 1e-7) combined_input = flat_embedded_discrete * normalized_continuous.unsqueeze(-1) # 输入SE模块 se_output = self.se_block(combined_input.view(batch_size, -1)) return se_output ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值