特征交叉04 SENet 和 Bilinear 交叉

最新推荐文章于 2025-12-03 15:01:10 发布
原创 最新推荐文章于 2025-12-03 15:01:10 发布 · 460 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

  SENet 和 Bilinear 交叉这两种模型用在排序上都有收益。

  SENet：

根据所有的特征，自动判断每一个field的特征重要性。对离散特征做field-wise 加权。

embedding向量维度相同

离散特征的处理：表示成K维的向量，m个特征

对矩阵的行做avgpooling得到一个向量，向量每个元素对应一个离散特征。

再用一个全连接层和relu激活函数把m维向量压缩成m/r维向量。r是压缩比例，一个大于1的数。

再用一个全连接层和sigmoid函数恢复成m维向量，元素介于0-1之间欸。

把向量成行乘到最初的mxk矩阵上，得到新的矩阵。新矩阵第二行是原矩阵第二行乘以m维向量第二个元素。

中间m维向量的作用就是对特征对加权。

embedding向量维度不同

最低0.47元/天 解锁文章
AI上推荐 之 FiBiNET模型(特征重要性选择与双线性特征交叉)
Miracle8070
07-03 6428
1. 写在前面 从五月份的xdeepFM到现在，已经有一个多月的时间没有与推荐模型相关的paper了，说好的"小步快跑"呢？ 来到公司实习之后， 更一直抽不出时间来更新这个系列。不过，最近这段时间， 由于开始接触实际场景下的推荐小项目， 而实习生的话一般要从模型上手，所以这一周终于又有了时间开始玩推荐模型，并进行相应的魔改。 当然，来实习之后， 从前辈们的以及周围伙伴的交流中悟出了一个真理，在推荐系统甚至其他领域(CV,NLP)等，模型都只是工具而已，遇到问题解决问题的方法和策略才是王道， 那么我为啥还要坚
推荐系统学习笔记（十七）SENet ＆ Bilinear Cross
weixin_44880995的博客
09-15 518
senet
推荐：特征交叉
KEVINzzh的博客
04-08 225
线性模型对输入的特征取加权和，作为对目标的预估。如果先做特征交叉，再用线性模型，通常可以取得更好的效果。如果做二阶特征交叉，那么参数量为O(特征数量平方)，计算量大，而且容易造成过拟合。因式分解机（Factorized Machine, FM）用低秩矩阵分解的方式降低参数量，加速计算。任何可以用线性模型（比如线性回归、逻辑回归）解决的问题，都可以用 FM 解决。 Deep & Cross Networks (DCN) 译作“深度交叉网络”，可以用于召回双塔模型、粗排三塔模型、精排模型。DCN 由一个
【王树森推荐系统】特征交叉04：SENet 和 Bilinear 交叉
hxdxiaoming的博客
07-12 1165
这节课介绍几种方法： 1. SENet 是计算机视觉中的一种技术，可以用在推荐系统中对特征做动态加权。 2. 双线性（bilinear）特征交叉可以提升排序模型的表现。有很多种 bilinear 交叉的方法。 3. FiBiNet 是将 SENet 与 Bilinear 模型结合。
深度学习 - 43.SeNET、Bilinear Interaction 实现特征交叉 By Keras
BITDDD小栈
04-25 1347
kears 实现 FiBiNet 论文中的 SENET Layer 与 Bilinear Interaction Layer。
深度学习 - 42.特征交叉与 SENET、Bilinear Interaction 与 FiBiNet
BITDDD小栈
04-24 2276
新的特征重要性和双线性特征交叉网络 FiBiNet 模型论文笔记。
Bilinear CNN Models for Fine-grained Visual Recognition-笔记
雪碧橙子
05-01 1766
我们提出一个新的识别结构：bilinear CNN，它是由两个特征提取器组成，它们的输出在对应的位置进行外积相乘，形成最好的图像表示。
推荐系统王树森（四）特征交叉+行为序列
nju_spy的博客
08-28 1871
本文介绍了推荐系统中特征交叉和行为序列建模的关键技术。特征交叉部分详解了5种方法：FM因式分解机通过矩阵分解减少参数量；DCN网络显式建模高阶特征交叉；LHUC实现用户特征加权；SENet自主学习重要特征通道；Bilinear交叉通过中间矩阵处理不同维度特征。行为序列部分探讨了DIN模型利用注意力机制动态加权用户历史行为，以及SIM模型通过TopK筛选解决长序列计算问题。这些技术有效提升了推荐系统对特征交互和用户兴趣的建模能力。
FiBiNET详解：动态特征重要性与细粒度特征交互的CTR利器
机器学习，深度学习
05-28 941
广告投放和信息流排序对于许多互联网公司（如 Facebook 和新浪微博）至关重要。在众多真实世界中的广告与信息流排序系统中，点击率（CTR，Click Through Rate）预测扮演着核心角色。目前该领域已经提出了许多模型，例如逻辑回归、基于树的模型、因子分解机模型以及基于深度学习的 CTR 预测模型。然而，当前许多方法在计算特征交互时较为简单，常采用哈达玛积（Hadamard Product）或内积（Inner Product），并且较少关注特征的重要性。本文提出了一种新模型，命名为FiBiNET。
【卷积神经网络】卷积层、池化层、全连接层
一杯水果茶！足矣~
11-29 1776
卷积神经网络通过三维输入数据（h×w×c）直接提取特征，相比传统神经网络能更好地保留空间信息。其核心架构包含卷积层、池化层和全连接层，其中只有带权重参数的层（如卷积层和全连接层）计入网络深度。卷积层通过滑动窗口、步长调节、边缘填充和多核设计实现多层次特征提取，小卷积核堆叠既能扩大感受野又能减少参数量。感受野随网络深度递推增长，计算公式为RF_new = RF_prev + (k-1)×S_prev，这种层级结构使浅层提取局部特征，深层捕获全局特征。
【民族服饰识别系统】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积网络+resnet50算法
子午的博客
11-30 805
民族服饰识别，民族服饰智能识别与分析系统基于TensorFlow框架，采用卷积神经网络（CNN）算法构建而成。系统在收集了回族、汉族、满族、苗族四类典型民族服饰图像数据集的基础上，通过多轮迭代训练，最终生成高精度识别模型，并配合Web可视化平台实现便捷交互。前端后端：Django算法：TensorFlow、卷积神经网络算法具体功能系统分为管理员和用户两个角色，登录后根据角色显示其可访问的页面模块。登录系统后可发布、查看、编辑文章，创建文章功能中集成了markdown编辑器，可对文章进行编辑。
【动物识别系统】Python+TensorFlow+Django+人工智能+深度学习+卷积神经网络算法
子午的博客
12-01 420
动物识别系统，基于TensorFlow搭建Resnet50卷积神经网络算法，通过对4种常见的动物图片数据集（猫、鸡、马、狗）进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。技术栈项目前端使用Html、CSS、BootStrap搭建界面。后端基于Django处理逻辑请求基于Ajax实现前后端数据通信选题背景与意义在人工智能技术蓬勃发展的当下，动物识别作为计算机视觉领域的重要应用方向，有着广泛的实际需求，如动物保护监测、智能安防等场景均需精准高效的动物识别能力。
深度学习实战（基于pytroch）系列（四十一）长短期记忆（LSTM）pytorch简洁实现
echo的博客
11-29 1085
本文介绍了使用PyTorch简洁实现长短期记忆网络(LSTM)语言模型的方法。首先读取周杰伦歌词数据集并进行预处理，然后定义包含LSTM层和全连接层的RNN模型类，其中LSTM需要同时处理隐藏状态和细胞状态。文章详细展示了模型初始化、预测函数实现以及训练过程，包括梯度裁剪和数据迭代器设计。通过对比手动实现，突出了PyTorch框架在简化LSTM实现方面的优势，为自然语言处理任务提供了高效的解决方案。
深度学习1-软件安装
诚朴勇毅
12-03 255
为了研究深度学习与信号处理的结合，我又开始搞起了深度学习，博一的时候浅试过一次都失败了，这次打算学习一下Pytorch和一些最新的网络，好好做几篇论文。首先就是搭环境。我先安装了一个Anaconda，从网上搜了一大堆，我的理解是，Anaconda就是一个包管理器，因为pythoh版本太多了，而且要装的包也很多，各种包之间容易产生冲突，为了杜绝这个问题，我们可以安装一个Anaconda，它就像一个虚拟机，可以创建不同的操作系统，我们创建的不同任务和工程可以跑在不同的环境下。
Python连接云端Linux服务器进行远程 （后端开发/深度学习）时候的注意事项
少年何妨梦摘星，敢挽桑弓射玉衡。 他时若遂凌云志，敢笑黄巢不丈夫。
11-29 917
Python云端远程开发，遇到的相关的知识点。比如Linux以及shell的常用的命令，使用pyenv管理pyhton的版本！类似Vue使用nvm管理的！编写 `setup.py`？（配合 `-e .` 使用）Python连接云端Linux服务器进行远程 （后端开发/深度学习）时候的注意事项。深度学习，AI，神经网络，入门教程
深度学习助力图像增强：多算法与PyTorch复现
2508_94252591的博客
11-29 924
深度学习图像低光照增强算法低照度增强3DLUT,DeepUPT,DeepLPF,RetinexNet,Zero-DCE,EnlightenGAN,RetinexFormer等图像调色增强算法HDRNet,StarEnhancer,CSRNet等水下增强算法UWGAN,UIEGAN等pytorch架构复现，有代码和benchmark数据集在图像处理领域，针对不同场景和需求，有着各种各样的深度学习算法。
基于深度学习的手写数学公式识别与计算系统设计与实现
Dev7z的博客
11-30 794
随着深度学习和计算机视觉技术的快速发展，手写数学公式的自动识别与计算在智能教育、人机交互等场景中具有重要应用价值。本文围绕“基于深度学习的手写数学公式识别与计算系统设计与实现”这一课题，设计并实现了一套集公式图像输入、字符分割、字符识别及表达式计算于一体的完整系统。
[论文笔记] End-to-End Audiovisual Fusion with LSTMs
最新发布
2302_76169191的博客
12-03 373
本文是《End-to-end visual speech recognition with LSTMs》的进阶篇。它将基于 LSTM 的端到端架构从视觉（Visual）扩展到了视听（Audiovisual）领域，并将任务从单纯的“说话内容识别”扩展到“语音识别和非语言发声分类”。
深度学习调参手册：学习率、Batch Size 的最优搭配策略
dream_it_come_in的博客
11-30 1063
绑定关系：LR 与 BS 是 “步长” 和 “导航精度” 的关系，大 BS 配大 LR，小 BS 配小 LR，遵循 “线性缩放原则”；场景优先：显存充足选大 BS + 适配 LR，显存不足选小 BS + 小 LR + 梯度累积，特殊任务针对性调整；迭代验证：先定 BS 基线，再配初始 LR，最后对比多组组合，以验证集性能为核心指标。
SEnet 特征交叉
03-14
### FiBiNet 中 SENet 的特征交叉实现 SENet（Squeeze-and-Excitation Network）的核心思想在于通过学习通道间的依赖关系，动态调整各个通道的重要性权重。这种机制能够增强有用的信息并抑制无用的信息。 #### ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值