《AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks》

最新推荐文章于 2025-12-10 13:50:41 发布
原创 最新推荐文章于 2025-12-10 13:50:41 发布 · 306 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

《AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks》 第一次将attention思想运用到推荐系统的特征交叉领域中，Note：Docs

CIKM2019|AutoInt自注意力神经网络自动学习特征交互(已开源)
hestendelin的专栏
10-26 1199
AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural NetworksWeiping Son...
【论文阅读】AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks(CIKM,19)
凝眸伏笔的博客
08-06 2052
一句话总结：继交叉特征之后加入特征筛选（交叉特征的扩展）。Self-Attention会先计算每个embedding向量和其他向量的相关系数，然后再用所有向量的系数乘上自己的embedding作为下一层的输入，所以我们可以计算得到每个向量和其他向量的关系，再将相关性强的特征进行组合，作为新的特征。 写在前面： 传统的推荐算法，从LR，Poly2，FM，FFM，这些方法基本都还是基于二阶交叉，随着DNN的发展，有了词的embedding，我们开始尝试用堆叠网络层的方案来获取深度的特征交叉，于是在中间几年更
AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks
ChristineC_的博客
02-24 1565
时间：2019.08 作者：Weiping Song, Chence Shi, Zhiping Xiao, Zhijian Duan, Yewen Xu, Ming Zhang, Jian Tang Abstract 使用Multi-head self attention来进行自动特征交叉学习 Model Architecture Embedding Layer c...
[CIKM2019] AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks
卢之
05-24 528
像CTR预估这种任务在推荐系统或者在线广告当中十分常见，但是这个问题也非常具有挑战性，比如所使用的输入特征都是离散并且高维的，有效的预测依赖于高阶组合特征(又称交叉特征)。因此，人们一直在努力寻找稀疏和高维原始特征的低维表示及其有意义的组合。 这篇论文提出了AutoInt来学习高阶特征的交叉表示。并且提出了一个具有残差连接的多头自关注力神经网络，以明确地模拟低维空间中的特征互动。通过多头自关注神...
AutoInt：使用Multi-head Self-Attention进行自动特征学习的CTR模型
热门推荐
浅梦的学习笔记
12-27 1万+
本文首发于知乎专栏 https://zhuanlan.zhihu.com/p/53462648 简介 这篇论文提出使用multi-head self attention(类似Transformer里的那个) 机制来进行自动特征交叉学习以提升CTR预测任务的精度。 废话不多说，先看下主要结构。典型的四段式深度学习CTR模型结构：输入，嵌入，特征提取，输出。这里我们重点看下嵌入和特征提取部分 核心结...
AutoInt，即Automatic Feature Interaction Learning via Self-Attentive Neural Networks，请用继承keras.Layer的方式实现，并重写Layer的init、build、call、get_config方法
02-07
AutoInt 是一种通过自注意力神经网络来学习特征交互的方法。 可以通过继承 keras.layers.Layer 类来实现 AutoInt。重写 init、build、call、get_config 方法可以自定义层的初始化、构建、运行和序列化。 以下是一...
AutoInt模型——Transformer玩特征交互
Cybenko
04-27 2865
浅层模型的FM, FFM, HOFM, FwFM到深层模型的DNN, PNN, NFM, AFM, DeepFM, DCN, xDeepFM, FiBiNet等，关于特征交叉方向的模型paper， FiBinet模型通过SENET动态选择有用的交互特征， 然后再用一个双线性交互进行增强提高。在模型上并没有引入很复杂的结构，却能起到比较不错的效果。
20篇最值得一读的深度推荐系统与CTR预估论文
AI科技大本营
07-09 3334
作者 |深度传送门转载自深度传送门（ID: gh_5faae7b50fc5）微博上近日流传一个段子，“2020年曾是各大科幻片中遥远的未来，但是现在离这个遥远的未来也...
深度学习CTR模型粗略记录
大锅八十小锅四十
06-14 938
这里写自定义目录标题FM：Factorization MachinesDNN：Embedding+MLPWND:Wide & Deep Learning for Recommender SystemsNFM：Neural Factorization Machines for Sparse Predictive AnalyticsAFM: Attentional Factorization ...
浅析Attention在推荐系统中的应用（3）AutoInt模型
黑暗之神
03-23 1358
欢迎关注本人公众号： petertalks 专栏目录： 浅析Attention在推荐系统中的应用（1）Attention简介 浅析Attention在推荐系统中的应用（2）阿里Deep Interest Network模型 浅析Attention在推荐系统中的应用（3）AutoInt模型 浅析Attention在推荐系统中的应用（4）Transformer与阿里BST模型 前言 ...
AutoInt论文笔记
weixin_45459911的博客
06-23 3100
AutoInt Abstract CTR的本质工作：寻找稀疏高维特征的低维表示与有效组合。 本文提出AutoInt可以自动获取高阶特征的交互。 1、Introduction 2、Related Work NFM、PNN、FNN等进行特征的隐式交互，缺乏解释性 关于解释性主要有以下三个方向： Deep&Cross、xDeepFM等显式交互，但仍缺乏解释 树模型，利用embedding加树模型，但是训练要分多步骤进行 HOFM，高阶交互可解释性 3、Problem Definition
【数据挖掘】金融风控 Task03 特征工程
一一xi的博客
09-21 1125
【数据挖掘】金融风控 Task03 特征工程特征工程介绍数据预处理查找出对象和数值特征进行缺失值填充时间格式处理对象类特征的处理类别特征处理异常值的处理数据分箱固定宽度分箱分数位分箱卡方分箱和其他分箱方法的尝试特征交互特征编码特征选择 学习地址：https: //github.com/datawhalechina/team-learning-data-mining/tree/master/FinancialRiskControl 天池竞赛地址：https://tianchi.aliyun.com/comp
人工智能的基石之三：硬件
最简单的方法，解决最实际的问题。
12-05 729
高性能硬件是人工智能的基石，尤其是在机器学习和深度学习领域，海量数据是常态。从充当计算机大脑的中央处理器 (CPU) 到加速计算的图形处理器 (GPU)，硬件的作用是提供处理和运行复杂数据算法所需的原始能力。
【论文速递】2025年第34周(Aug-17-23)(Robotics/Embodied AI/LLM)
淋曦的进击手记
12-07 1583
自我监督的学习有望消除对手动数据注释的需求，从而使模型能够毫不费力地扩展到大规模的数据集和较大的体系结构。通过不针对特定的任务或领域量身定制，这种训练范式有可能使用单个算法从不同的来源学习视觉表示形式，从自然到航空图像。该技术报告介绍了Dinov3，这是通过利用简单而有效的策略来实现这一愿景的主要里程碑。首先，我们利用仔细的数据准备，设计和优化来扩展数据集和模型大小的好处。其次，我们介绍了一种称为GRAM锚定的新方法，该方法有效地解决了长期训练时间表中已知但未解决的密集特征映射降解的问题。
LLM交互工具汇总：Open WebUI、ChatBot-UI、浏览器插件、Studio
lonelymanontheway的博客
12-05 819
Open WebUI、实战、mcpo、ChatBot-UI、实战、轻量级、浏览器插件、Page Assist、ollama-ui、Studio类工具、Cherry Studio、LM Studio、Msty Studio、参考、
宝马，如何建设一座AI汽车工厂？｜产业AI案例
chanyejiawang的博客
12-08 1060
AI汽车时代来袭
【农作物谷物识别系统】Python+TensorFlow+Django+人工智能+深度学习+卷积神经网络算法
子午的博客
12-05 868
农作物谷物识别系统，基于TensorFlow搭建卷积神经网络算法，通过对11种常见的谷物图片数据集（‘大米’, ‘小米’, ‘燕麦’, ‘玉米渣’, ‘红豆’, ‘绿豆’, ‘花生仁’, ‘荞麦’, ‘黄豆’, ‘黑米’, ‘黑豆’）进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。技术栈项目前端使用Html、CSS、BootStrap搭建界面。后端基于Django处理逻辑请求基于Ajax实现前后端数据通信选题背景与意义。
大模型的监督微调基础详解
最新发布
AggressiveYu的博客
12-10 837
在预训练完毕之后，我们的模型已经成为了一个学习完所有知识的学生，但是他缺乏用适当的方式表达知识的能力，还是停留在续写文本的阶段，无法直接回答我们的问题，所以监督微调这个时候就出来了，这个指令微调的作用，就是让模型在预训练的基础上，通过特定的数据和训练，让模型能够更好的回答用户的问题。 预训练一般包括三大要素，网络结构，损失函数，训练数据。指令微调和预训练的方式几乎没有区别，只是训练数据的不同。
AI大模型中的MCP协议核心设计原理
猫哥 的沉淀、积累、总结。天天学习，好好向上...c/c++,嵌入式 linux,Android,HarmonyOS，AIOT)
12-07 953
MCP协议是Anthropic提出的标准化AI模型与外部工具交互的通信协议。文章从核心设计、路由机制、安全控制三方面解析MCP：采用JSON-RPC 2.0增强实现，支持多种通信模式；通过动态注册表和智能路由策略实现分布式调度；设计安全沙箱保障执行安全。企业案例显示其延迟<120ms、可用性达99.995%。MCP显著提升工具接入效率，降低40%+资源消耗，推动AI工具生态发展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Blockchain410

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值