论文笔记——Fine-grained Interest Matching for Neural News Recommendation

细粒度兴趣匹配：神经新闻推荐新模型FIM
最新推荐文章于 2023-01-13 18:08:31 发布
原创 最新推荐文章于 2023-01-13 18:08:31 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了FIM模型在新闻推荐系统中的应用，该模型通过多级别用户兴趣表征和卷积神经网络提高兴趣匹配精度。FIM包括News Representation Model、Cross Interaction Model和Click Predictor Model三个部分，利用Hierarchical Dilated Convolution编码新闻特征，并通过交叉乘积和3D CNN捕捉用户与新闻的匹配向量，从而更准确地预测用户点击行为。

目录

Abstract

本篇论文是针对个人新闻推荐系统再提出了一个新的模型——FIM（同样基于神经网络）

  • 核心问题： 用户的兴趣与候选新闻二者的精确匹配
  • 现有模型存在的问题： 现存的模型都会选择将用户的兴趣表征为一个单独的向量，这样会使用户的很多兴趣表征缺失
  • FIM模型的基本构造思路： 不同于之前的模型将用户的兴趣表征为一个联合的向量，FIM模型使用多级别的用户兴趣表征方式使用卷积神经网络来提取用户的多方面的兴趣。

Approach

问题的建模

个人新闻推荐问题可以表述如下，给定用户 u，以及用户 u 的点击新闻历史 Su，然后给定候选新闻 Ci，候选新闻还带有标签 Yi，根据以上给出的数据来求一个模型 g，来通过给出一个用户 u 以及其历史点击新闻 Su 来预测用户是否会点击候选新闻。

Model View

FIM模型分为三部分，News Representation Model、Cross Interaction Model以及Click Predictor Model，分别为用于新闻表示的模型，交叉乘积的模型以及预测评分的模型
在这里插入图片描述

  • News Representation Model
    这一部分的模型是用来学习得到News的表征。
    首先，根据作者的阐述，一个用户点击News应该根据的是News的Title以及Category，所以将News的Title与Category做连接作为输入向量。
    Input： 模型的输入为
    在这里插入图片描述
    Word Embedding： 先对News的输入向量做词向量的转换进一步得到News的表征矩阵
    在这里插入图片描述
    CNN： 使用dilation convolution来构造HDC（Hierarchical Dilated Convolution）编码器来进一步学习News的特征表示
    在这里插入图片描述
    计算公式如下：在这里插入图片描述
    经过以上两步，一篇News就转换为 L 个表征向量,L 指的是使用了几层的空洞卷积，现在News的表征矩阵可以表示为
    在这里插入图片描述

  • Cross Interaction Model
    在这个模型中，将上述得到各个News的表征矩阵与候选新闻的表征矩阵进行相乘
    在这里插入图片描述
    计算公式如上
    k,c表示第k个历史点击新闻以及候选新闻c
    为了很好地表示用户的兴趣信息，在这一步将所有交叉乘积得到的表征矩阵汇总到一个三维的矩阵中
    在这里插入图片描述
    n即为历史点击新闻的总数
    然后使用一个三维的卷积神经网络得到用户与候选新闻的匹配向量

  • Click Predictor
    这一层只有一个线性层来最后获得用户与候选新闻的匹配分数
    在这里插入图片描述

损失函数

与之前几篇论文一样取了负样本进行一起训练，损失函数如下：
在这里插入图片描述

Experiment

实验参数的配置：
  • 词向量维度：300
  • News的表征单词数目：20
  • 卷积神经网络中窗口大小以及数目：3 150
  • HDC编码层：[1, 2, 3]
  • 3D卷积神经网络的过滤器：
    第一层：32-[3,3,3]
    第二层：16-[3,3,3]
    步幅：[1,1,1]
    池化层大小以及步幅：[3,3,3] [3,3,3]
    负样本数：4
    批大小：100
    学习率：1e-3
实验结果如下

在这里插入图片描述

心得

因为是刚刚入门推荐系统，也只是粗略的阅读了几篇论文，所以理解的并不深刻，后续如果有更深的理解会再进行补充

新闻推荐笔记（2）：Embedding-based News Recommendation for Millions of Users
weixin_42844368的博客
02-25 504
面向数百万用户的嵌入式新闻推荐 雅虎 KDD2017 摘要 基于ID的方法，如协同过滤和低阶分解，以推荐著称，但不适合用于新闻推荐，因为候选文章很快过期，并在短时间内被新的文章替换。 信息检索中经常使用的基于词的方法系统性能表现良好，但存在很多问题（处理同义词、拼写变体以及定义用户历史活动中的“查询”的能力等问题。） 因此本文提出了一种基于嵌入的三步end-to-end方法...
Neural News Recommendation with Long- and Short-term User Representations
sendoh的博客
06-03 909
文章目录Neural News Recommendation with Long- and Short-term User RepresentationsAbstract Neural News Recommendation with Long- and Short-term User Representations Abstract 在新闻推荐中，关键的问题是学习精确的用户表示来捕捉他们的兴趣。Users usually have both long-term preferences and short-
推荐系统论文 Fine-grained Interest Matching for Neural News Recommendation
Braylon的博客
12-06 338
Fine-grained Interest Matching for Neural News Recommendation ACL 2020 Main Idea Instead of aggregating user’s all historical browsed news into a unified vector, we hierarchically construct multi-level representations for each news via stacked dilated c
Fine-Grained Recommendation Mechanism to Curb Astroturfing in Crowdsourcing Systems
02-11
Crowdsourcing activities, carrying out large-scale tasks via wisdoms of crowds, are widely used in practice. However, it is hard for users to find tasks that are suitable for them. Thus, many users participate in tasks they are not good at or not interested in, and give answers carelessly or randomly. This phenomenon causes heavy astroturfing problem in crowdsourcing systems, which not only hurts the quality of completing tasks, but also influences user experience. Therefore, recommendation mechani
(ACL+ICML)2020推荐系统相关论文聚焦
张小磊的博客
07-03 1402
前言第58届国际计算语言学协会年会（ACL，The Association for Computational Linguistics）将于2020年7月6号-8号线上举行。官网公布了A...
请查收！顶会AAAI 2020录用论文之自然语言处理篇
热门推荐
语言智能技术笔记簿
02-23 1万+
2020年人工智能顶级会议AAAI录用的自然语言处理领域的研究论文已为您准备就绪，请查收！
CCF A类会议或期刊----近两年聚类相关论文
Thincor的博客
03-21 6621
会议/期刊 论文 sigmod2021 Fast Density-Peaks Clustering: Multicore-based Parallelization Approach. sigmod2021 SharPer: Sharding Permissioned Blockchains Over Network Clusters. sigmod2021 Dynamic Structural Clustering on Graphs. sigmod2021 On Saving....
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6398
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
CCF A类会议或期刊----近两年自监督相关论文
Thincor的博客
03-19 5840
会议/期刊 论文 neurips2020 Self-Supervised MultiModal Versatile Networks. neurips2020 Self-Supervised Relationship Probing. neurips2020 Cross-lingual Retrieval for Iterative Self-Supervised Training. neurips2020 Adversarial Self-Supervised Contrast....
“MTRec- Multi-Task Learning over BERT for News Recommendation” MTRec-用于新闻推荐的BERT上的多任务学习
weixin_43221749的博客
01-13 586
“MTRec- Multi-Task Learning over BERT for News Recommendation” MTRec-用于新闻推荐的BERT上的多任务学习
【论文笔记】U-BERT: Pre-training User Representations for Improved Recommendation
BodyCsoulN的博客
12-02 2471
原文作者：Zhaopeng Qiu, Xian Wu, Jingyue Gao, Wei Fan 原文标题：U-BERT: Pre-training User Representations for Improved Recommendation 原文来源：AAAI 2021 原文链接：https://www.aaai.org/AAAI21Papers/AAAI-2116.QiuZ.pdf U-BERT: Pre-training User Representations for Improved Reco
论文笔记 | 基于双线性CNN模型的细粒度视觉识别
kangdk 视其所以，观其所由，察其所安。
01-11 1万+
细粒度视觉识别之双线性CNN模型 [1] Lin T Y, RoyChowdhury A, Maji S. Bilinear cnn models for fine-grained visual recognition[C]//Proceedings of the IEEE International Conference on Computer Vision. 2015: 1449-1457.
NewsRecommendation
qq_43753721的博客
09-06 3382
文章目录简介问题定义背景Problem Definition评价指标数据集已有的模型 简介 NewsRecommendation是Recommendation的一个子领域，但是新闻推荐系统不同于其他的推荐系统，还需要对新闻文本进行处理，之前NewsRecommendation这个领域没什么进展是因为缺乏相关的数据集，Microsoft最近刚刚开源了MIND数据集，可以使用MIND数据集来研究新闻推荐系统的相关模型算法** *关于MIND数据集的介绍可以参考这篇paper：MIND: A Large-scal
ACL2020推荐系统论文
weixin_45459911的博客
09-07 385
Dynamic Online Conversation Recommendation Towards Conversational Recommendation over Multi-Type Dialogs Fine-grained Interest Matching for Neural News Recommendation Graph Neural News Recommendation with Unsupervised Preference Disentanglement MIND: A Lar
机试准备
qq_43753721的博客
03-16 162
pku2014机试
深度解析论文FiBiNET: Combining Feature Importance and Bilinear Feature Interaction for Click-Through Rate
qq_36013952的博客
12-22 859
CEPR: A Collaborative Exploration and Periodically Returning Model for Location PredictionAbstractQuestionMethodModelContributionAnswer Abstract Question ①目前的很多研究都是用Hadamard product、inner product等简单的方法来计算特征交互，对特征的重要性关注较少。 ②不同的特征对目标任务有不同的重要性。例如，当我们预测一个人的收入时
新闻推荐数据集MIND介绍
qq_43753721的博客
07-25 6777
新闻推荐数据集介绍 本篇博客介绍的是微软刚刚开源的数据集MIND，关于MIND的介绍可以看这 个：微软关于MIND数据集的介绍 MIND数据集简介 MIND即MIcrosoft News Dataset的简写，MIND数据集是用来做新闻推荐研究，MIND里的数据来自Microsoft News用户的行为日志。 MIND的数据集里包含了1,000,000的用户以及这些用户与160,000的文章的交互行为。 MIND数据集的构造 MIND数据集的构造：在2019年十月12号到11月22号这段时间内随机抽取1,0
论文笔记——News Recommendation with Topic-Enriched Knowledge Graphs
qq_43753721的博客
10-28 1213
文章目录Abstract Abstract 概述 引用论文中的一句话，新闻推荐系统的目标是处理大量的新闻以及给用户提供个性化的新闻推荐。 动机 新闻的标题中蕴含着丰富的实体信息以及话题信息，但是现有的模型通常忽略了实体信息与话题信息之间的关联，所以本篇paper提出了一个新的模型TEKGR（引入了知识图谱） 模型简介 TEKGR从两个方面处理Title： （1）只从Title的单词中提取新闻的语义信息 （2）通过知识图谱（考虑话题、实体以及文本信息的关联）来对新闻的语义信息进行又一次提取 实验证明该模型优
Fine-Grained Feature Enhancement for Object Detection in Remote Sensing Images
04-04
Object detection in remote sensing images is a challenging task due to the complex backgrounds, diverse object shapes and sizes, and varying imaging conditions. To address these challenges, fine-grained feature enhancement can be employed to improve object detection accuracy. Fine-grained feature enhancement is a technique that extracts and enhances features at multiple scales and resolutions to capture fine details of objects. This technique includes two main steps: feature extraction and feature enhancement. In the feature extraction step, convolutional neural networks (CNNs) are used to extract features from the input image. The extracted features are then fed into a feature enhancement module, which enhances the features by incorporating contextual information and fine-grained details. The feature enhancement module employs a multi-scale feature fusion technique to combine features at different scales and resolutions. This technique helps to capture fine details of objects and improve the accuracy of object detection. To evaluate the effectiveness of fine-grained feature enhancement for object detection in remote sensing images, experiments were conducted on two datasets: the NWPU-RESISC45 dataset and the DOTA dataset. The experimental results demonstrate that fine-grained feature enhancement can significantly improve the accuracy of object detection in remote sensing images. The proposed method outperforms state-of-the-art object detection methods on both datasets. In conclusion, fine-grained feature enhancement is an effective technique to improve the accuracy of object detection in remote sensing images. This technique can be applied to a wide range of applications, such as urban planning, disaster management, and environmental monitoring.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值