Github开源项目2.0---使用TensorFlow2.0对经典推荐论文进行复现【持续更新中...】

最新推荐文章于 2025-04-23 20:04:18 发布
置顶 最新推荐文章于 2025-04-23 20:04:18 发布
阅读量1.2k 收藏 7
点赞数 3
文章标签： python 推荐系统 CTR github
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Blank_spaces/article/details/107679429
版权
该项目旨在复现推荐系统和CTR预估论文，使用TF2.0进行实现，包括NCF、DIN、Wide&Deep等模型。作者分享了数据集介绍、论文模型解析和实验过程，旨在缩小理论与实践的差距，提升工程能力。项目代码规范、文档详细，方便读者理解和复用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

由于昨天复制未发现链接失效了，所以今天再发一遍。希望大家可以star一下我的GitHub开源项目：Recommended System with TF2.0 。

地址：https://github.com/BlackSpaceGZY/Recommended-System-with-TF2.0

大家可以通过【阅读原文】打开Github地址。

建立原因

开源项目Recommended System with TF2.0主要是对阅读过的部分推荐系统、CTR预估论文进行复现。建立的原因有三个：

  1. 理论和实践似乎有很大的间隔，学术界与工业界的差距更是如此；

  2. 更好的理解论文的核心内容，增强自己的工程能力；

  3. 很多论文给出的开源代码都是TF1.x，因此想要用更简单的TF2.0进行复现；

当然也看过一些知名的开源项目，如DeepCTR等，不过对自己目前的水平来说，只适合拿来参考。

项目特点

项目特点：

  • 使用TF2.0-CPU进行复现；

  • 每个模型都是相互独立的，不存在依赖关系；

  • 模型基本按照论文进行构建，

最低0.47元/天 解锁文章
Blank_spaces
关注
【人工智能】国产开源大模型 baichuan-7B 百川聊天 BaiChat 快速开始上手实战&效果实测 —— 希望 baichuan-7B 再打磨打磨吧
AI天才研究院
06-16 1万+
baichuan-7B 是由百川智能开发的一个开源可商用的大规模预训练语言模型。基于 Transformer 结构，在大约1.2万亿 tokens 上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。在标准的中文和英文权威 benchmark（C-EVAL/MMLU）上均取得同尺寸最好的效果。
Code-For-Recommendation:推荐系统领域经典论文代码复现
04-02
推荐代码 推荐系统领域经典论文代码复现。 调频Python手动实现TensorFlow实现
数十篇推荐系统论文被批无法复现：源码、数据集均缺失，性能难达预期
AI科技大本营
07-27 5535
作者 |Maurizio Ferrari Dacrema译者 |凯隐责编 | Jane出品 | AI科技大本营（ID: rgznai100）【导读】来自意大利米兰理工...
复现 GitHub 项目：步骤指南
最新发布
amorsa的博客
04-23 915
对于小白来说在 GitHub 上复现深度学习项目可以是一个非常有益的学习过程（但是这个过程往往痛苦不堪），它能帮助你理解代码实现的细节，并可能为你自己的项目提供参考。下面是一个详细的步骤指南，帮助你复现 GitHub 上的项目。
Recommender-System:在tensorflow中开发的推荐系统2。 算法
03-11
推荐系统 一个开发中的推荐系统，在tensorflow 2中实现。 数据集：MovieLens-100k，MovieLens-1m，MovieLens-20m，lastfm，Book-Crossing和一些satori知识图。 算法：UserCF，ItemCF，LFM，SLIM，GMF，MLP，NeuMF，FM，DeepFM，MKR，RippleNet，KGCN等。 评估：ctr的auc f1和topk的精度调用。 要求 Python 3.8 Tensorflow 2.4.1 跑 ，并将“ ds”和“ kg”放在“ Recommender_System / data”文件夹下。 在PyCharm中将当前文件的父目录作为项目打开，设置Python 3.8解释器并pip install tensorflow == 2.4.1。 转到Recommender_System / algo
复现推荐系统论文的代码结果（深度学习，Pytorch，Anaconda）
yang625624461的博客
04-13 2650
直接把报错提示粘贴到百度去搜，得到解决方案，把源码里的一个download函数注释掉，然后去下别人提供的static资源，替换掉原来自带的static文件夹。目前来看这是一个老版本没有，而新版本visdom才有的问题，应当是国内特有的网络环境导致的，未来是否会修复也不清楚。在Pycharm里找到标红的import代码，在anaconda里的开启终端，切换到我们预设的环境里。修改代码里的绝对路径，把DICE/src/config/const.py里的m110m和nf数据集路径都改成自己的。
【推荐系统】TensorFlow复现论文DeepCrossing特征交叉网络结构
优快云 精品推荐
11-18 728
文章目录一、导包二、读取数据三、获取分类特征和数值特征四、数据处理五、使用具名元组为特征做标记六、构建模型6.1 构建输入层6.2 将类别特征进行embedding6.3 将所有的sparse特征embedding进行拼接6.4 构建残差块6.5 构建输出层6.6 构建模型七、训练模型7.1 构建模型7.2 编译模型7.3 准备输入数据7.4 模型训练 一、导包 from collections import namedtuple # 使用具名元组 import tensorflow as tf from
Github项目---使用TF2.0进行推荐论文复现
Blank_Space
07-15 1077
前言看过一些比较知名的推荐系统、CTR预估论文。开【Recommended-System with TensorFlow 2.0】的原因有三个：论文只看理论感觉有些地方简单，但是实践起来...
2018阿里广告点击率预估模型---DIN，Tensorflow2.0代码实践，并附上github
Blank_Space
05-28 3523
前言 最近看了2018年阿里在KDD上发表的论文《Deep Interest Network for Click-Through Rate Prediction》，想复现下，看了文章给出的github开源代码，发现环境是TF1.4的，并且注释太少，有些没大理解【还是太菜了】，因此准备参考原有代码使用TF2.0来对模型进行简单的复现。如果有些地方有些出入或者错误，请大佬们给我指出，感谢【因为现在没服务器，所以没像开源中跑完50个epoch】 数据分析 1、数据集为论文中的Amazon Dataset，下载并解
第1章【深度学习简介】--动手学深度学习【Tensorflow2.0版本】
土豆洋芋山药蛋的博客
12-17 1196
项目地址：https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0 UC 伯克利李沐的《动手学深度学习》开源书一经推出便广受好评。很多开发者使用了书的内容，并采用各种各样的深度学习框架将其复现。 现在，《动手学深度学习》书又有了一个新的复现代码版本——TensorFlow2.0 版，短时间内成为了github上千star项目，欢迎关注。 深度...
【推荐系统】TensorFlow复现论文PNN网络结构
优快云 精品推荐
11-20 1461
文章目录一、导包二、数据处理三、搭建模型3.1 输入层3.2 Embedding层3.3 EmbeddingInput3.4 Produce层3.5 MLP层3.6 PNN模型四、运转模型4.1 读取数据4.2 使用具名数据为特征做标记4.3 编译模型4.4 训练模型4.5 绘制网络结构 下图为PNN的模型结构图，首先将Sparse特征进行Embedding嵌入，然后将其流入Product，分别进行捕捉线性关系lz和特征交叉lp，然后拼接，流到MLP全连接层，最终输出CTR概率值。 一、导包 import
ID-DAML:推荐系统---实验+复现+创新
03-11
改进建议 推荐系统---实验+复现+创新 书籍阅读复现阶段 推荐系统实践 论文阅读复现阶段 DeepCoNN 完成 NRPA 完成 DAML 完成 自己的论文 DAML改进了对DAML模型在id信息融合方式上的NRPA模型的思想的完成（模型见/pic/IDAML.png） DAML-Distance对DAML模型在id信息融合方式上合并NRPA模型的思想垂直距离公式进行研究完成 欧式距离（常规+标准化修订） 皮尔逊相关系数 数据集 电影行（ ） 亚马逊5核（ ） YELP（ ） 参数（reviews_Sports_and_Outdoors_5最佳） :warning: DropOut概率参数本仓库全部放置于1，无参考价值，为Demo，请具体根据实际场景进行调整 #DeepCoNN BATCH_SIZE = 64 EPOCHS = 50 LEARN
recommend_book:基于tensorflow 2.0的推荐书籍系统
03-11
荐书 基于tensorflow 2.0的推荐书籍系统 该系统是基于书籍数据的推荐系统，不同的模型结构图在.png文件格式中展示。有不同的模型结构，主要区别在于对blurb和title的处理第二版主要采用了word2Vec训练blurb，这让结果上升了约10％
Movie_Recommender:利用tensorflow实现电影推荐系统
03-11
推荐人 利用tensorflow实现电影推荐系统使用的数据集为MovieLens数据集
movie-recommendation-system:使用TensorFlow 2.1构建基于贝叶斯个性化推荐的推荐系统
03-11
电影推荐系统 每个城市有数百家餐厅，数千部电影和数百万其他高质量的产品，个性化推荐可以帮助我们节省大量时间。 推荐系统（RS）已成为我们时代的无处不在的服务。 在这个项目中，我将考虑如何使用贝叶斯个性化排名构建推荐系统。 隐式反馈的贝叶斯个性化排名 通常，对于给定的用户项目互动（例如得分），我们没有明确的反馈。 为了解决这个问题，开发了贝叶斯个性化排名的特殊方法。 如果我们假设与用户互动的商品是正面示例，则我们无法确定所有其他商品对特定用户都是负面的。 但是，我们仍然可以假设没有交互作用的项目是负样本。 现在，我们可以将数据抽样到三元组中：一个用户，一个正项，一个负项（）： 您可以的阅读更多详细信息。 数据 我将使用之一的MovieLens数据集。 该模型 为了构建模型，我们将使用TensorFlow 2.1。 这是神经网络的架构： 安装 只需运行命令make init 。 它将设置并
tensorflow_practice：tensorflow实战练习，包括强化学习，推荐系统，nlp等
02-21
Tensroflow练习 相关数据集下载地址：链接： ://pan.baidu.com/s/1GMv7_3qruoVZBJMvN-afGA密码：ako7基于tf1.4 目录 1，基础 2，自然语言相关 3，强化学习相关 4，推荐系统 5，甘 推荐阅读 1，基础2，自然语言相关 3，强化学习相关 4，推荐系统5，甘
【推荐系统】TensorFlow复现论文NeuralCF网络结构
优快云 精品推荐
11-19 1349
文章目录一、导包二、读取数据三、特征编码处理四、使用具名元组为特征进行处理五、构建模型5.1 输入层5.2 Embedding层5.3 GML5.4 MLP5.5 输出层5.6 构建模型六、运转模型 下图为NeutralCF的模型结构图，总共两个分支，第一个分支为GML，第二个为MLP，GML通路将两个特征的Embedding向量进行内积操作，MLP将两个特征的Embedding的向量进行拼接，然后使用多层感知机进行传播，然后将两个通路输出的向量进行拼接，导入全连接层（输出层），输出Score。 一、导包
【论文复现赛】第六期冠军项目-MetaHeac-推荐系统
m0_63642362的博客
06-24 586
一、简介 在推荐系统和广告平台上，营销人员总是希望通过视频或者社交等媒体渠道向潜在用户推广商品、内容或者广告。扩充候选集技术（Look-alike建模）是一种很有效的解决方案，但look-alike建模通常面临两个挑战：（1）一家公司每天可以开展数百场营销活动，以推广完全不同类别的各种内容。（2）某项活动的种子集只能覆盖有限的用户，因此一个基于有限种子用户的定制化模型往往会产生严重的过拟合。为了解决以上的挑战，论文《Learning to Expand Audience via Meta Hybrid Ex
【推荐系统】TensorFlow复现论文Wide&Deep网络结构
优快云 精品推荐
11-22 745
文章目录一、导库二、数据处理三、搭建Wide&Deep模型3.1 构建输入层3.2 Embedding层3.3 Wide部分logits3.4 Deep部分logits3.5 Wide&Deep四、运行模型4.1 准备操作4.2 构建模型4.3 编译模型4.4 模型训练 下图为Wide&Deep的模型结构图，该模型结合了线性模型的Memorization和神经网络的捕捉深层特征的Generation，将特征分为两个输入源分别输入Wide和Deep部分，最终将两个模型的logits进行
如何进行代码复现？
03-18
<think>嗯，用户想了解如何进行代码复现。首先，我需要明确代码复现的步骤，并确保用中文解释清楚。应该从获取原始资料开始，然后是环境配置、代码分析、依赖安装、运行调试、结果对比，再到文档记录。每个步骤都需要详细说明，可能还要举例子帮助理解。 首先，获取原始材料，包括论文、官方代码库、数据集等。用户可能需要知道如何查找这些资源，比如arXiv、GitHub链接，或者联系作者。这里需要提醒用户注意版本和分支，比如GitHub的commit记录或者release版本。 接下来是环境配置，这部分可能比较复杂。需要解释不同框架如PyTorch、TensorFlow的环境配置，可能涉及Docker或虚拟环境。比如，用conda创建环境，安装特定版本的CUDA。还要注意硬件要求，比如GPU型号和内存大小。 然后是代码分析，这部分需要引导用户理解代码结构，比如模型定义、数据处理、训练流程等。可能需要提到使用调试工具或打印语句来跟踪流程。例如，在关键位置添加print或者断点，检查数据流是否正确。 依赖安装方面，要强调根据requirements.txt或官方文档安装，同时注意版本冲突。比如，PyTorch的版本可能与某些库不兼容，这时候需要指定版本号。如果遇到问题，可能需要手动调整依赖版本。 运行调试阶段，用户可能会遇到各种报错，需要耐心排查。例如，数据路径错误、维度不匹配、缺失依赖项等。建议用户先跑通官方示例，再尝试自己的数据。可能还要提到调整超参数，比如学习率或batch size，以适应不同的硬件环境。 结果对比部分，需要确保复现的结果与原文一致，或者至少趋势相同。如果结果差异大，可能需要检查数据预处理、模型结构或随机种子。例如，设置固定的随机种子以保证可重复性，或者检查数据增强步骤是否正确。 文档记录很重要，用户需要记录每一步的操作和遇到的问题，方便后续复查或分享。可以使用Markdown或Jupyter Notebook整理过程，甚至开源到GitHub，方便他人参考。 此外，常见问题可能包括环境配置错误、依赖冲突、数据缺失、算力不足、随机性等。需要给出具体的解决建议，比如使用Docker镜像、降级依赖版本、调整数据路径、简化模型或设置随机种子。 最后，总结代码复现的关键点，强调系统性、耐心和沟通。可能还要建议用户参考社区资源，如GitHub Issues、Stack Overflow等，遇到问题时积极寻求帮助。 整个过程中，需要保持逻辑清晰，步骤分明，用通俗易懂的中文表达，避免使用过于专业的术语，或者如果使用的话要适当解释。同时，按照用户的要求，数学公式要用$...$或$$...$$格式，但当前问题中可能涉及较少数学内容，不过如果有的话需要正确应用，比如在解释模型结构时提到某些公式。需要检查是否有需要LaTeX的地方，但当前问题可能主要涉及步骤说明，所以可能用不上太多数学公式。不过，如果有提到损失函数或优化算法，可能需要用LaTeX，例如$L = \frac{1}{n}\sum_{i=1}^n (y_i - \hat{y}_i)^2$这样的均方误差公式。需要根据内容判断是否添加，但用户的问题主要是代码复现流程，可能数学内容较少，所以可能不需要太多公式。 另外，需要确保回答的结构符合用户要求：结构清晰，逐步解决问题。因此，分步骤说明，每个步骤下有子点或解释，可能用编号或项目符号。同时，注意使用中文标点和术语，比如“数据集”而不是“dataset”，“GitHub”可以保留英文，因为常用。 最后检查是否符合系统级指令，比如行内公式用$...$，独立公式用$$...$$，但当前回答中可能没有太多公式，所以这部分可能没问题。确保LaTeX语法正确，回答结构清晰，分步骤说明，用中文。可能还需要举例说明，比如在环境配置时提到conda create命令，或者在依赖安装时给出pip install -r requirements.txt的例子。这样用户更容易理解和操作。</think>代码复现是科研和工程中的关键技能，以下是分步骤指南： --- ### 一、获取原始材料 1. **论文与文档** - 精读论文（如arXiv、会议期刊）中的`Method`和`Experiment`章节，明确算法流程、超参数设置。 - 查找作者提供的**官方代码库**（GitHub链接常见于论文末尾）。 - 若代码未公开，可通过邮件联系作者或查找社区复现版本。 2. **数据集与资源** - 确认论文使用的数据集（如CIFAR-10、ImageNet），检查是否需特殊预处理。 - 下载预训练模型（如有提供），注意文件格式（如PyTorch的`.pth`、TensorFlow的`.ckpt`）。 --- ### 二、环境配置 1. **框架与工具** 根据代码要求选择对应版本（如PyTorch 1.7 vs 2.0）： ```bash conda create -n repro_env python=3.8 conda install pytorch==1.7.1 torchvision cudatoolkit=11.0 -c pytorch ``` 2. **硬件适配** - GPU兼容性：检查CUDA版本（`nvidia-smi`查看驱动支持的最高CUDA版本）。 - 内存不足时：调小`batch_size`或使用梯度累积。 --- ### 三、代码解析与调试 1. **代码结构梳理** - 核心模块：模型定义（`model.py`）、数据加载（`dataset.py`）、训练逻辑（`train.py`）。 - 关键参数：学习率（`lr`）、优化器（如Adam）、损失函数（如交叉熵$L=-\sum y_i \log p_i$）。 2. **逐步调试** - 使用`print`或调试器（如VS Code Debugger）检查数据流： ```python print(f"Input shape: {x.shape}, Label range: {y.min()}-{y.max()}") ``` - 验证前向传播：手动输入样本，检查输出是否符合预期（如分类任务输出概率和为1）。 --- ### 四、依赖与数据问题处理 1. **依赖冲突** - 若`requirements.txt`安装失败，尝试降级版本（如`numpy==1.19.5`兼容旧代码）。 - 使用`docker pull`拉取作者提供的镜像（如有）。 2. **数据路径修正** - 修改代码中的硬编码路径： ```python # 原代码 data_path = "/home/author/dataset/" # 修改为 data_path = "./data/" ``` --- ### 五、结果验证 1. **定量对比** - 复现精度 vs 论文报告值（允许±1%误差，如ResNet-50在ImageNet上76.1% vs 76.0%）。 - 可视化对比：注意力热图、特征分布直方图。 2. **随机性控制** - 固定随机种子确保可重复性： ```python import torch torch.manual_seed(42) ``` --- ### 六、文档整理 1. **记录复现过程** - 使用Markdown记录环境配置、调试关键点（如`README.md`）。 - 开源到GitHub时，添加`LICENSE`并标注原始论文引用。 --- ### 常见问题与解决 | 问题类型 | 解决方案 | |------------------|---------------------------------------------| | 环境启动失败 | 使用Docker镜像或`conda env export > environment.yml` | | 显存不足(OOM) | 减小`batch_size`，启用混合精度训练(`amp`) | | 结果偏差过大 | 检查数据增强顺序、损失函数实现是否正确 | --- ### 关键点总结 - **系统性**：按“环境→数据→模型→训练”逐层验证。 - **最小化修改**：优先保证原代码能运行，再优化结构。 - **社区资源**：参考GitHub Issues、Stack Overflow的同类问题。 复现过程中遇到卡点时，可参考论文作者的演讲视频或技术博客，理解设计细节。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值