AutoRec——单隐层神经网络推荐系统

【推荐系统】AutoRec:当自编码器遇见协同过滤 论文地址:AutoRec: Autoencoders Meet Collaborative Filtering 一、概述 将自编码器(AutoEncoder)的思想和协同过滤结合: 是个标准的自编码器 利用协同过滤中的共现矩阵,完成物品向量或用户向量的自编码 利用自编码的结果得到用户对物品的预估评分 自编码器是什么? 目标 自编码器的作用是将向量 r\bm{r}r作为输入,通过重建函数,... 阅读详情

AutoRec——单隐层神经网络推荐系统


论文地址

AutoRec: Autoencoders Meet Collaborative Filtering


基本原理

利用协同过滤中的共现矩阵,完成物品向量或者用户向量的自编码,再利用自编码的结果得到用户对物品的预估评分,进而进行推荐排序。

  • 优点:单隐层神经网络结构简单,可实现快速训练和部署;
  • 缺点:表达能力较差;

网络结构图

代码实现
import torch
import torch.nn as nn
import numpy as np
import math
import argparse
import torch.utils.data as Data
import torch.optim as optim


def get_data(path, num_users, num_items, num_total_ratings, train_ratio):
    fp = open(path + "ratings.dat")

    user_train_set = set()
    user_test_set = set()
    item_train_set = set()
    item_test_set = set()

    train_r = np.zeros((num_users, num_items))
    test_r = np.zeros((num_users, num_items))

    train_mask_r = np.zeros((num_users, num_items))
    test_mask_r = np.zeros((num_users, num_items))

    random_perm_idx = np.random.permutation(num_total_ratings)
    train_idx = random_perm_idx[0:int(num_total_ratings * train_ratio)]
    test_idx = random_perm_idx[int(num_total_ratings * train_ratio):]

    lines = fp.readlines()

    ''' Train '''
    for itr in train_idx:
        line = lines[itr]
        user, item, rating, _ = line.split("::")
        user_idx = int(user) - 1
        item_idx = int(item) - 1
        train_r[user_idx, item_idx] = int(rating)
        train_mask_r[user_idx, item_idx] = 1

        user_train_set.add(user_idx)
        item_train_set.add(item_idx)

    ''' Test '''
    for itr in test_idx:
        line = lines[itr]
        user, item, rating, _ = line.split("::")
        user_idx = int(user) - 1
        item_idx = int(item) - 1
        test_r[user_idx, item_idx] = int(rating)
        test_mask_r[user_idx, item_idx] = 1

        user_test_set.add(user_idx)
        item_test_set.add(item_idx)

    return train_r, train_mask_r, test_r, test_mask_r, user_train_set, item_train_set, user_test_set, item_test_set


class Autorec(nn.Module):
    def __init__(self, args, num_users, num_items):
        super(Autorec, self).__init__()

        self.args = args
        self.num_users = num_users
        self.num_items = num_items
        self.hidden_units = args.hidden_units
        self.lambda_value = args.lambda_value

        self.encoder = nn.Sequential(
            nn.Linear(self.num_items, self.hidden_units),
            nn.Sigmoid()
        )

        self.decoder = nn.Sequential(
            nn.Linear(self.hidden_units, self.num_items),
        )

    def forward(self, torch_input):

        encoder = self.encoder(torch_input)
        decoder = self.decoder(encoder)

        return decoder

    def loss(self, decoder, input, optimizer, mask_input):
        cost = 0
        temp2 = 0

        cost += ((decoder - input) * mask_input).pow(2).sum() # 平方残差和
        rmse = cost

        # L2 regularization
        for i in optimizer.param_groups:
            for j in i['params']:
                if j.data.dim() == 2:
                    temp2 += torch.t(j.data).pow(2).sum()

        cost += temp2 * self.lambda_value * 0.5
        return cost, rmse


def train(epoch):
    RMSE = 0
    cost_all = 0
    for step, (batch_x, batch_mask_x, batch_y) in enumerate(loader):
        batch_x = batch_x.type(torch.FloatTensor).cuda()
        batch_mask_x = batch_mask_x.type(torch.FloatTensor).cuda()

        decoder = rec(batch_x)
        loss, rmse = rec.loss(decoder=decoder, input=batch_x, optimizer=optimer, mask_input=batch_mask_x)
        optimer.zero_grad()
        loss.backward()
        optimer.step()
        cost_all += loss
        RMSE += rmse

    RMSE = np.sqrt(RMSE.detach().cpu().numpy() / (train_mask_r == 1).sum())
    print('epoch ', epoch, ' train RMSE : ', RMSE)


def test(epoch):
    test_r_tensor = torch.from_numpy(test_r).type(torch.FloatTensor).cuda()
    test_mask_r_tensor = torch.from_numpy(test_mask_r).type(torch.FloatTensor).cuda()

    decoder = rec(test_r_tensor)

    unseen_user_test_list = list(user_test_set - user_train_set)
    unseen_item_test_list = list(item_test_set - item_train_set)

    for user in unseen_user_test_list:
        for item in unseen_item_test_list:
            if test_mask_r[user, item] == 1:
                decoder[user, item] = 3

    mse = ((decoder - test_r_tensor) * test_mask_r_tensor).pow(2).sum()
    RMSE = mse.detach().cpu().numpy() / (test_mask_r == 1).sum()
    RMSE = np.sqrt(RMSE)

    print('epoch ', epoch, ' test RMSE : ', RMSE)


if __name__ == '__main__':

    parser = argparse.ArgumentParser(description='I-AutoRec ')
    parser.add_argument('--hidden_units', type=int, default=500)
    parser.add_argument('--lambda_value', type=float, default=1)

    parser.add_argument('--train_epoch', type=int, default=1000)
    parser.add_argument('--batch_size', type=int, default=100)

    parser.add_argument('--optimizer_method', choices=['Adam', 'RMSProp'], default='Adam')
    parser.add_argument('--grad_clip', type=bool, default=False)
    parser.add_argument('--base_lr', type=float, default=1e-3)
    parser.add_argument('--decay_epoch_step', type=int, default=50, help="decay the learning rate for each n epochs")

    parser.add_argument('--random_seed', type=int, default=1000)
    parser.add_argument('--display_step', type=int, default=1)

    args = parser.parse_args()

    np.random.seed(args.random_seed)

    data_name = 'ml-1m'
    num_users = 6040
    num_items = 3952
    num_total_ratings = 1000209
    train_ratio = 0.9

    path = "../data/%s" % data_name + "/"

    train_r, train_mask_r, test_r, test_mask_r, user_train_set, item_train_set, user_test_set, \
    item_test_set = get_data(path, num_users, num_items, num_total_ratings, train_ratio) # 数据读取 得共现矩阵

    args.cuda = torch.cuda.is_available()

    rec = Autorec(args, num_users, num_items) # 三层模型
    if args.cuda:
        rec.cuda()

    optimer = optim.Adam(rec.parameters(), lr=args.base_lr, weight_decay=1e-4) # 优化器

    num_batch = int(math.ceil(num_users / args.batch_size))

    torch_dataset = Data.TensorDataset(torch.from_numpy(train_r), torch.from_numpy(train_mask_r),
                                       torch.from_numpy(train_r))
    loader = Data.DataLoader(
        dataset=torch_dataset,
        batch_size=args.batch_size,
        shuffle=True
    )

    for epoch in range(args.train_epoch):
        train(epoch=epoch)
        test(epoch=epoch)


参考文献

代码实现
MovieLens 1M Dataset


深度学习在推荐系统中的应用 参考自《深度学习推荐系统》,用于学习和记录。 前言 (1)与传统的机器学习模型相比,深度学习模型的表达能力更强,能够挖掘(2)深度学习的模型结构非常灵活,能够根据业务场景和数据特点,灵活调整模型结构,使模型与应用场景完美契合。 主流深度学习推荐模型的演化图谱 AutoRec 单隐层神经网络推荐模型 AutoRec 将自编码器(AutoEncoder)的思想和协同过滤结合,提出了一种单隐层神经网络推荐模型。 AutoRec模型是一个标准的自编码器,它的基本原理是利用协同过滤中的共现矩阵,完成物品向量或者用户 阅读详情

相关推荐

AI上推荐 之 AutoRec与Deep Crossing模型(改变神经网络的复杂程度)

1. 前言 随着信息技术和互联网的发展, 我们已经步入了一个信息过载的时代,这个时代,无论是信息消费者还是信息生产者都遇到了很大的挑战: 信息消费者:如何从大量的信息中找到自己感兴趣的信息? 信息生产者:如何让自己生产的信息脱颖而出, 受到广大用户的关注? 为了解决这个矛盾, 推荐系统应时而生, 并飞速前进,在用户和信息之间架起了一道桥梁,一方面帮助用户发现对自己有价值的信息, 一方面让信息能够展现在对它感兴趣的用户前面。 推荐系统近几年有了深度学习的助推发展之势迅猛, 从前深度学习的传统推荐模型(协

Miracle8070 5669

【python】argparse解析参数的过程

但是后面的输出是什么?时又会去解析匹配命令行的参数,但是main_train.py的argparse解析器只有两个参数——model和gpu-index,命令行输入的却是——unlearn和seed,自然时无法匹配的,因此就会出现解析错误。另外,Python文件中顶格的代码,即顶层的代码是会被直接执行的,但是定义的class、function等只有在调用的时候才执行。的内容没有执行——即p1.py中的main()函数没有执行,没有输出那一行,因此p2.py中importp1.py,p1.py中的;

massive_jiang的博客 1280

19【推荐系统3】AutoRec

文章目录1、前言2、模型的结构重建函数特点和局限性3、代码参考 1、前言 AutoRec将自编码器( AutoEncoder)的思想和协同过滤结合,提出了一种单隐层神经网络推荐模型。因其简洁的网络结构和清晰易懂的模型原理,AutoRec非常适合作为深度学习推荐模型的入门模型来学习。 AutoRec模型是一个标准的自编码器,它的基本原理是利用协同过滤中的共现矩阵,完成物品向量或者用户向量的自编码。再利用自编码的结果得到用户对物品的预估评分,进而进行推荐排序。 2、模型的结构 假设有 mmm 个用户, nnn

炫云云 481

AutoRec单隐层神经网络推荐模型

AutoRec是在2015年由澳大利亚国立大学提出的,它将自编码器的思想和协同过滤结合,提出了一种单隐层神经网络推荐模型。因其简单易懂,特别时候作为深度学习推荐系统的入门。 AutoRec模型的基本原理 AutoRec模型是一个标准的自编码器,它的基本原理是利用协同过滤中的共现矩阵,完成物品向量或者用户向量的自编码。再利用自编码的结果得到用户对物品的预估评分,进而进行推荐排序。 自编码器 自编码器顾名思义,是指能后完成数据“自编码”的模型。假设数据向量为r,自编码器的作用是将向量r作为输入,通过自编码器后,

星辰的博客 1766

AutoEncoder用于推荐系统pytorch实现

用pytorch实现了AutoRec论文中的算法,将AutoEncoder用户推荐系统中的打分矩阵补全。数据集是ml100k,可以在movielens的网站上下载。

Recommendation-system:自动编码器框架,用于使用Keras进行协作过滤

使用AutoRec的推荐系统 在此仓库中,我实现了AutoRec,这是本文提出的一种协调过滤模型,Autoencoders通过Keras,并使用验证集调整了该模型的超参数。 数据集 我在100K Movielens数据集上评估AutoRec。 我使用开发集调整以下超参数。 隐藏层中的单位数。 隐藏层的激活功能。 batch_size和迭代次数。

推荐算法实战项目:AutoRec模型原理以及案例实战(附完整 Python 代码)

本文会介绍AutoRec模型的基本原理,包括网络模型、损失函数、推荐过程、实验结果等,并且会给出基于PyTorch的代码。技术要学会分享、交流,不建议闭门造车。一个人走的很快、一堆人可以走的更远。文章中的完整源码、资料、数据、技术交流提升, 均可加知识星球交流群获取,群友已超过2000人,添加时切记的备注方式为:来源+兴趣方向,方便找到志同道合的朋友。方式①、添加微信号:mlc2060,备注:来自 获取推荐资料方式②、微信搜索公众号:机器学习社区,后台回复:推荐资料。

机器学习社区 1985

Ansys Zemax与Speos协同设计:HUD系统从光学优化到驾驶模拟的全流程解析

本文详细解析了如何利用Ansys Zemax与Speos这对“黄金搭档”进行HUD系统的协同设计。流程始于Zemax进行核心光学架构与像差优化,奠定性能基础;随后将设计无缝导入Speos,通过HUD光学分析模块进行量化验证;最终在虚拟驾驶环境中进行沉浸式模拟,评估实际视觉体验与系统集成效果,实现从光学优化到驾驶模拟的全流程闭环。

weixin_29201933的博客 274

AutoRec--单隐层神经网络推荐模型

AutoRec–单隐层神经网络推荐模型 1.1 AutoRec模型基本原理 AutoRec是一个标准的自编码器,其基本原理是利用协同过滤中的共现矩阵,完成物品向量/用户向量的自编码。再利用自编码结果得到用户对物品的预估评分,排序后即可得到推荐物品序列。 1.2 自编码器 自编码器指的是能够完成数据的自动编码的模型。无论是图像、音频,还是文本数据,都可以转换为向量的形式表示。 假设其数据向量为r,自编码器的作用是将向量r作为输入,通过自编码器的输出向量尽可能接近本身。 “尽可能”:说明自编码器输出结果与真实

LitraLIN的博客 1291

放弃FFT全频计算!在STM32F407上用DFT单点计算提速50%的优化技巧

本文详细介绍了在STM32F407上通过DFT单点计算实现比FFT快50%的优化技巧,特别适用于生物阻抗分析、振动监测等只需关注单一频点的嵌入式场景。通过预计算相位角、查表法和混合精度计算等策略,显著提升计算效率和内存利用率,同时保持高精度。

weixin_28738397的博客 195

实验六 有源滤波器

实验六 有源滤波器一、实验目的二、仪器及设备三、预习要求画出三个电路的幅频特性曲线。四、实验内容l.低通滤波电路2.高通滤波电路3.带阻滤波电路(1)实测电路中心频率。(2)以实测中心频率为中心,测出电路幅频特性。五、实验报告六,仿真图:图 1 低通滤波器仿真图图 2 高通滤波器仿真图图 3 带阻滤波电路仿真图 一、实验目的 1.熟悉有源滤波电路构成及其特性。 2.学会测量有源滤波电路幅频特性。 二、仪器及设备 1.示波器 2.信号发生器 三、预习要求 1.预习教材有关滤波电路

胡毛毛的博客 1万+

[搜广推]深度学习推荐模型(1)——AutoRec

AutoRec模型是一种基于协同过滤的深度学习推荐系统算法,它通过自编码器学习用户或物品的隐式特征向量,利用这些向量来预测用户对未评分物品的评分,根据评分进行推荐。

m0_69281817的博客 1200

如何在非序列模式下使用类似图像模功能

如何在非序列模式下使用类似图像模功能

weixin_72050316的博客 553

深度学习推荐系统-----AutoRec单隐层神经网络推荐模型--未完待续

单隐层神经网络模型是2015年又澳大利亚国立大学提出来的AutoRec,它是将自编码器的思想和协同过滤结合,提出了一种单隐层神经网络推荐模型,因其简约的网络结构和清晰易懂的模型原理,AutiRec非常适合作为深入学习推荐模型的入门模型来学习 AutoRec模型是一个标准版的自编码器,它的基本原理是利用协同过滤重的共现矩阵,完成物品向量或者用户向量的自编码,在利用自编码的结果得到用户对物品的预估评分,进而进行推荐排序 什么是自编码器????? 自编码器是指能够完成数据“自编码”的模型,无论是图像,音频,还是文

data_curd的博客 312

【忍者算法】从生活案例理解滑动窗口最大值:一个超直观的思路讲解|LeetCode 239 滑动窗口最大值

点此看全部题解更多干货,请关注公众号【忍者算法】,回复【刷题清单】获取完整题解目录~

忍者算法的博客 634

2020年大连理工大学《计算机控制技术》期末试卷

2020年大连理工大学《计算机控制技术》期末试卷 2020年大连理工大学《计算机控制技术》期末试卷 2020年大连理工大学《计算机控制技术》期末试卷 2020年大连理工大学《计算机控制技术》期末试卷 ...

无名何许人的博客 651

AutoRec:基于自编码器的推荐系统入门模型

本文深入解析澳大利亚国立大学于2015年提出的AutoRec模型,该模型通过将自编码器(AutoEncoder)与协同过滤相结合,构建了首个基于单隐层神经网络的推荐系统框架。作为深度学习推荐模型的奠基性工作,AutoRec以其简洁的架构和理论启发性,为后续复杂模型的发展提供了重要参考。

Mike的博客 1410

基于Python的异步爬虫实战:高效抓取同花顺概念板块数据

本文将详细介绍如何使用Python最新异步爬虫技术(requests-html+aiohttp+selenium)高效抓取同花顺概念板块数据。内容涵盖:反爬机制破解、动态页面渲染处理、数据解析存储等完整流程,并提供可复用的高性能爬虫代码实现。高性能:异步并发处理,QPS可达50+高可用:完善的异常处理机制可扩展:支持分布式部署增加历史数据回溯功能集成机器学习识别验证码构建实时数据推送系统。

2201_76125261的博客 1538

推荐系统中的AutoRec

一:前言 笔者最近在总结推荐系统主流模型,从十多年前的经典的协同过滤算法开始,一直到现有的各大企业所用的推荐模型,笔者一直在思考一个问题,那就是神经网络在计算机领域内的大热,是如何承上启下,承接传统MF,CF算法,又是如何连接到最新的各种模型,创造散发出各大模型的呢。原则上讲,很多读者跟笔者一样,肯定很早就研究过AutoRec,但我们应该考虑的是,在澳大利亚国立大学提出著名的《AutoRec: Autoencoders Meet Collaborative Filtering》之前,我们应该如何思考解决这个

qq_39691463的博客 759

数字音频接口之I2S/PDM/PCM

I2S全称Inter-IC Sound, Integrated Interchip Sound,或简写IIS,是飞利浦在1986年定义(1996年修订)的数字音频传输标准,用于数字音频数据在系统内部器件之间传输,例如编解码器CODEC、DSP、数字输入/输出接口、ADC、DAC和数字滤波器等。除了都是由飞利浦定义外,I2S和I2C没有任何关系。I2S是比较简单的数字接口协议,没有地址或设备选择机制。在I2S总线上,只能同时存在一个主设备和发送设备。

Airer_00的博客 1121

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

推荐系统4--AutoRec与Deep Crossing(改变神经网络的复杂程度)

一,绪论 本篇是深度学习推荐系统第一篇,介绍Autorec和DeepCrossing 两个模型。前者是将深度学习的思想应用于推荐系统的初步尝试,后者是将深度学习框架在推荐系统中的完整应用。 Autorec2015年由澳大利亚国立大学提出,是一个单隐层的神经网络推荐模型,网络结构简单。由于结构比较简单,表达能力不足,因此没有真正的应用。 DeepCrossing 是2016年,微软基于ResNet的经典DNN结构提出的模型。该模型完整解决从特征工程,稀疏向量稠密化,多层神经网络进行优化目标拟合等一系列深度学习

weixin_41403341的博客 511

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

深度学习实战案例:基于 AutoRec 构建电影推荐系统( 附 PyTorch 版代码)

本文会介绍AutoRec模型的基本原理,包括网络模型、损失函数、推荐过程、实验结果等,并且会给出基于PyTorch的代码。AutoRec模型跟MLP(多层感知器)类似,是一个标准的3层(包含输入层)神经网络,只不过它结合其结合了自编码器(AutoEncoder)和协同过滤(Collaborative Filtering)的思想。其实再确切一点说,AutoRec模型就是一个标准的自编码器结构,它的基本原理是利用协同过滤中的共现矩阵,完成物品向量或者用户向量的自编码。

Python数据挖掘 2242

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

python推介系统方法_基于AutoRec 的推荐系统介绍与python实现

本文要介绍的模型是2015年由澳大利亚国立大学提出的AutoRec。它将自编码器(AutoEncoder) 的思想和协同过滤结合,提出了一种但隐藏层的神经网络推荐model。因为简洁的网络结构和清晰易懂的模型原理,所以非常适合深度学习的推荐model 的入门模型来学习本文参考了王喆大佬的新书,《深度学习推荐系统》1.引言协同过滤模型的目的是利用用户对商品的偏好信息来提供个性化的推荐。AutoRec...

weixin_39599830的博客 345

推荐系统-AutoRec 的推荐系统介绍与python实现

本文要介绍的模型是2015年由澳大利亚国立大学提出的AutoRec。它将自编码器(AutoEncoder) 的思想和协同过滤结合,提出了一种但隐藏层的神经网络推荐model。因为简洁的网络结构和清晰易懂的模型原理,所以非常适合深度学习的推荐model 的入门模型来学习 本文参考了王喆大佬的新书,《深度学习推荐系统》 论文地址 1.引言 协同过滤模型的目的是利用用户对商品的偏好信息来提供个性化的推荐。AutoRec是一个新型的基于自动编码器的协同过滤模型。论文作者认为AutoRec与现有的将玻尔兹曼机

JohnBanana的专栏 2052

推荐系统 (三): 浪潮之巅 -- 深度学习在推荐系统中的应用

目录深度学习推荐模型的演化关系图AutoRec -- 单隐层神经网络推荐模型AutoRec 模型的基本原理AutoRec 模型的结构基于 AutoRec 模型的推荐过程参考文献 深度学习推荐模型的演化关系图 (1) 改变神经网络的复杂程度:从最简单的单层神经网络模型 AutoRec (自编码器推荐),到经典的深度神经网络结构 Deep Crossing (深度特征交叉),其主要的进化方式在于增加了深度神经网络的层数和结构复杂度 (2) 改变特征交叉方式:例如,改变了用户向量和物品向量互操作方式的 Neu

连理o的博客 4135

推荐系统综述

王喆深度学习推荐系统+论文(推荐系统综述)

Sun123234的博客 2163
上一篇: Object Detection API【Tensorflow 2.3版本 WIN10】
下一篇: Deep Crossing——经典的深度学习架构
DeepLearningJay
博客等级 码龄7年 3064粉丝 25原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值