Python推荐系统实战:从协同过滤到深度学习

深度剖析大数据领域推荐系统的架构设计 今天打开淘宝,首页会"猜你喜欢";刷抖音,视频流总在"懂你所想";打开新闻APP,头条内容仿佛"量身定制"——这些体验背后都是推荐系统的功劳。本文将聚焦大数据场景下推荐系统的架构设计,覆盖从基础概念到工程实现的全流程,帮助开发者理解推荐系统的核心逻辑与技术选型。用"超市购物"类比推荐系统的三层架构;解析召回、排序、重排的核心作用与技术选型;结合数学公式与Python代码讲解协同过滤、Wide&Deep等经典算法;实战演示基于MovieLens数据集的推荐系统搭建; 阅读详情

Python推荐系统实战:从协同过滤到深度学习

前言

大家好,我是第一程序员(名字大,人很菜)。作为一个非科班转码、正在学习Rust和Python的萌新,最近我开始学习推荐系统。今天我想分享一下Python推荐系统的实战经验,从协同过滤到深度学习。

一、推荐系统基础

1.1 推荐系统的基本概念

  • 推荐系统:根据用户的历史行为和偏好,向用户推荐可能感兴趣的物品
  • 协同过滤:基于用户或物品的相似性进行推荐
  • 内容过滤:基于物品的特征进行推荐
  • 混合推荐:结合多种推荐方法

1.2 推荐系统的应用场景

  • 电商平台:推荐商品
  • 视频网站:推荐视频
  • 音乐平台:推荐音乐
  • 新闻网站:推荐新闻
  • 社交平台:推荐好友或内容

二、环境搭建

2.1 安装必要的库

# 安装NumPy
pip install numpy

# 安装Pandas
pip install pandas

# 安装Scikit-learn
pip install scikit-learn

# 安装TensorFlow或PyTorch
pip install tensorflow
# 或
pip install torch torchvision

# 安装其他库
pip install matplotlib seaborn

三、协同过滤

3.1 基于用户的协同过滤

使用Python实现基于用户的协同过滤:

import numpy as np
import pandas as pd
from sklearn.metrics.pairwise import cosine_similarity

# 示例用户-物品矩阵
user_item_matrix = np.array([
    [5, 4, 0, 0, 1],
    [0, 5, 5, 0, 0],
    [1, 0, 0, 4, 5],
    [0, 0, 5, 0, 4],
    [0, 0, 0, 5, 0]
])

# 计算用户之间的相似度
user_similarity = cosine_similarity(user_item_matrix)
print("用户相似度矩阵:")
print(user_similarity)

# 为用户0推荐物品
target_user = 0
user_scores = user_similarity[target_user]

# 计算加权评分
weighted_scores = np.dot(user_scores, user_item_matrix)
# 归一化
user_score_sum = np.sum(user_scores)
if user_score_sum > 0:
    weighted_scores = weighted_scores / user_score_sum

# 找出未评分的物品
unrated_items = np.where(user_item_matrix[target_user] == 0)[0]

# 按评分排序
recommendations = sorted(zip(unrated_items, weighted_scores[unrated_items]), key=lambda x: x[1], reverse=True)

print("为用户0推荐的物品:")
for item, score in recommendations:
    print(f"物品{item},评分: {score:.2f}")

3.2 基于物品的协同过滤

使用Python实现基于物品的协同过滤:

import numpy as np
import pandas as pd
from sklearn.metrics.pairwise import cosine_similarity

# 示例用户-物品矩阵
user_item_matrix = np.array([
    [5, 4, 0, 0, 1],
    [0, 5, 5, 0, 0],
    [1, 0, 0, 4, 5],
    [0, 0, 5, 0, 4],
    [0, 0, 0, 5, 0]
])

# 计算物品之间的相似度
item_similarity = cosine_similarity(user_item_matrix.T)
print("物品相似度矩阵:")
print(item_similarity)

# 为用户0推荐物品
target_user = 0
user_ratings = user_item_matrix[target_user]

# 计算加权评分
weighted_scores = np.dot(user_ratings, item_similarity)
# 归一化
item_score_sum = np.sum(item_similarity, axis=0)
weighted_scores = weighted_scores / item_score_sum

# 找出未评分的物品
unrated_items = np.where(user_ratings == 0)[0]

# 按评分排序
recommendations = sorted(zip(unrated_items, weighted_scores[unrated_items]), key=lambda x: x[1], reverse=True)

print("为用户0推荐的物品:")
for item, score in recommendations:
    print(f"物品{item},评分: {score:.2f}")

四、矩阵分解

4.1 奇异值分解(SVD)

使用Python实现SVD:

import numpy as np
import pandas as pd
from scipy.sparse.linalg import svds

# 示例用户-物品矩阵
user_item_matrix = np.array([
    [5, 4, 0, 0, 1],
    [0, 5, 5, 0, 0],
    [1, 0, 0, 4, 5],
    [0, 0, 5, 0, 4],
    [0, 0, 0, 5, 0]
])

# 进行SVD分解
U, sigma, Vt = svds(user_item_matrix, k=2)
sigma = np.diag(sigma)

# 重建矩阵
reconstructed_matrix = np.dot(np.dot(U, sigma), Vt)
print("重建的用户-物品矩阵:")
print(reconstructed_matrix)

# 为用户0推荐物品
target_user = 0
user_ratings = user_item_matrix[target_user]
recommended_scores = reconstructed_matrix[target_user]

# 找出未评分的物品
unrated_items = np.where(user_ratings == 0)[0]

# 按评分排序
recommendations = sorted(zip(unrated_items, recommended_scores[unrated_items]), key=lambda x: x[1], reverse=True)

print("为用户0推荐的物品:")
for item, score in recommendations:
    print(f"物品{item},评分: {score:.2f}")

五、深度学习推荐系统

5.1 神经网络推荐模型

使用PyTorch实现神经网络推荐模型:

import torch
import torch.nn as nn
import torch.optim as optim
import numpy as np

# 示例数据
users = np.array([0, 0, 1, 1, 2, 2, 3, 3, 4, 4])
items = np.array([0, 1, 1, 2, 0, 3, 2, 4, 3, 4])
ratings = np.array([5, 4, 5, 5, 1, 4, 5, 4, 5, 0])

# 构建数据集
class RecommendationDataset(torch.utils.data.Dataset):
    def __init__(self, users, items, ratings):
        self.users = users
        self.items = items
        self.ratings = ratings
    
    def __len__(self):
        return len(self.users)
    
    def __getitem__(self, idx):
        return self.users[idx], self.items[idx], self.ratings[idx]

# 创建数据集和数据加载器
dataset = RecommendationDataset(users, items, ratings)
dataloader = torch.utils.data.DataLoader(dataset, batch_size=2, shuffle=True)

# 定义模型
class RecommendationModel(nn.Module):
    def __init__(self, num_users, num_items, embedding_dim):
        super().__init__()
        self.user_embedding = nn.Embedding(num_users, embedding_dim)
        self.item_embedding = nn.Embedding(num_items, embedding_dim)
        self.fc = nn.Linear(embedding_dim * 2, 1)
    
    def forward(self, user, item):
        user_emb = self.user_embedding(user)
        item_emb = self.item_embedding(item)
        combined = torch.cat([user_emb, item_emb], dim=1)
        return self.fc(combined)

# 模型参数
num_users = 5
num_items = 5
embedding_dim = 10

# 创建模型实例
model = RecommendationModel(num_users, num_items, embedding_dim)

# 定义损失函数和优化器
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=0.01)

# 训练模型
epochs = 100
for epoch in range(epochs):
    running_loss = 0.0
    for user, item, rating in dataloader:
        user = user.long()
        item = item.long()
        rating = rating.float().unsqueeze(1)
        
        optimizer.zero_grad()
        prediction = model(user, item)
        loss = criterion(prediction, rating)
        loss.backward()
        optimizer.step()
        
        running_loss += loss.item()
    
    if (epoch + 1) % 10 == 0:
        print(f'Epoch {epoch+1}, Loss: {running_loss/len(dataloader):.3f}')

# 预测所有用户-物品对
all_users = torch.arange(num_users).long()
all_items = torch.arange(num_items).long()

for user in all_users:
    print(f"用户{user}的推荐:")
    user_tensor = torch.tensor([user]).long()
    item_tensors = torch.arange(num_items).long()
    
    predictions = []
    for item in item_tensors:
        item_tensor = torch.tensor([item]).long()
        prediction = model(user_tensor, item_tensor)
        predictions.append((item.item(), prediction.item()))
    
    # 按预测评分排序
    predictions.sort(key=lambda x: x[1], reverse=True)
    for item, score in predictions:
        print(f"  物品{item},预测评分: {score:.2f}")

六、推荐系统评估

6.1 评估指标

  • 准确率(Precision):推荐列表中相关物品的比例
  • 召回率(Recall):相关物品被推荐的比例
  • F1分数:准确率和召回率的调和平均
  • 均方根误差(RMSE):预测评分与实际评分的误差
  • 平均绝对误差(MAE):预测评分与实际评分的绝对误差

6.2 评估代码

from sklearn.metrics import mean_squared_error, mean_absolute_error

# 示例预测评分和实际评分
predictions = [4.5, 3.0, 5.0, 2.5, 4.0]
actual = [5.0, 3.0, 4.5, 3.0, 4.0]

# 计算RMSE
rmse = np.sqrt(mean_squared_error(actual, predictions))
print(f"RMSE: {rmse:.2f}")

# 计算MAE
mae = mean_absolute_error(actual, predictions)
print(f"MAE: {mae:.2f}")

# 计算准确率和召回率
top_k = 3
top_predictions = sorted(enumerate(predictions), key=lambda x: x[1], reverse=True)[:top_k]
top_items = [item for item, score in top_predictions]

# 假设相关物品是[0, 2, 4]
relevant_items = [0, 2, 4]

# 计算准确率
precision = len(set(top_items) & set(relevant_items)) / len(top_items)
print(f"Precision@{top_k}: {precision:.2f}")

# 计算召回率
recall = len(set(top_items) & set(relevant_items)) / len(relevant_items)
print(f"Recall@{top_k}: {recall:.2f}")

# 计算F1分数
f1 = 2 * precision * recall / (precision + recall) if (precision + recall) > 0 else 0
print(f"F1@{top_k}: {f1:.2f}")

七、推荐系统的挑战与解决方案

7.1 常见挑战

  • 冷启动:新用户或新物品没有足够的历史数据
  • 数据稀疏:用户-物品矩阵通常非常稀疏
  • 实时性:需要实时更新推荐结果
  • 可扩展性:处理大规模数据
  • 多样性:推荐结果可能过于单一

7.2 解决方案

  • 冷启动:使用内容过滤、流行度推荐等方法
  • 数据稀疏:使用矩阵分解、深度学习等方法
  • 实时性:使用在线学习、增量学习等方法
  • 可扩展性:使用分布式计算、缓存等方法
  • 多样性:引入多样性指标,调整推荐算法

八、从Rust开发者角度的思考

8.1 性能优化

  • 数据处理:使用Rust实现高性能的数据处理
  • 模型推理:使用Rust优化模型推理过程
  • 内存管理:Rust的内存管理可以减少内存泄漏

8.2 跨语言集成

  • 使用PyO3:将Rust代码集成到Python中
  • 使用WebAssembly:将Rust实现的推荐系统功能编译为WebAssembly
  • 使用gRPC:在Rust和Python之间建立通信

九、总结

Python推荐系统实战是一个从基础到应用的过程,需要掌握协同过滤、矩阵分解、深度学习等技术。作为一个非科班转码者,我认为通过系统学习和实践,完全可以掌握推荐系统技术。

虽然推荐系统的学习曲线比较陡峭,但通过项目实践和不断积累经验,你会逐渐掌握其精髓。同时,结合Rust的性能优势,可以进一步优化推荐系统的性能。

保持学习,保持输出。虽然现在我还是个菜鸡,但我相信只要坚持,总有一天能成为真正的「第一程序员」!

基于协同过滤算法的美食推荐系统 该系统能够根据用户的个人口味和偏好,为其提供定制化的美食推荐,节省用户的时间和精力,让用户更轻松地发现符合自己口味的美食。具体而言,系统会收集用户的订餐记录、评分数据等,运用协同过滤算法分析数据,找出与目标用户兴趣相似的其他用户或相似的美食,进而为目标用户推荐可能喜欢的美食。同时,系统的应用也促进了美食行业的竞争和创新,推动了整个行业的发展和进步。基于协同过滤的美食推荐系统的研究目的在于开发一个能够根据用户的历史饮食偏好、行为记录等信息,为用户精准推荐符合其口味和需求的美食的系统。 阅读详情

相关推荐

Python机器学习实战:构建并优化推荐系统的协同过滤模型

Python机器学习实战:构建并优化推荐系统的协同过滤模型 作者:禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来

AI天才研究院 641

基于协同过滤算法和深度学习的音乐推荐

基于协同过滤算法的音乐推荐 协同过滤 音乐推荐 深度学习 音乐检索 文章目录基于协同过滤算法的音乐推荐Github 地址介绍参考项目技术栈安装`Pyhton` 版本`Python` 环境安装:Web 环境:音频处理软件 —— SOX可能会出现的报错数据库--- MySQL运行默认用户运行界面 Github 地址 项目 Github 地址 介绍 项目主要工作在 Million Song Datas...

MLee 的博客 1万+

推荐系统数据挖掘:从协同过滤到深度学习

推荐系统在当今的互联网时代具有极其重要的地位,它能够根据用户的历史行为、偏好等信息,为用户提供个性化的推荐内容,从而提高用户的满意度和平台的用户粘性。本文章的目的在于全面介绍推荐系统数据挖掘中从协同过滤到深度学习的相关技术,涵盖了这些技术的原理、算法实现、实际应用等方面。范围包括对协同过滤算法(如基于用户的协同过滤和基于物品的协同过滤)的详细讲解,以及深度学习在推荐系统中的应用,如深度神经网络、卷积神经网络等在推荐场景中的具体实现。

AI架构师小马 1596

【人工智能】使用Python构建推荐系统:从协同过滤到深度学习

推荐系统是现代互联网的重要组成部分,广泛应用于电商、社交媒体和流媒体平台中。本文详细介绍了如何使用Python构建推荐系统,从传统的协同过滤方法,到基于深度学习的推荐模型。我们将先了解推荐系统的基本概念,随后实现基于用户和物品的协同过滤模型,最后引入深度学习的嵌入技术,展示如何利用神经网络提升推荐效果。代码示例贯穿全篇,并配有详尽的中文注释,帮助读者逐步理解和构建推荐系统,适合对机器学习和推荐系统有一定了解的开发者。

一个被知识诅咒的人 1698

Python-基于物品的协同过滤推荐系统实战项目

协同过滤(Collaborative Filtering, CF)是推荐系统中经典且应用广泛的技术,其核心思想是利用用户的历史行为数据进行推荐。协同过滤主要分为两大类:基于用户的协同过滤(User-based CF)和基于物品的协同过滤(Item-based CF)。与基于用户的协同过滤相比,基于物品的协同过滤是从物品的角度出发,通过计算物品之间的相似度,找出与用户已评价物品相似的其他物品进行推荐。其理论依据是"用户喜欢的物品与其他相似的物品也会被该用户喜欢"。相比基于用户的协同过滤,基于物品的协同过滤具有

刘念卿的博客 558

从协同过滤到图神经网络:推荐系统算法演进史

推荐系统在当今信息爆炸的时代扮演着至关重要的角色,其目的是为用户提供个性化的推荐,帮助用户在海量信息中快速找到感兴趣的内容。本文章的范围涵盖了推荐系统算法从协同过滤到图神经网络的整个演进过程,旨在深入剖析每个阶段算法的原理、优缺点以及应用场景,让读者全面了解推荐系统算法的发展脉络和趋势。本文将按照推荐系统算法的演进顺序进行阐述。首先介绍协同过滤算法,包括其核心概念、原理和实现步骤;接着探讨矩阵分解等传统方法的改进;然后引入深度学习在推荐系统中的应用;最后详细讲解图神经网络在推荐系统中的原理和优势。

操作系统内核探秘的博客 1106

Python推荐系统实战:构建个性化推荐系统

要想搭建一个推荐系统,首先需要准备好必要的工具。Python作为一门强大的编程语言,在数据分析和机器学习领域有着广泛的应用。安装Python环境后,还需要安装几个常用的库,如NumPy、Pandas、Scikit-Learn等。这些库提供了丰富的数据处理和机器学习功能,能够帮助我们快速构建推荐系统。

master_chenchen的博客 2274

Python深度学习实践:构建和优化推荐系统模型

背景介绍 推荐系统(recommender system)是为用户推荐有价值的内容或产品的系统,主要目的是提高用户体验、增加用户满意度和转化率。推荐系统的核心技术包括内容过滤、协同过滤、矩阵分解、深度学习等。近年来,随着大数据和人工智能的发展,推荐系统在电商、社交媒体、视频网站等领域得到了广泛应用。 核心概念与联

AI天才研究院 1108

基于python协同过滤算法的歌曲推荐系统

本研究的目的是基于Python协同过滤算法开发一个歌曲推荐系统。随着数字音乐时代的到来,音乐推荐系统成为了重要的工具,用于帮助用户发现和探索自己可能感兴趣的歌曲。然而,传统的推荐系统存在一些问题,包括缺乏个性化和准确性。因此,本研究希望通过应用协同过滤算法来改进现有的歌曲推荐系统。协同过滤是一种通过分析用户行为和偏好,寻找相似用户和物品之间的关联性,从而进行个性化推荐的算法。通过利用用户的历史播放记录和喜好数据,我们可以建立用户-歌曲的关联模型,来预测用户可能喜欢的歌曲。

1656

推荐系统算法Python实战:从协同过滤到深度学习推荐模型实现

简介:推荐系统是电商、音乐流媒体、视频平台等应用的核心技术,通过分析用户行为与偏好,提供个性化推荐。本项目“recommender-system:推荐算法python实现”基于Python,涵盖基于内容的推荐、协同过滤、矩阵分解及深度学习推荐等主流算法,利用sklearn、Surprise、TensorFlow等库实现完整推荐流程。项目包含数据预处理、模型训练、评估指标计算与结果可视化,帮助开发者掌握推荐系统的构建方法与优化技巧,适用于学习、研究及实际工程落地。

weixin_42518334的博客 874

Python推荐系统实战:协同过滤与深度学习混合模型解析

推荐系统是个性化服务背后的核心引擎,其运作逻辑通常可拆解为召回与排序两阶段:协同过滤善于从用户历史行为中挖掘相似偏好,深度学习则擅长通过Embedding与多层感知机捕捉特征间的非线性关系。将两者结合并非简单叠加,而是让协同过滤负责高效召回候选集,深度学习负责精准排序,从而在冷启动与兴趣漂移之间取得平衡。这一混合架构广泛应用于电商、资讯流和短视频场景,既解决大规模候选集的实时筛选难题,又兼顾排序精度与可解释性。本文从行为日志处理出发,逐步实现基于协同过滤的召回、基于深度神经网络的排序,并给出工程评估与常见陷

weixin_29055699的博客 194

协同过滤的推荐系统在游戏推荐中的应用

1.背景介绍 游戏推荐系统是一种常见的推荐系统,它的目标是根据用户的历史行为、游戏的特征等信息,为用户推荐更符合他们兴趣的游戏。协同过滤(Collaborative Filtering)是一种常见的推荐算法,它主要通过用户行为数据(如用户评分、购买记录等)来推断用户的喜好,并为用户推荐相似的项目。在本文中,我们将详细介绍协同过滤在游戏推荐中的应用,包括其核心概念、算法原理、具体实现以及未来发展趋...

AI天才研究院 1688

Python+Django深度学习音乐推荐系统:自动编码器与CNN混合协同过滤实战

推荐系统通常面临冷启动与数据稀疏问题,协同过滤依赖用户行为,内容推荐则局限于表层标签。自动编码器通过编码-解码结构将高维音频频谱压缩为低维隐向量,CNN在梅尔频谱上卷积提取局部时频模式,二者结合可挖掘音频与歌词的非线性特征。这些内容特征与KNNBaseline协同过滤在特征层面融合,能有效缓解冷启动,提升推荐多样性。在音乐场景中,该方案支持基于歌名或关键词返回Top10相似歌曲,并可通过歌词关键词生成可解释推荐。本文以Python+Django工程为例,详解从特征提取、模型训练到Web端部署的完整落地流程。

weixin_31458015的博客 217

基于协同过滤算法的电影推荐系统

电影推荐系统(MovieRecommend) 概述 系统流程 如何使用 注意事项 技术细节与改进方向 项目运行教程 基于协同过滤的电影推荐系统运行教程与调试解决方案 一、配置运行环境 二、数据库构建

qq1309399183的博客 881

Unity游戏开发:从零开始适配Nintendo Switch的完整指南

本文详细介绍了如何使用Unity进行Nintendo Switch游戏开发的完整流程,包括开发环境搭建、Unity工程适配、手柄与硬件特性开发、存储与性能优化等关键步骤。特别强调了Switch SDK的配置、输入系统改造和内存优化技巧,帮助开发者高效完成跨平台适配。

vodka的博客 1073

ANSYS MAXWELL内置式永磁同步电机(IPMSM)转矩最大时输入电流相位的确定

1.在转子转速为零时看一个周期内的转矩变化

qq_41752507的博客 6519

Python大数据基于深度学习的图书馆图书借阅推荐系统 协同过滤算法

图书馆图书借阅推荐系统在大数据环境下具有重要意义,能够提升用户借阅体验并优化资源利用率。基于深度学习的协同过滤算法在该领域展现出显著优势,通过挖掘用户历史借阅记录与图书特征,生成个性化推荐。协同过滤算法分为基于用户的协同过滤(User-Based CF)和基于物品的协同过滤(Item-Based CF)。User-Based CF通过分析相似用户的借阅偏好为目标用户推荐图书,而Item-Based CF则计算图书间的相似性,推荐与用户历史借阅记录相似的图书。

QQ188083800的博客 765

手把手教你用Simulink搭建PMSM FOC控制模型(附完整仿真文件下载)

本文手把手教你使用Simulink搭建完整的永磁同步电机(PMSM)磁场定向控制(FOC)仿真模型。内容涵盖从电机与逆变器建模、核心的坐标变换(Clark/Park变换)实现、电流环与速度环PID整定,到SVPWM调制与系统集成调试的全过程,并提供关键参数设置与实用调试技巧,帮助工程师快速掌握FOC的工程实现。

silver的专栏 865
上一篇: Python性能优化:让你的代码飞起来
下一篇: Python强化学习实战:从Q学习到深度强化学习
第一程序员
博客等级 码龄1年 1万+粉丝 1822原创
评论 9
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值