大模型项目实战 | 基于大模型构建一个高效的新闻推荐系统-优快云博客

在这个信息爆炸的时代，如何从海量的信息中筛选出用户感兴趣的新闻成为了一个重要的问题。随着人工智能技术的发展，特别是像阿里云的通义千问或其他大模型这样的大模型的出现，为构建高效的新闻推荐系统提供了新的可能性。本文将详细介绍如何利用通义千问或其他大模型构建一个新闻推荐系统，从数据准备到推荐结果输出的全过程。

一、新闻推荐系统的整体架构

为了构建一个高效的新闻推荐系统，我们的实现方案大致分为以下几个步骤：

在这里插入图片描述

对新闻文章进行标签化，并将新闻内容和标签向量化存储。
通过用户画像，捕捉用户的阅读历史和行为习惯，如点赞、收藏、点击的文章等。
根据用户画像和行为在文章库中进行初步搜索（召回）。
对召回结果进行精排，考虑用户兴趣变化、文章来源、时效性等因素。
输出Top 10的个性化推荐文章。

接下来，我们将详细说明各个步骤的技术细节及实现方案。

二、数据准备

构建推荐系统的第一步是准备数据。我们需要获取新闻数据和用户行为日志。新闻数据包括新闻的ID、类别、标题、摘要等信息；用户行为日志则记录了用户的点击历史和展示历史。

2.1 读取新闻数据

首先，我们需要读取新闻数据文件 news.tsv，并将其转换为Pandas DataFrame格式。

import pandas as pd

# 读取新闻数据
news_df = pd.read_csv('news.tsv', sep='\t', header=None, names=['news_id', 'category', 'subcategory', 'title', 'abstract', 'url', 'title_entities', 'abstract_entities'])

# 查看前几行数据
print(news_df.head())

2.2 读取用户行为日志

接下来，我们需要读取用户行为日志文件 behaviors.tsv，并将其转换为Pandas DataFrame格式。

# 读取用户行为日志
behavior_df = pd.read_csv('behaviors.tsv', sep='\t', header=None, names=['impression_id', 'user_id', 'time', 'history', 'impressions'])

# 查看前几行数据
print(behavior_df.head())

三、新闻推荐实现方案

我们将通过以下步骤构建高效的新闻推荐系统，结合通义千问或其他大模型的大模型能力，完成从数据处理、用户画像生成到推荐结果的全过程。

3.1 已有的文章进行打标签

为了更好地理解和处理新闻内容，我们需要对已有文章进行打标签。标签可以帮助我们更精确地召回和排序新闻。

3.1.1 设计打标签Prompt

设计一个合适的Prompt，告诉通义千问或其他大模型我们需要生成的标签类型。

from qwen import QwenClient

# 初始化通义千问客户端
client = QwenClient(api_key='YOUR_API_KEY')

def tag_articles(articles, client):
    tagged_articles = []
    for article in articles:
        prompt = f"为以下文章生成标签：\n类别: {article['category']}, 子类别: {article['subcategory']}, 标题: {article['title']}, 摘要: {article['abstract']}\n请生成相关的标签。"
        
        # 调用通义千问生成标签
        response = client.generate(prompt)
        tags = response.strip().split(',')
        tagged_articles.append({**article, 'tags': tags})
    
    return tagged_articles

3.1.2 应用打标签函数

将打标签函数应用于新闻数据，生成带有标签的新闻数据。

# 示例：为新闻文章打标签
tagged_news_df = tag_articles(news_df.to_dict('records'), client)
tagged_news_df = pd.DataFrame(tagged_news_df)

# 查看带有标签的新闻数据
print(tagged_news_df.head())

3.2 用户画像

用户画像是推荐系统的核心部分之一。通过分析用户的点击历史和用户行为（如收藏、点赞、点击），我们可以生成用户的兴趣画像，从而更好地理解用户的偏好。

3.2.1 设计生成用户画像Prompt

设计一个合适的Prompt，告诉通义千问或其他大模型我们需要生成的用户画像信息。

def generate_user_profile(user_history, client):
    # 将用户点击过的新闻详细信息拼接成一段长文本
    history_news = tagged_news_df[tagged_news_df['news_id'].isin(user_history)]
    history_text = ' '.join(history_news['title'] + ' ' + history_news['abstract'].fillna(''))
    
    # 设计prompt
    prompt = f"基于以下用户点击历史，生成一个用户画像，描述用户感兴趣的新闻主题和地区。\n点击历史:\n{history_text}\n请描述用户的兴趣主题和关注地区。"
    
    # 调用通义千问生成用户画像
    response = client.generate(prompt)
    user_profile = response.strip()
    
    return user_profile

3.2.2 应用生成用户画像函数

将生成用户画像函数应用于用户点击历史，生成用户的兴趣画像。

# 示例：生成用户画像
user_history = ['N1', 'N2', 'N3']  # 假设这是某个用户的点击历史
user_profile = generate_user_profile(user_history, client)

# 输出用户画像
print(user_profile)

3.3 搜索召回

在生成用户画像后，我们需要根据用户的兴趣以及用户的行为（收藏、点赞、看过的文章等），从新闻库中召回一批与用户兴趣匹配的候选新闻。

3.3.1 设计召回候选新闻Prompt

设计一个合适的Prompt，告诉通义千问或其他大模型我们需要召回的候选新闻。

def recall_candidate_news(user_profile, tagged_news_df, client):
    # 设计prompt
    prompt = f"基于以下用户画像，从新闻库中召回一批与用户兴趣匹配的新闻。\n用户画像:\n{user_profile}\n新闻库:\n{tagged_news_df.to_json(orient='records')}\n请从新闻库中选出与用户兴趣匹配的新闻。"
    
    # 调用通义千问召回候选新闻
    response = client.generate(prompt)
    candidate_news_ids = response.strip().split('\n')
    
    # 获取召回的候选新闻
    candidate_news = tagged_news_df[tagged_news_df['news_id'].isin(candidate_news_ids)]
    
    return candidate_news

3.3.2 应用召回候选新闻函数

将召回候选新闻函数应用于用户画像，获取候选新闻。

# 示例：召回候选新闻
candidate_news = recall_candidate_news(user_profile, tagged_news_df, client)

# 输出召回的候选新闻
print(candidate_news)

3.4 精排

召回候选新闻后，我们需要根据用户兴趣的细微变化、新闻的时效性、来源等因素进行精细排序，以确保推荐结果的相关性。

3.4.1 设计评分和排序Prompt

设计一个合适的Prompt，告诉通义千问或其他大模型我们需要对候选新闻进行评分和排序。

def score_and_rank_news(user_profile, candidate_news, client):
    # 设计prompt
    candidate_news_json = candidate_news.to_json(orient='records')
    prompt = f"基于以下用户画像，对以下候选新闻进行评分，并按评分从高到低排序。\n用户画像:\n{user_profile}\n候选新闻:\n{candidate_news_json}\n请对这些候选新闻进行评分，并按评分从高到低排序。"
    
    # 调用通义千问进行评分和排序
    response = client.generate(prompt)
    scored_news = json.loads(response.strip())
    
    # 将评分结果转换为DataFrame
    scored_news_df = pd.DataFrame(scored_news)
    scored_news_df = scored_news_df.sort_values(by='score', ascending=False)
    
    return scored_news_df

3.4.2 应用评分和排序函数

将评分和排序函数应用于候选新闻，获取评分和排序后的新闻列表。

# 示例：评分和排序
scored_news = score_and_rank_news(user_profile, candidate_news, client)

# 输出评分和排序后的新闻列表
print(scored_news)

3.5 输出Top 10的文章

最后，我们将排序后的新闻列表展示给用户，输出Top 10的新闻。

# 输出推荐结果
top_n = 10
recommended_news = scored_news.head(top_n)

# 输出推荐的Top 10新闻
print(recommended_news[['news_id', 'title', 'score']])

四、总结

通过上述步骤，我们成功地利用通义千问或其他大模型构建了一个高效的新闻推荐系统。系统基于用户的阅读行为和兴趣生成用户画像，并通过召回和精排步骤，推荐最符合用户兴趣的新闻内容。

五、如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

在这里插入图片描述

4. 大模型行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

在这里插入图片描述

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

在这里插入图片描述

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方优快云官方认证二维码，免费领取【保证100%免费】