天池新闻推荐入门赛之数据分析

最新推荐文章于 2025-12-02 19:01:55 发布

原创

最新推荐文章于 2025-12-02 19:01:55 发布 · 219 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文通过导入必要的库并使用Python对训练集进行数据预处理和分析，包括用户点击行为的时间排序、点击频率统计等，并展示了不同特征的分布情况。此外，还探讨了用户活跃度和热门新闻的定义。

训练集数据分析

# 导入相关包

import pandas as pd
import numpy as np

import matplotlib.pyplot as plt
import seaborn as sns
plt.rc('font', family='SimHei', size=13)
import os
import gc
import re
import warnings
import sys
warnings.filterwarnings("ignore")

path = './data/'

# ------------------------读取数据---------------------
#####train
trn_click = pd.read_csv(path+'train_click_log.csv')
item_df = pd.read_csv(path+'articles.csv')
item_df = item_df.rename(columns={
   
   'article_id': 'click_article_id'})  #重命名，方便后续match
item_emb_df = pd.read_csv(path+'articles_emb.csv')

#####test
tst_click = pd.read_csv(path+'testA_click_log.csv')


# ----------------------数据预处理------------------------------
# 对每个用户的点击时间戳进行排序
trn_click['rank'] = trn_click.groupby(['user_id'])['click_timestamp'].rank(ascending=False).astype(int)
tst_click['rank'] = tst_click.groupby(['user_id'])['click_timestamp'].rank(ascending=False).astype(int)

#计算用户点击文章的次数，并添加新的一列count
trn_click['click_cnts'] = trn_click.groupby(['user_id'])[