AI比赛-推荐系统（一）-新闻推荐01：赛题理解、数据分析【天池】

赛题简介

本次新人赛是Datawhale与天池联合发起的0基础入门系列赛事第五场 —— 零基础入门推荐系统之新闻推荐场景下的用户行为预测挑战赛。

赛题以新闻APP中的新闻推荐为背景，要求选手根据用户历史浏览点击新闻文章的数据信息预测用户未来点击行为，即用户的最后一次点击的新闻文章，测试集对最后一次点击行为进行了剔除。通过这道赛题来引导大家了解推荐系统中的一些业务背景，解决实际问题，帮助竞赛新人进行自我练习、自我提高。

为了更好的引导大家入门，还特别为本赛题定制了学习方案，其中包括推荐系统基础、通用流程和baseline方案学习三部分。通过对本方案的完整学习，可以帮助掌握推荐系统相关竞赛的基本技能。同时平台也将提供专属的视频直播学习通道，敬请关注平台通告。

新人赛的目的主要是为了更好地带动处于初学者阶段的新同学们一起玩起来，因此，我们鼓励所有选手，基于赛题发表notebook分享，内容包含但不限于对赛题的理解、数据分析及可视化、算法模型的分析以及一些核心的思路等内容。

赛制说明

本次赛事分为两个阶段，分别为正式赛及长期赛。

长期赛

自2月5日开始，本场比赛将长期开放，报名和参赛无时间限制。
每天每位参赛选手可提交2次；排行榜每小时更新，按照评测指标得分从高到低排序；排行榜将选择历史最优成绩进行展示；

正式赛（11月20日 - 1月14日）

1. 报名成功后，参赛队伍通过天池平台下载数据，本地调试算法，在线提交结果。若参赛队伍在一天内多次提交结果，新结果版本将覆盖旧版本。
2. 第一阶段（11月20日-1月13日）每天提供2次的评测机会，提交后将进行实时评测；排行榜每小时更新，按照评测指标得分从高到低排序；（排行榜将选择选手在本阶段的历史最优成绩进行排名展示，不做最终排名计算）
3. 第二阶段（1月14日19:00-22:0022:40）系统将在1月14日19:00提供测试数据，参赛队伍需要再次下载数据文件，本阶段提供2次评测机会，提交截止时间1月14日22:0022:40，赛程期间系统20:00和22:00进行2次评测和排名。排行榜将选择参赛队伍在本阶段的历史最优成绩进行排名展示。
4. 正式赛结束后，以榜单成绩作为比赛算法提交成绩依照，TOP15团队提交代码审核，规范详见“代码规范”文档（所提交的代码能够在天池实验室（PAI-DSW探索者版）环境下复现最优成绩），代码提交截止时间1月18日12:00。组委会将审核并剔除只靠人工标注而没有算法贡献或无法通过天池实验室复现最优成绩的队伍，获奖空缺名额后补。

赛题以预测用户未来点击新闻文章为任务，数据集报名后可见并可下载，该数据来自某新闻APP平台的用户交互数据，包括30万用户，近300万次点击，共36万多篇不同的新闻文章，同时每篇新闻文章有对应的embedding向量表示。为了保证比赛的公平性，将会从中抽取20万用户的点击日志数据作为训练集，5万用户的点击日志数据作为测试集A，5万用户的点击日志数据作为测试集B。

一、赛题理解

1、数据表

• train_click_log.csv：训练集用户点击日志【训练集的user_id从0-199999】

  user_id	click_article_id	click_timestamp	click_environment	click_deviceGroup	click_os	click_country	click_region	click_referrer_type
  0	30760	1508211672520	4	1	17	1	25	2
  0	157507	1508211702520	4	1	17	1	25	2
  1	289197	1508211316889	4	1	17	1	25	6
  1	63746	1508211346889	4	1	17	1	25	6
  2	36162	1508211438695	4	3	20	1	25	2
  2	168401	1508211468695	4	3	20	1	25	2
  3	50644	1508211359672	4	3	2	1	25	2
  3	36162	1508211389672	4	3	2	1	25	2
  ...	...	...	...	...	...	...	...	...
  199999	161191	1507665351186	4	1	17	1	13	1
  199999	42223	1507665381186	4	1	17	1	13	1
  199999	70214	1507721405411	4	1	17	1	13	1
  199999	156843	1507721435411	4	1	17	1	13	1
  199999	159019	1508176837088	4	1	17	1	13	1
  199999	218355	1508176867088	4	1	17	1	13	1

• testA_click_log.csv：测试集用户点击日志【测试集的user_id从200000-249999】

  user_id	click_article_id	click_timestamp	click_environment	click_deviceGroup	click_os	click_country	click_region	click_referrer_type
  200000	195839	1507030363999	4	1	17	1	17	1
  200000	191971	1507030393999	4	1	17	1	17	1
  200000	194300	1507651461280	4	1	17	1	17	1
  200001	175040	1507029536442	4	3	2	1	18	7
  ...	...	...	...	...	...	...	...	...
  249999	214206	1507570893755	4	1	17	1	13	2
  249999	31836	1507570923755	4	1	17	1	13	2
  249999	336221	1507632393670	4	1	17	1	13	2
  249999	352983	1507632423670	4	1	17	1	13	2
  249999	235870	1507645704149	4	1	17	1	13	2
  249999	254899	1507645734149	4	1	17	1	13	2
  249999	156843	1507720796815	4	1	17	1	13	2

• articles.csv：新闻文章信息数据表【article_id从0-364046】

  article_id	category_id	created_at_ts	words_count
  0	0	1513144419000	168
  1	1	1405341936000	189
  2	1	1408667706000	250
  3	1	1408468313000	230
  4	1	1407071171000	162
  5	1	1407413929000	196
  ...	...	...	...
  364041	460	1431327164000	141
  364042	460	1434034118000	144
  364043	460	1434148472000	463
  364044	460	1457974279000	177
  364045	460	1515964737000	126
  364046	460	1505811330000	479

• articles_emb.csv：新闻文章embedding向量表示

  article_id	emb_0	emb_1	emb_2	emb_3	emb_4	emb_5	emb_6	emb_7	emb_8	emb_9	emb_10	emb_11	emb_12	emb_13	emb_14	emb_15	emb_16	emb_17	emb_18	emb_19	emb_20	emb_21	emb_22	emb_23	emb_24	emb_25	emb_26	emb_27	emb_28	emb_29	emb_30	emb_31	emb_32	emb_33	emb_34	emb_35	emb_36	emb_37	emb_38	emb_39	emb_40	emb_41	emb_42	emb_43	emb_44	emb_45	emb_46	emb_47	emb_48	emb_49	emb_50	emb_51	emb_52	emb_53	emb_54	emb_55	emb_56	emb_57	emb_58	emb_59	emb_60	emb_61	emb_62	emb_63	emb_64	emb_65	emb_66	emb_67	emb_68	emb_69	emb_70	emb_71	emb_72	emb_73	emb_74	emb_75	emb_76	emb_77	emb_78	emb_79	emb_80	emb_81	emb_82	emb_83	emb_84	emb_85	emb_86	emb_87	emb_88	emb_89	emb_90	emb_91	emb_92	emb_93	emb_94	emb_95	emb_96	emb_97	emb_98	emb_99	emb_100	emb_101	emb_102	emb_103	emb_104	emb_105	emb_106	emb_107	emb_108	emb_109	emb_110	emb_111	emb_112	emb_113	emb_114	emb_115	emb_116	emb_117	emb_118	emb_119	emb_120	emb_121	emb_122	emb_123	emb_124	emb_125	emb_126	emb_127	emb_128	emb_129	emb_130	emb_131	emb_132	emb_133	emb_134	emb_135	emb_136	emb_137	emb_138	emb_139	emb_140	emb_141	emb_142	emb_143	emb_144	emb_145	emb_146	emb_147	emb_148	emb_149	emb_150	emb_151	emb_152	emb_153	emb_154	emb_155	emb_156	emb_157	emb_158	emb_159	emb_160	emb_161	emb_162	emb_163	emb_164	emb_165	emb_166	emb_167	emb_168	emb_169	emb_170	emb_171	emb_172	emb_173	emb_174	emb_175	emb_176	emb_177	emb_178	emb_179	emb_180	emb_181	emb_182	emb_183	emb_184	emb_185	emb_186	emb_187	emb_188	emb_189	emb_190	emb_191	emb_192	emb_193	emb_194	emb_195	emb_196	emb_197	emb_198	emb_199	emb_200	emb_201	emb_202	emb_203	emb_204	emb_205	emb_206	emb_207	emb_208	emb_209	emb_210	emb_211	emb_212	emb_213	emb_214	emb_215	emb_216	emb_217	emb_218	emb_219	emb_220	emb_221	emb_222	emb_223	emb_224	emb_225	emb_226	emb_227	emb_228	emb_229	emb_230	emb_231	emb_232	emb_233	emb_234	emb_235	emb_236	emb_237	emb_238	emb_239	emb_240	emb_241	emb_242	emb_243	emb_244	emb_245	emb_246	emb_247	emb_248	emb_249
  0	-0.16118301	-0.95723313	-0.13794445	0.050855342	0.83005524	0.90136534	-0.33514765	-0.55956066	-0.50060284	0.16518293	0.4284342	0.3550556	0.87443674	-0.52888286	0.6254872	0.2689198	-0.8228351	-0.703853	-0.62584543	-0.15285493	-0.6662412	0.043294866	0.1786375	0.046890084	0.5945311	-0.18334764	0.19510683	-0.46763963	-0.30480695	0.35317516	0.27818817	0.5386231	-0.37120935	0.48989806	-0.103832886	0.11917368	0.13243659	-0.62108386	-0.45331132	0.34662652	-0.06174106	-0.7305939	-0.38411567	-0.94075835	0.06134219	0.4825816	0.28968322	-0.62269634	-0.050004438	0.42151213	-0.24257636	0.6687105	-0.509004	-0.46179956	0.043901782	0.28848746	0.4498246	-0.28486234	0.916729	0.70312876	0.85167396	-0.6272441	0.35773164	0.3901894	0.65293527	0.1036527	0.79829276	-0.10254639	-0.2045143	0.37861153	-0.090261474	-0.2511573	0.3259828	0.08588007	-0.18056485	0.04752322	-0.15973987	-0.6201472	0.3003347	-0.7965467	0.47771874	0.40991876	0.32778588	0.072570786	-0.84338844	0.5743214	0.33120632	0.73519886	-0.051149476	-0.42130408	-0.9015315	-0.30527022	-0.13556914	-0.46817523	-0.256514	-0.028035348	0.29472083	-0.06734743	-0.46152946	0.07213261	-0.5707245	-0.059983782	-0.5503721	-0.6039815	0.40252253	-0.3064805	0.3307103	0.14233193	0.33290517	0.23447387	0.6906535	0.48634282	0.42737266	-0.115976304	0.3854025	0.3957128	-0.65858316	-0.55600464	0.7825072	0.12878653	0.6511364	-0.20835122	-0.5025915	0.42170998	-0.31492347	-0.02744605	-0.24444908	0.80920833	0.18782361	0.16195548	-0.14996661	-0.7144809	-0.006979209	-0.31291643	0.94464755	0.24019346	-0.17193855	-0.71315813	0.014604849	0.29979667	-0.7239213	-0.37642562	0.68271834	-0.603598	-0.5735651	-0.4823226	-0.6750509	0.12579046	-0.08218385	-0.46767712	0.87283933	0.35769752	0.79911405	-0.7901175	0.49681464	0.5684371	-0.34781384	0.6503434	-0.5989994	0.42142177	0.107381575	-0.46030676	0.30180693	-0.3994389	-0.034877725	0.12320779	-0.001797056	-0.21508627	-0.40875113	0.20472752	-0.60365415	-0.22466736	-0.42120966	0.6471822	-0.33045855	-0.29070365	-0.053617522	0.5163881	0.33017814	0.37607408	-0.17617662	-0.56767094	-0.009968062	-0.4003482	-0.49794638	-0.22630718	-0.57593477	-0.365481	0.29230362	0.68888617	0.87204033	-0.057107408	-0.3094548	-0.42777112	-0.6890967	0.65392166	-0.4179235	-0.13035183	-0.9389396	-0.61100435	0.56593966	-0.002798308	-0.046364475	0.59413934	0.16963427	0.2505927	-0.06282282	-0.40642437	0.17572297	-0.25898445	0.7643812	0.27564424	-0.69213825	-0.3932401	-0.32569295	0.16337723	-0.15495214	-0.7016393	0.711825	-0.8390629	-0.4591448	0.9199131	0.62183356	-0.64047134	0.38993424	0.76417774	0.16485116	-0.7470226	0.41103414	0.7509008	0.8606434	0.61475503	0.54965967	0.33443713	-0.38805893	-0.70372987	-0.5674205	0.006478452	-0.20659018	-0.3852717	0.3212482	0.31399873	0.6364123	0.16917853	0.540524	-0.8131821	0.28687033	-0.231686	0.5974159	0.40962312
  1	-0.52321565	-0.974058	0.73860806	0.15523443	0.626294	0.48529708	-0.71565676	-0.8979958	-0.35974663	0.3982462	0.6728399	-0.011179935