零基础入门NLP之新闻文本分类

零基础入门NLP之新闻文本分类

1.赛题目标
了解NLP从数据处理到建模，再到训练调参等等步骤的细节和关键点。

2.赛题任务
对新闻文本进行分类。

3.数据
此次数据为新闻文本数据，且数据在下载前已经进行了脱敏处理，这也是这次赛题的难点。总体来说，数据分为14类：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏和娱乐。

数据由训练集和测试集（A/B）构成，训练集包括20W条新闻数据，测试集A与测试集B分别包括5W条数据。有两个测试集是因为保证赛制变化后所有参赛选手的公平性。

4.初步读取数据后，可以发现各类新闻数据分布不平衡

可以看出，数据集类别分布不均匀，训练集中科技类新闻最多(近4W)，其次是股票类新闻，最少是星座类新闻(不到1K)
数据集中标签的对应关系如下
{
   '科技': 0, '股票'