- 博客(2)
- 收藏
- 关注
原创 NLP-新闻文本分类数据分析
NLP-新闻文本分类数据分析 读取数据并观察分布 train = pd.read_csv("train_set.csv", sep="\t") train.head(5) 查看数据集信息: 由此可见,数据集只有两列,一共20万条数据,并且数据集中无缺失值。 接下来观察标签分布: 标签分布呈长尾分布。在预测时,可能导致预测的结果偏向某几类。因此,可以考虑处理样本不均衡问题。 特征构建 目前采用的是传统的机器学习方法,计算tf-idf和词频计算两种方式,将得到的结果作为特征。 from sklearn.
2020-07-22 22:11:38
957
原创 NLP入门学习
NLP入门学习 本次入门比赛是有关新闻文本分类,也是第一次接触NLP相关的比赛。抱着学习的心态,对本次赛题进行了一些粗略的分析。 赛题理解 本赛题是一个NLP中典型文本分类的问题,赛题数据20W,一共14个类别。 赛题数据如下: 赛题类别分布如下: 由图可见,类别数量最多的是科技,股票,体育占了大部分。 思路及方向 由于数据是非结构化数据,需要对其特征进行提取。 例如: 1.计算TF-IDF:词频-逆文档频率,通过TF-词频,DF-文档频数通过一定方法计算,得到的值为该词在该文档中的权重,将其作为特征进
2020-07-21 13:56:35
222
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅