自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(2)
  • 收藏
  • 关注

原创 NLP-新闻文本分类数据分析

NLP-新闻文本分类数据分析 读取数据并观察分布 train = pd.read_csv("train_set.csv", sep="\t") train.head(5) 查看数据集信息: 由此可见,数据集只有两列,一共20万条数据,并且数据集中无缺失值。 接下来观察标签分布: 标签分布呈长尾分布。在预测时,可能导致预测的结果偏向某几类。因此,可以考虑处理样本不均衡问题。 特征构建 目前采用的是传统的机器学习方法,计算tf-idf和词频计算两种方式,将得到的结果作为特征。 from sklearn.

2020-07-22 22:11:38 957

原创 NLP入门学习

NLP入门学习 本次入门比赛是有关新闻文本分类,也是第一次接触NLP相关的比赛。抱着学习的心态,对本次赛题进行了一些粗略的分析。 赛题理解 本赛题是一个NLP中典型文本分类的问题,赛题数据20W,一共14个类别。 赛题数据如下: 赛题类别分布如下: 由图可见,类别数量最多的是科技,股票,体育占了大部分。 思路及方向 由于数据是非结构化数据,需要对其特征进行提取。 例如: 1.计算TF-IDF:词频-逆文档频率,通过TF-词频,DF-文档频数通过一定方法计算,得到的值为该词在该文档中的权重,将其作为特征进

2020-07-21 13:56:35 222

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除