自然语言处理实践——数据读取与数据分析(新闻文本分类)

中文文本分类问题:THUCNews数据集 中文文本分类问题:THUCNews数据集1 THUCNews数据集与预处理1.1 数据集下载1.2 数据量1.3 数据预处理1.3.1 导入数据1.3.2 将文字型的label 转为数字label2 特征工程2.1 TF-IDF并将文件保存至本地 1 THUCNews数据集与预处理 1.1 数据集下载 本文采用了清华NLP组提供的THUCNews新闻文本分类数据集的子集 数据下载链接: THUC... 阅读详情

自然语言处理实践——数据读取与数据分析(新闻文本分类)

本章主要内容为数据读取和数据分析,具体使用Pandas库完成数据读取操作,并对赛题数据进行分析构成。

1.学习目标

  • 学习使用Pandas读取赛题数据
  • 分析赛题数据的分布规律

2.数据读取

赛题数据虽然是文本数据,每个新闻是不定长的,但任然使用csv格式进行存储。因此可以直接用Pandas完成数据读取的操作。

import pandas as pd
train_df = pd.read_csv('../input/train_set.csv', sep='\t', nrows=100)

这里的read_csv由三部分构成:

  • 读取的文件路径,这里需要根据改成你本地的路径,可以使用相对路径或绝对路径;
  • 分隔符sep,为每列分割的字符,设置为\t即可;
  • 读取行数nrows,为此次读取文件的函数,是数值类型(由于数据集比较大,建议先设置为100);

train_df.head( )

labeltext
02 2967 6758 339 2021 1854 3731 4109 3792 4149 15…
111 4464 486 6352 5619 2465 4802 1452 3137 5778 54…
23 7346 4068 5074 3747 5681 6093 1777 2226 7354 6…
32 7159 948 4866 2109 5520 2496 211 3956 5520 549…
43 3646 3055 2490 4659 6065 3370 5814 2465 5…

上图是读取好的数据,是表格的形式。第一列为新闻的类别,第二列为新闻的字符。

3.数据分析

在读取完成数据集后,我们还可以对数据集进行数据分析的操作。虽然对于非结构数据并不需要做很多的数据分析,但通过数据分析还是可以找出一些规律的。

此步骤我们读取了所有的训练集数据,在此我们通过数据分析希望得出以下结论:

  • 赛题数据中,新闻文本的长度是多少?
  • 赛题数据的类别分布是怎么样的,哪些类别比较多?
  • 赛题数据中,字符分布是怎么样的?
1.句子长度分析

在赛题数据中每行句子的字符使用空格进行隔开,所以可以直接统计单词的个数来得到每个句子的长度。统计并如下:

%pylab inline
train_df['text_len'] = train_df['text'].apply(lambda x: len(x.split(' ')))
print(train_df['text_len'].describe())

输出结果为:

Populating the interactive namespace from numpy and matplotlib
count 200000.000000
mean 907.207110
std 996.029036
min 2.000000
25% 374.000000
50% 676.000000
75% 1131.000000
max 57921.000000
Name: text_len, dtype: float64

对新闻句子的统计可以得出,本次赛题给定的文本比较长,每个句子平均由907个字符构成,最短的句子长度为2,最长的句子长度为57921。

下图将句子长度绘制了直方图,可见大部分句子的长度都几种在2000以内。

_ = plt.hist(train_df['text_len'], bins=200)
plt.xlabel('Text char count')
plt.title("Histogram of char count")

在这里插入图片描述

2.新闻类别分布

接下来可以对数据集的类别进行分布统计,具体统计每类新闻的样本个数。

train_df['label'].value_counts().plot(kind='bar')
plt.title('News class count')
plt.xlabel("category")

在这里插入图片描述
在数据集中标签的对应的关系如下:{‘科技’: 0, ‘股票’: 1, ‘体育’: 2, ‘娱乐’: 3, ‘时政’: 4, ‘社会’: 5, ‘教育’: 6, ‘财经’: 7, ‘家居’: 8, ‘游戏’: 9, ‘房产’: 10, ‘时尚’: 11, ‘彩票’: 12, ‘星座’: 13}

从统计结果可以看出,赛题的数据集类别分布存在较为不均匀的情况。在训练集中科技类新闻最多,其次是股票类新闻,最少的新闻是星座新闻。

3.字符分布统计

接下来可以统计每个字符出现的次数,首先可以将训练集中所有的句子进行拼接进而划分为字符,并统计每个字符的个数。

from collections import Counter
all_lines = ' '.join(list(train_df['text']))
word_count = Counter(all_lines.split(" "))
word_count = sorted(word_count.items(), key=lambda d:d[1], reverse = True)

print(len(word_count))
# 6869

print(word_count[0])
# ('3750', 7482224)

print(word_count[-1])
# ('3133', 1)

从统计结果中可以看出,在训练集中总共包括6869个字,其中编号3750的字出现的次数最多,编号3133的字出现的次数最少。

这里还可以根据字在每个句子的出现情况,反推出标点符号。下面代码统计了不同字符在句子中出现的次数,其中字符3750,字符900和字符648在20w新闻的覆盖率接近99%,很有可能是标点符号。

train_df['text_unique'] = train_df['text'].apply(lambda x: ' '.join(list(set(x.split(' ')))))
all_lines = ' '.join(list(train_df['text_unique']))
word_count = Counter(all_lines.split(" "))
word_count = sorted(word_count.items(), key=lambda d:int(d[1]), reverse = True)

print(word_count[0])
# ('3750', 197997)

print(word_count[1])
# ('900', 197653)

print(word_count[2])
# ('648', 191975)
3.数据分析的结论

通过上述分析我们可以得出以下结论:

  1. 赛题中每个新闻包含的字符个数平均为1000个,还有一些新闻字符较长;
  2. 赛题中新闻类别分布不均匀,科技类新闻样本量接近4w,星座类新闻样本量不到1k;
  3. 赛题总共包括7000-8000个字符;

通过数据分析,我们还可以得出以下结论:

  1. 每个新闻平均字符个数较多,可能需要截断;
  2. 由于类别不均衡,会严重影响模型的精度;

总结:赛题数据进行读取,并新闻句子长度、类别和字符进行了可视化分析。

[1] https://github.com/datawhalechina/team-learning

处理复旦大学中文文分类数据集 目录1. 处理原始数据2. 分词、去停用词3. 存储到csv4. 存储到数据库5. 主函数7. 最终结果展示6. 注意内容7. 资源列表8. 完整代码 复旦大学中文文本分类数据集是一个小型轻量的数据集,常用于自然语言处理文本分类,文本聚类实验中,本文通过使用Python将该数据集进行基本处理,并分别存储到csv和sql文件中。 1. 处理原始数据 原始数据的格式为(如图1.1),每个文件夹中有不等量的.txt文件,每个文件为一篇语料。 图1.1:原始数据格式 读取类别文件列表,用os模块读取原始数据 阅读详情

相关推荐

自然语言处理实战:新闻文本分类(附代码)

自然语言处理实战:新闻文本分类 ——本文比赛来源于天池零基础入门NLP - 新闻文本分类。 目录自然语言处理实战:新闻文本分类一、赛题理解1、学习目标2、赛题数据3、数据标签4、评测指标5、数据读取6、解题思路二、数据读取与数据分析1、学习目标2、数据读取3、数据分析3.1句子长度分析3.2新闻类别分布3.3字符分布统计4、数据分析的结论5、本章小结三、基于机器学习的文本分类1、学习目标2、机器学习模型3、文本表示方法 Part13.1One-hot3.2Bag of Words3.3N-gram3.4

南有芙蕖 5万+

文本分类(情感分析)——中文数据集汇总

会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner,gui设计、simulink仿真......希望能帮到你!

小嘤熊的博客 2万+

中文新闻分类 数据集_NLP-新闻文本分类实战

一、赛题理解赛题名称:零基础入门NLP之新闻文本分类 赛题目标:通过这道赛题可以引导大家走入自然语言处理的世界,带大家接触NLP的预处理、模型构建和模型训练等知识点。 赛题任务:赛题以自然语言处理为背景,要求选手对新闻文本进行分类,这是一个典型的字符识别问题。赛题数据赛题以匿名处理后的新闻数据为赛题数据,数据集报名后可见并可下载。赛题数据为新闻文本,并按照字符级别进行匿名处理。整合划分出14个候选...

weixin_39965794的博客 4407

关于文本分类(情感分析)的中文数据集汇总

文本分类(情感分析)中文数据集汇总 这段时间在公司NLP组里实习,相应的开始学习了一些NLP的知识,并搜索了一些关于NLP中文本分类领域的相关数据集,本文主要列举一些中文数据集。关于英语数据集,且听下回分解。 1.THUCNews数据集: THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成,包含74万篇新闻文档(2.19 GB),均为UTF-8纯文本格式。我们...

lip 5万+

零基础入门NLP之新闻文本分类挑战赛——数据读取与数据分析

一、数据读取 首先,导入pandas库读取csv数据,并显示前几行看一下~ import pandas as pd #读取数据 train_df = pd.read_csv('F:/datawhale/NLP_learning/train_set.csv', sep='\t', nrows=100) train_df.head() 可以看到,第一列为新闻的类别,第二类为新闻的字符。 二、数据分析 读取数据集后,我们需要对数据进行分析,理解数据的特征,方便后续做相应的数据清洗工作。 1、句子长度分析 因为每

melody 3812

天池NLP赛事-新闻文本分类(二)——数据读取和数据分析

系列文章 天池NLP赛事-新闻文本分类(一) —— 赛题理解 天池NLP赛事-新闻文本分类(二) —— 数据读取和数据分析 目录二、数据读取与数据分析2.1 数据读取2.2 数据分析2.2.1 句子长度分析2.2.2 新闻类别分布2.2.3 字符分布统计2.3 数据分析的结论 二、数据读取与数据分析 2.1 数据读取 赛题数据虽然是文本数据,每个新闻是不定长的,但仍然使用csv格式进行存储。因此可以直接用Pandas完成数据读取的操作。 import pandas as pd train_df = pd.

清崎教练 708

NLP实践(新闻文本分类)-数据读取与数据分析

数据读取与数据分析读取数据数据分析句子长度分析新闻类别分类字符分布统计统计出现频率最多的字符数据分析结论总结 读取数据 赛题数据虽然是文本数据,每个新闻是不定长的,但任然使用csv格式进行存储。因此可以直接用Pandas完成数据读取的操作。 import pandas as pd train_df = pd.read_csv('train_set.csv', sep='\t', nrows=100) #这里的read_csv由三部分组成,第一个为路径,第二个为分割符,第三个为读取行数(这里训练集比较大,因此

Ray的博客 1564

阿里天池NLP入门——新闻文本分类(2)数据读取与数据分析

数据读取 import pandas as pd data=pd.read_csv('train_set.csv',sep='\t') data.head() 数据可视化与分析 新闻长度分析 train_df['text_len']=train_df['text'].apply(lambda x: len(x.split(' '))) print(train_df['text_len'].describe()) apply后是对text字段运用的函数 describe是对字段基本统计 每条新闻平

qq_41606953的博客 742

【NLP】天池新闻文本分类(二)——数据读取与数据分析

【NLP】天池新闻文本分类(二)——数据读取与数据分析前言数据读取数据分析 前言 NLP之新闻文本分类挑战赛(赛题链接)。 其实上一篇赛题理解时已经做了数据读取和分析,因为一般在分析之后才对题目有初步理解。但为了流程完整性,还是做一篇独立的数据读取与分析,采用Pandas库实现。 数据读取 数据分析 ...

u011961803的博客 1066

大语言模型常见任务及评测数据集汇总(一):70 余个数据集!

1. 文本分类 1.1. 中文文本分类数据集: THUCNews:清华大学推出的中文新闻文本数据集,包含了74万篇新闻文章,覆盖了10个类别。 LCQMC:哈尔滨工业大学发布的数据集,主要用于中文句子匹配任务,也常用于文本分类。 BQ Corpus:同样用于中文句子匹配,也可用于文本分类。 1.2. 英文文本分类数据集: IMDb:包含50,000条影评数据,分为正面和负面两类,常用于情感分析。 20 Newsgroups:包含约20,000条新闻组文档,分为20个类别。

大F子的智能小课 7255

复旦大学中文文本分类数据集utf8格式

本语料库由复旦大学李荣陆提供。 下载的原始数据编码格式是gb18030,用python解析时报错,这个是用java将数据格式转为utf-8编码格式后的结果。 train.zip共9804篇文档,test.zip共9832篇文档,都分为20个类别。 下载后可以自己重新切分数据,也可以直接用。 免费下载地址:链接:https://pan.baidu.com/s/1m0stk-0AovdbMNT5-CMdSA 密码:2bvz 使用时尽量注明来源(复旦大学计算机信息与技术系国际数据库中心自然语言处理小组)。

【NLP】新闻文本分类 ----数据读取及分析

【NLP】新闻文本分类文本分析句子分布分析断句情况分析 在上一节中,进行读取完成数据集后,还可以对数据集进行数据分析的操作。虽然对于非结构数据并不需要做很多的数据分析,但通过数据分析还是可以找出一些规律。 此步骤我们读取了所有的训练集数据,在此我们通过数据分析希望得出以下结论: 赛题数据中,新闻文本的长度是多少? 赛题数据的类别分布是怎么样的,哪些类别比较多? 赛题数据中,字符分布是怎么样的? 文本分析 句子分布分析 观察可以发现,每行句子的字符使用空格进行隔开,统计句子长度及其长度的统计分布情况: 断句情

heanglaxinyi的博客 1062

THUCNews中文文本分类数据集,该数据集包含84万篇新闻文档,总计14类;

THUCNews中文文本分类数据集,该数据集包含84万篇新闻文档,总计14类;在该模型的基础上测试多_TextClassifier

【阿里云天池算法挑战赛】零基础入门NLP - 新闻文本分类-Day2-数据读取与数据分析

一、赛题解析 【阿里云天池算法挑战赛】零基础入门NLP - 新闻文本分类-Day1-赛题理解_202xxx的博客-优快云博客 二、数据读取 下载完成数据后推荐使用anaconda,python3.8进行数据读取与模型训练 首先安装需要用到的模块包: pip版本: pip添加国内源,增加下载速度_202xxx的博客-优快云博客 pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple conda版本: 新建co.

202xxx的博客 1212

RcisTarget实战:从差异基因到转录因子调控网络的完整分析流程(附代码)

本文详细介绍了RcisTarget工具在转录因子调控网络分析中的完整流程,从差异基因到motif富集分析,再到结果可视化与生物学解读。通过实战代码演示,帮助研究者掌握这一强大的R包应用,揭示基因表达背后的调控机制,特别适用于基因组学和生物信息学研究。

weixin_29214199的博客 229

用电脑通过网口控制keysight示波器

Keysight HD304MSO示波器提供1GHz带宽、14位高精度ADC及10.1英寸触控屏,支持50μV低噪声信号捕获和1.3M波形/秒刷新率。配备4通道探头、逻辑分析仪接口及100Mpts存储深度,含故障诊断、FFT等高级功能。通过网线连接电脑安装TightVNC软件(示波器IP为169.254.163.24)可实现远程控制,相比U盘传输更高效。(149字)

johnboat的专栏 1136

NLP入门——天池新闻文本分类(2)数据读取与数据分析

NLP入门——天池新闻文本分类(2)数据读取与数据分析数据读取与数据分析学习目标数据读取数据分析1.新闻文本长度2.新闻类别分类3.字符分布统计数据分析的结论本章作业1.假设字符3750,字符900和字符648是句子的标点符号,请分析赛题每篇新闻平均由多少个句子构成?2.统计每类新闻中出现次数最多的字符3.作业分析中的结论 数据读取与数据分析 本章内容为数据读取与数据分析,使用Pandas完成数据读取,并对数据构成进行分析 学习目标 使用Pandas完成赛题数据的读取 分析赛题数据的分布情况 数据读取

qq_36831845的博客 939

IBM AC922 8335-GTW 安装linux,CentOS,ubuntu,RHEL各种坑

AC922

u011970286的专栏 905

【NLP】天池新闻文本分类(一)——赛题理解

【NLP】天池新闻文本分类——赛题理解赛题介绍赛题数据评测标准赛题理解读取数据分析数据解题思路 赛题介绍 NLP之新闻文本分类挑战赛(赛题链接)。 赛题以自然语言处理为背景,要求选手根据新闻文本字符对新闻的类别进行分类,这是一个经典文本分类问题。 赛题数据 赛题数据为新闻文本,并按照字符级别进行匿名处理。整合划分出14个候选分类类别:财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐的文本数据。 赛题数据由以下几个部分构成:训练集20w条样本,测试集A包括5w条样本,测试集B

u011961803的博客 2759

宇树G1嵌入式软件架构及技术实现

该架构通过硬件加速(FPGA)+确定性调度(RTX5)的组合,在1ms控制周期内完成从传感器采集到43轴输出的全链路处理,相比波士顿动力系统缩短40%的着地稳定时间。,结合ARM Cortex-R5与FPGA的异构计算能力,实现43自由度1kHz实时控制。

m0_60674045的博客 4311

VS Code+ESP-IDF开发避坑指南:头文件标红报错的5种解决方法(附CMakeLists.txt配置)

本文详细解析了在VS Code中使用ESP-IDF开发ESP32时头文件标红报错的5种解决方法,包括环境配置检查、CMakeLists.txt规范配置、路径解析策略、缓存清理技巧和高级调试手段。特别提供了CMakeLists.txt的实战配置示例,帮助开发者彻底解决头文件路径问题,提升开发效率。

weixin_33670786的博客 560

NLP-新闻文本分类数据分析

NLP-新闻文本分类数据分析 读取数据并观察分布 train = pd.read_csv("train_set.csv", sep="\t") train.head(5) 查看数据集信息: 由此可见,数据集只有两列,一共20万条数据,并且数据集中无缺失值。 接下来观察标签分布: 标签分布呈长尾分布。在预测时,可能导致预测的结果偏向某几类。因此,可以考虑处理样本不均衡问题。 特征构建 目前采用的是传统的机器学习方法,计算tf-idf和词频计算两种方式,将得到的结果作为特征。 from sklearn.

qq_43573149的博客 957

VS code平台调试AutoLISP程序教程

VS code平台调试AutoLISP程序教程

BearElder的博客 3189

Datawhale - 入门NLP之新闻文本分类 - task2 数据分析

前面已经学习记录了: Datawhale - 入门NLP之新闻文本分类 - task1 赛题理解 今天继续学习记录:task2 数据分析,主要是对巡检集的数据进行分析,统计,了解数据整体的分布情况! 1 竞赛数据来源 竞赛数据来源,进入天池实验室 -- “零基础入门NLP - 新闻文本分类”: https://tianchi.aliyun.com/competition/entrance/531810/information,然后点击报名参赛,再点击“赛题与数据”...

何小义的博客 512

微信商家转账报错“当前使用用户过多,请稍后重新确认收款”解决方案

当前使用用户过多,请稍后重新确认收款”这个错误,其实就是典型的参数误处理导致的假报错。记住一句话就行👇JSAPI 场景下的package参数不要做 UrlEncode。如果你也遇到这个问题,希望这篇文章能帮你少踩一个坑。

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 788

收放卷伺服控制系统详细算法介绍(电子齿轮+张力PID卷绕轴控制功能块)

收放卷控制系统涉及的内容非常多,这里我们介绍全伺服系统利用电子齿轮指令实现主从轴的比例随动速度控制,收放卷控制算法介绍常用链接如下1、收放卷+排线控制收放卷+排线控制系统框图-优快云博客文章浏览阅读24次。1、收放卷前馈量计算FC收放卷前馈量计算FC(CODESYS ST源代码)-优快云博客文章浏览阅读16次。1、收放卷前馈量计算FC(博途PLC):收放卷前馈量计算FC(梯形图+SCL代码)-优快云博客文章浏览阅读534次。2、收放卷前馈量计算FC。

RXXW_Dor的博客 3123
上一篇: Python 学习笔记1:变量,运算符,数据类型及位运算
下一篇: Python 学习笔记补充2:python的复制、浅拷贝和深拷贝
Codewith_jing
博客等级 码龄8年 3粉丝 12原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值