数据分析任务3：论文代码统计

最新推荐文章于 2023-02-11 13:49:07 发布

原创最新推荐文章于 2023-02-11 13:49:07 发布 · 357 阅读

1 ·

CC 4.0 BY-SA版权

pandas 同时被 3 个专栏收录

4 篇文章

订阅专栏

正则表达式

1 篇文章

订阅专栏

论文数据分析

1 篇文章

订阅专栏

该博客介绍了如何从arxiv论文数据集中提取代码链接，主要涉及正则表达式和Pandas库的使用。首先，通过正则表达式在论文的comments和abstract字段中查找代码链接，然后对页面数、图表数进行统计，并专注于含有Github链接的论文。通过数据处理和可视化，展示了按类别统计的论文平均页数和引用Github链接的论文数量分布。

数据分析任务3：论文代码统计

Github
数据集
涉及知识点：

正则表达式
数据框中各列处理apply函数和lambda的联合使用data[‘categories’] = data[‘categories’].apply(lambda x: x.split(’ ')[0])
finall函数的返回类型依其正则表达式中（）的个数不同而不同

1.数据处理步骤

在原始arxiv数据集中作者经常会在论文的comments或abstract字段中给出具体的代码链接，所以我们需要从这些字段里面找出代码的链接。

确定数据出现的位置；
使用正则表达式完成匹配；
完成相关的统计；

2.正则表达式

普通字符：大写和小写字母、所有数字、所有标点符号和一些其他符号

特殊字符：有特殊含义的字符
在这里插入图片描述
限定符

3.代码实现

import json #读取数据
import re #正则表达式
import pandas as pd

读取数据

data = []
with open("E:/datawhale数据分析/arxiv-metadata-oai-2019.json",'r') as f:
    for idx,line in enumerate(f):
        d = json.loads(line)
        d = {'abstract':d['abstract'],'categories':d['categories'],'comments':d['comments']}
        data.append(d)

data = pd.DataFrame(data)

抽取页数pages

data['pages'] = data['comments'].apply(lambda x:re.findall('[1-9][0-9]* pages',str(x)))

data = data[data['pages'].apply(len) > 0]#抽取出页码存在的论文

data['pages'][1][0]
#27 pages

#去除pages  留下数字作为pages项
data['pages'] = data['pages'].apply(lambda x: float(x[0].replace('pages','')))

对pages进行统计

data['pages'].describe().astype(int)

按照分类统计论文页数，选取了论文的第一个类别的主要类别

import matplotlib.pyplot as plt
#选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])

#每类论文的平均页数
plt.figure(figsize=(12,6))
data.groupby(['categories'])['pages'].mean().plot(kind = 'bar')

在这里插入图片描述

对论文图表个数进行抽取并设为data[“figures”]：

data = data.copy()
#删掉copy会报错？？
data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures',str(x)))
data = data[data['figures'].apply(len) >0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace('figures','')))

对论文的代码链接进行提取，为了简化任务只抽取github链接

data = data.copy()
# 筛选包含github的论文
data_with_code = data[
    (data.comments.str.contains('github')==True)|
                      (data.abstract.str.contains('github')==True)
]
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')

# 使用正则表达式匹配论文
pattern = '[a-zA-z]+://github[^\s]*'
#所有大小写字母出现一次或多次：//github任意非空字符出现0次或多次
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)
#finall函数的返回类型依其正则表达式中（）的个数不同而不同
#https://www.cnblogs.com/springionic/p/11327187.html
data_with_code['code_flag']

按照类别对引用github链接的论文数量进行绘图

data_with_code = data_with_code[data_with_code['code_flag'] == 1]
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')