数据分析任务3：论文代码统计

数据分析任务3：论文代码统计

Github
数据集
涉及知识点：

• 正则表达式
• 数据框中各列处理apply函数和lambda的联合使用data[‘categories’] = data[‘categories’].apply(lambda x: x.split(’ ')[0])
• finall函数的返回类型依其正则表达式中（）的个数不同而不同

1.数据处理步骤

在原始arxiv数据集中作者经常会在论文的comments或abstract字段中给出具体的代码链接，所以我们需要从这些字段里面找出代码的链接。

1. 确定数据出现的位置；
2. 使用正则表达式完成匹配；
3. 完成相关的统计；

2.正则表达式

普通字符：大写和小写字母、所有数字、所有标点符号和一些其他符号

特殊字符：有特殊含义的字符

限定符

3.代码实现

import json #读取数据
import re #正则表达式
import pandas as pd

读取数据

data = []
with open("E:/datawhale数据分析/arxiv-metadata-oai-2019.json",'r') as f:
    for idx,line in enumerate(f):
        d = json.loads(line)
        d = {'abstract':d['abstract'],'categories':d['categories'],'comments':d['comments']}
        data.append(d)

data = pd.DataFrame(data)

抽取页数pages

data['pages'] = data['comments'].apply(lambda x:re.findall('[1-9][0-9]* pages',str(x)))

data = data[data['pages'].apply(len) > 0]#抽取出页码存在的论文

data['pages'][1][0]
#27 pages

#去除pages  留下数字作为pages项
data['pages'] = data['pages'].apply(lambda x: float(x[0].replace('pages','')))

对pages进行统计

data['pages'].describe().astype(int)

按照分类统计论文页数，选取了论文的第一个类别的主要类别

import matplotlib.pyplot as plt
#选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])

#每类论文的平均页数
plt.figure(figsize=(12,6))
data.groupby(['categories'])['pages'].mean().plot(kind = 'bar')

对论文图表个数进行抽取并设为data[“figures”]：

data = data.copy()
#删掉copy会报错？？
data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures',str(x)))
data = data[data['figures'].apply(len) >0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace('figures','')))

对论文的代码链接进行提取，为了简化任务只抽取github链接

data = data.copy()
# 筛选包含github的论文
data_with_code = data[
    (data.comments.str.contains('github')==True)|
                      (data.abstract.str.contains('github')==True)
]
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')

# 使用正则表达式匹配论文
pattern = '[a-zA-z]+://github[^\s]*'
#所有大小写字母出现一次或多次：//github任意非空字符出现0次或多次
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)
#finall函数的返回类型依其正则表达式中（）的个数不同而不同
#https://www.cnblogs.com/springionic/p/11327187.html
data_with_code['code_flag']

按照类别对引用github链接的论文数量进行绘图

data_with_code = data_with_code[data_with_code['code_flag'] == 1]
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')