【数据分析 03】论文代码统计

---

数据分析系列，使用的数据在本系列专栏第一篇。

一、预备工作

任务说明

任务主题：论⽂代码统计，统计所有论⽂出现代码的相关统计；
任务内容：使⽤正则表达式统计代码连接、⻚数和图表数据；
任务成果：学习正则表达式统计；

具体细节

1.在原始arxiv数据集中作者经常会在论⽂的 comments 或 abstract 字段中给出具体的代码链接，所以我们需要从这些字段⾥⾯找出代码的链接。
2.确定数据出现的位置；
3.使⽤正则表达式完成匹配；
4.完成相关的统计；

二、处理步骤

1.引入库

代码如下（示例）：

以下基于python 3.8 jupyter 环境下运行

# 导⼊所需的package
import seaborn as sns #⽤于画图
from bs4 import BeautifulSoup #⽤于爬取arxiv的数据
import re #⽤于正则表达式，匹配字符串的模式
import requests #⽤于⽹络连接，发送⽹络请求，使⽤域名获取对应信息
import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析
import matplotlib.pyplot as plt #画图⼯具

2.读入数据

data = [] #初始化
#使⽤with语句优势：1.⾃动关闭⽂件句柄；2.⾃动显示（处理）⽂件读取数据异常
#读取数据
data = [] #初始化
file_path = r"C:\Users\monster\Desktop\Data King\archive\arxiv-metadata-oai-snapshot.json"
with open(file_path,'r') as f:
    for idx,line in enumerate(f):
        d = json.loads(line)  ##json.load(file,s,...)需指定文件  json.loads(s,...)
        d = {
   'abstract': d['abstract'], 'categories': d['categories'],
'comments': d['comments']}
        data.append(d)
        
data = pd.DataFrame(data) #将list变为dataframe格式，⽅便使⽤pandas进⾏分析

data.head()
data.shape

输出：

3.对pages进行抽取

3.1pages储存在comments中，用正则表达式进行提取

# 使⽤正则表达式匹配，XX pages
data['pages] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]*pages',str