WBerica的博客

任务说明学习主题：作者关联（数据建模任务），对论文作者关系进行建模，统计最常出现的作者关系；学习内容：构建作者关系图，挖掘作者关系学习成果：论文作者知识图谱、图关系挖掘数据处理步骤将作者列表进行处理，并完成统计。具体步骤如下：将论文第一作者与其他作者（论文非第一作者）构建图；使用图算法统计图中作者与其他作者的联系；社交网络分析图是复杂网络研究中的一个重要概念。Graph是用点和线来刻画离散事物集合中的每对事物间以某种方式相联系的数学模型。Graph在现实世界中随处可见，如交通

1 任务说明学习主题：论文分类（数据建模任务），利用已有数据建模，对新论文进行类别分类；学习内容：使用论文标题完成类别分类；学习成果：学会文本分类的基本方法、TF-IDF等；2 数据处理步骤在原始arxiv论文中论文都有对应的类别，而论文类别是作者填写的。在本次任务中我们可以借助论文的标题和摘要完成：对论文标题和摘要进行处理；对论文类别进行处理；构建文本分类模型；3 文本分类思路思路1：TF-IDF+机器学习分类器直接使用TF-IDF对文本提取特征，使用分类器进行分类，分类器

环境和依赖包导入import re # 用于正则表达式，匹配字符串的模式import json # 读取数据，我们的数据为json格式的import pandas as pd # 数据处理，数据分析import matplotlib.pyplot as plt # 画图工具读取数据源，读取100w行数据，全部读取运行时间较长data = [] # 初始化#使用with语句优势：1.自动关闭文件句柄；2.自动显示（处理）文件读取数据异常with open("arxiv-metada

任务说明任务主题：论文作者统计，统计所有论文作者出现评率Top10的姓名；任务内容：论文作者的统计、使用 Pandas 读取数据并使用字符串操作；任务成果：学习 Pandas 的字符串操作；读取原始数据处理data = []with open("arxiv-metadata-oai-snapshot.json", 'r') as f: for index, line in enumerate(f): # 通过迭代器的方式读取大文件，可以通过判断索引index的大小控制读取的数据

一.获取测试数据源获取arxiv数据源二.读取数据源并进行处理导入相应的模块import requestsfrom bs4 import BeautifulSoup import re import json import pandas as pd 数据读取data = [] # 初始化#使用with语句优势：1.自动关闭文件句柄；2.自动显示（处理）文件读取数据异常#由于数据源文件较大，建议处理的时候通过枚举的方式，通过控制索引 控制读取数据的数量with open("ar