目录
4.2 加载"relation_message.csv"文件
CSV 文件 GitHub 地址:https://github.com/leungll/Marvel-File
1 数据爬取
1.1 漫威人物关系图谱网站
1. 网址传送门:
注:网站被墙,因此很多朋友反应网站打不开,但是用梯子是可以访问的。另外,我会将爬下来的 csv 文件的 github 地址直接贴在下文中,有需要的朋友可以自取。
2. 网站介绍:网站是基于 Graph 技术开发的,主要是关于漫威人物、漫威电影的图谱。
3. 网站一览
首页:
人物关系:
点击头像,可看到人物的详细信息:(钢铁侠!!
漫威宇宙系列电影:
1.2 爬取人物关系数据
注:浏览器推荐使用 Google Chrome
1. 打开 F12 调试,选择 “Network”(注意是在首页)
2. 关键词搜索( Ctrl + f ),输入“marvel-data.json”
3. 进入“marvel-data.json”,复制 json 接口的 URL
在这里,我们主要需要爬取的数据是 “characters” 与 “relationship”
4. py