【python数据抓取技术与实战】json

最新推荐文章于 2025-11-01 09:33:28 发布

转载最新推荐文章于 2025-11-01 09:33:28 发布 · 553 阅读

code实验室同时被 3 个专栏收录

11 篇文章

订阅专栏

读书笔记

10 篇文章

订阅专栏

爬虫开发

7 篇文章

订阅专栏

本文介绍如何使用Python的JSON库解析HTTP响应的JSON数据，并通过pymongo模块将数据存储到MongoDB中。示例展示了从指定URL获取北京大学和清华大学的地图信息，解析并保存这些数据的过程。

python提供了json库，专门用于json格式内容的解析处理。

json的使用比较简单，常用的方法有load、loads、dump和dumps，我们这里结合mongodb，可以存储大量的json数据。

查询北京大学地图的url，它返回的是json格式。我们可以通过该例子说明问题，网址如下：

http://ditu.amap.com/detail/get/detail?id=B000A816R6，代码如下：

import requests
import json
url='http://ditu.amap.com/detail/get/detail?id=B000A816R6'
res = requests.get(url).text
json_dict=json.loads(res)
print(type(json_dict))
print(json_dict.keys())
print(json_dict['data'])
print('lng:'+json_dict['data']['base']['x']+','+'lat:'+json_dict['data']['base']['y'])

输出部分结果如下所示：

<class 'dict'>
dict_keys(['status', 'data'])
{'src_info': [], ... 'author_id': '', 'review_weburl': '', 'recommend': '', 'quality_flag': 48, 'high_quality': 0, 'aos_tag_score': 33.599999999999994, 'gold_num': 5, 'gold_type': '22', ... 'intro': '北京大学创于1898年,初名京师大学堂,是第一所国立综合性大学,也是当时中国的最高教育行政机关.辛亥革命后,于1912年改为现名. 作为新文化运动的中心和“五四”运动的策源地,作为中国最早传播马克思主义和民主科学思想的发祥地,作为中国共产党最早的活动基地,北京大学为民族的振兴和解放、国家的建设和发展、社会的文明和进步做出了不可代替...}
lng:116.31088,lat:39.99281

既然我们已经把数据取下来了，那么我们现在就可以用mongodb做存储了

我们需要安装mongodb，在之前的文章中我们已经介绍过了。还要在python中安装pymongodb模块（它搭起了python和mongodb的桥梁）

pip3 install pymongo

#如果你安装的是anaconda，那么你还可以用以下命令安装
conda install pymongo

安装完成之后，我们就可以将json的处理和存储给结合起来了，环境启动如下所示：

net start mongodb
mongo    #这里我们已经把mongo的path加入了系统环境PATH中，所以可以不用完整路径信息

#手工建立数据库
> use bj_map   #创建名为bj_map的数据库，并转到该数据库下操作
> db
bj_map
> db.createCollection("pos_info")   #在bj_map数据库下创建pos_info表
{ "ok" : 1 }    #表示该表创建成功

#代码建立数据库
#由于没有相对应的数据库和集合，mongodb会自动创建

mongodb的端口号为27017（固定端口号更为方便，我们在配置mongodb服务的时候固定的端口号）

import requests
import json
import pymongo

#数据库信息配置
ip='127.0.0.1'
port=27017
db_name ='bj_map'
collection_name ='pos_info'

#北京大学
url_1='http://ditu.amap.com/detail/get/detail?id=B000A816R6'
#清华大学
url_2='http://ditu.amap.com/detail/get/detail?id=B000A7BD6C'
urls=[url_1,url_2]

#数据库连接
mongo_conn=pymongo.MongoClient(ip,port)
db=mongo_conn[db_name]
collection=db[collection_name]

for url in urls:
    try:
        print(url)
        res = requests.get(url).text
        json_dict=json.loads(res)
        collection.save(json_dict)
    except Exception as e:
        print(e)

输出结果：

http://ditu.amap.com/detail/get/detail?id=B000A816R6
http://ditu.amap.com/detail/get/detail?id=B000A7BD6C

我们可以在mongodb数据库中去查看

mongo
> db['pos_info'].count()
2
>db['pos_info'].find()
{... "motto" : "爱国 进步 科学 民主", "intro" : "北京大学创于1898年,初名京师大学堂,是...}
{... "motto" : "自强不息 厚德载物", "intro" : "清华大学(Tsinghua University),简称清华...}

或者说我们打开pycharm，用pycharm的mongo插件查看。点击界面右侧栏中的Mongo Explorer→选择第三个图标“mongo settings”→点击右侧绿色的“+”→label和user database都填写“bj_map”,server_url默认就好，用test connection按钮测试。至此，我们就可以查看了。