Pythn爬虫最佳辅助工具之MongoDB简介

点击上方“AI派”，选择“设为星标”

最新分享，第一时间送达！

作者：Tango，目前就职在一家对日开发的的IT服务公司。不是科班出身的我，出于对编程的热爱，自学了软件开发。从此深深陷入在代码的世界而无法自拔。

编辑：王老湿

我们的专栏发布后，目前已经更新了六篇：

今天我们来介绍一个非常适合爬虫的辅助工具：MongoDB。MongoDB是一个基于分布式文件存储的数据库，由C++语言编写，旨在为web应用提供可扩展的高性能数据存储解决方案。由于可扩展性，因此非常适合爬虫数据的存储。

在本篇文章中，你讲学会一下内容：

• MongoDB的安装

• MongoDB在Python中的基本用法

• MongoDB在爬虫中的使用

MongoDB的下载和安装

1. 下载地址：

   https://www.mongodb.com/download-center/community

   进入官网后我们选择Server，然后根据自己的电脑系统选择合适的版本

注意：在 MongoDB 2.2 版本后已经不再支持 Windows XP 系统。最新版本也已经没有了 32 位系统的安装文件。

2. 下载好文件，我们双击运行。

这边的路径我建议不要保存到有中文或者符号的文件夹

然后点下一步，其他的我都选择了默认的。

注意：在最后一步的时候，它会问你是否关闭XXX应用，我这里选择否。

※最后一步，一直卡着不动

是因为到最后一步时，左下角的勾勾没有去掉，mongodb compass是图形化管理界面，下载它需要很久很久，还有可能一直下不来，所以把勾去掉就能马上安装好。

3. 配置与启动

   在启动前，我们需要在一个目录下面创建一个用来保存数据的文件夹。如：D:\mongoDB\data

   然后切换到MongoDB的安装目录下的bin目录

   cd /d D:\Program Files\MongoDB\Server\4.2\bin
   

   然后执行以下命令来启动MongoDB

   D:\mongoDB\data 为你刚刚创建好的文件夹路径，记得要有权限，或者会报错。

4. 然后我们新开一个窗口

   同样是进入mongoDB的bin目录

然后输入：mongo

看到 > 就表示启动成功了。

在Python中使用MongoDB

1. 安装pymongo库

   pip install pymongo
   

   如果安装失败，可以尝试以下命令

   pip install pymongo -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
   

如上图表示安装成功。

2. 导入pymongo库

   import pymongo # 执行此命令前要保证mongoDB已经启动成功
   

3. 建立连接

   client = pymongo.MongoClient('localhost', 27017)
   

4. 新建库

   db = clinet['db_name']
   

5. 新建表

   table = db['table_name']
   

6. 写入数据

   table.insert({'key1':value1, 'key2':value2})
   

7. 删除数据

   table.remove({'key':value})
   

8. 修改数据

   table.update({'key':value},{"$set":{'key1':value1, 'key2':value2}})
   

9. 查询数据

   table.find({'key':value})
   

MongoDB在爬虫中的使用

我们这里爬取的是：https://where.heweather.com/location.html这个网站的热门城市代码

我们将爬取的信息保存进MongoDB

具体代码如下：

import requests
import pymongo # 导入pymongo


header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)\
     AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.75 Safari/537.36'}

req = requests.get('https://search.heweather.net/top?group=cn&lang=zh&key=b44262251121469585bc2d212d33a3b3', headers=header)
client = pymongo.MongoClient('localhost', 27017)
db = client['cityCode'] # 创建cityCode这个库
table = db['code_list'] # code_list 这个表
table.insert_one(req.json())

运行效果：

这个管理工具是：

下载地址：https://robomongo.org/download

好了，本周的内容就是这些，MongoDB的用法还有很多，这里只是简单的介绍以下，如果要深入学习的话，建议买一本书来看看（或者在我们的学习群里获取电子资料）。如果学习过程中出现问题，可以加入我们的学习群获取帮助。还没有加入的同学可以扫描下方的微信二维码，添加微信好友，之后统一邀请你加入学习群。添加好友时一定要备注：爬虫。 

/ 每日赠书专区 /

为了回馈一直以来支持我们的读者，“每日赠书专区”会每天从留言支持我们的读者中选择一名最脸熟的读者来赠予实体书籍（包邮），当前通过这种方式我们已赠送出 40 本书籍。

1.脸熟的评判标准是根据通过留言的次数来决定的

2.留言时需要按照今日留言主题来用心留言，否则不计入总数

3.每日赠书专区会出现在AI派当天发布文章的头条或次条的文章末尾

如果不理解头条/次条的含义的读者可看下面的图。

今天我们的每日赠书专区出现在“次条”的位置上，书籍为《Python3爬虫实战——数据清洗、数据分析与可视化》。

本书简介：

本书的笔者是文科生，大学专业为工商管理。在机缘巧合之下，走上了自学编程的道路。在自学的过程中遇到过各式各样的困难，遇到过许多难题。有时候一个简单问题，就把我卡在那里几天时间，无法继续工作。做爬虫，每一个新的网站爬取都是一个挑战。因为你不知道前面有什么坑在等着你去踩。

正是这个原因，激发了笔者的写作热情，于是想把自己的学习体会、开发技巧分享出来，让读者对现有网站的爬取方式有一个全面地了解。针对不同网站，选择合适的爬取方式，用最省力的方法获取数据。

?↑↑点击上方小程序即可购买

/ 今日留言主题 /

你为什么会被爬虫吸引呢? ?

近期专栏推荐

1. 

2. 

3. 

4. 

点下「在看」，给文章盖个戳吧！