不会这几个库，都不敢说我会 Python 爬虫-优快云博客

本文链接：https://blog.youkuaiyun.com/pythonhy/article/details/131981274

很多朋友不知道 Python 爬虫怎么入门，怎么学习，到底要学习哪些内容。今天我来给大家说说学习爬虫，我们必须掌握的一些第三方库。

废话不多说，直接上干货。

1请求库

1. requests

GitHub：https://github.com/psf/requests

requests 库应该是现在做爬虫最火最实用的库了，非常的人性化。

有关于 requests 最详细的使用方法，大家可以参考官方文档：https://requests.readthedocs.io/en/master/

使用小案例：

>>> import requests>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))>>> r.status_code200>>> r.headers['content-type']'application/json; charset=utf8'>>> r.encoding'utf-8'>>> r.textu'{"type":"User"...'>>> r.json(){u'disk_usage': 368627, u'private_gists': 484, ...}

2. urllib3

GitHub：https://github.com/urllib3/urllib3

urllib3 是一个非常强大的 http 请求库，提供一系列的操作 URL 的功能。

有关于它的详细使用方法可以参考：https://urllib3.readthedocs.io/en/latest/

使用小案例：

>>> import urllib3>>> http = urllib3.PoolManager()>>> r = http.request('GET', 'http://httpbin.org/robots.txt')>>> r.status200>>> r.data'User-agent: *\nDisallow: /deny\n'

3.selenium********

GitHub：https://github.com/SeleniumHQ/selenium

自动化测试工具。一个调用浏览器的 driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。

对于这个库并非只是 Python 才能用，像 JAVA、Python、C# 等都能够使用 selenium 这个库

有关于 Python 语言如何去使用这个库，大家可以去访问 https://seleniumhq.github.io/selenium/docs/api/py/ 查看官方文档

使用小案例：

from selenium import webdriver
browser = webdriver.Firefox()browser.get('http://seleniumhq.org/')

4.aiohttp

GitHub：https://github.com/aio-libs/aiohttp

基于 asyncio 实现的 HTTP 框架。异步操作借助于 async/await 关键字，使用异步库进行数据抓取，可以大大提高效率。

这个属于进阶爬虫时候必须掌握的异步库。有关于 aiohttp 的详细操作，可以去官方文档：https://aiohttp.readthedocs.io/en/stable/

使用小案例：

import aiohttpimport asyncio
async def fetch(session, url):    async with session.get(url) as response:        return await response.text()
async def main():    async with aiohttp.ClientSession() as session:        html = await fetch(session, 'http://python.org')        print(html)
if __name__ == '__main__':    loop = asyncio.get_event_loop()    loop.run_until_complete(main())

解析库

1、beautifulsoup

官方文档：https://www.crummy.com/software/BeautifulSoup/

html 和 XML 的解析，从网页中提取信息，同时拥有强大的 API 和多样解析方式。一个我经常使用的解析库，对于 html 的解析是非常的好用。对于写爬虫的人来说这也是必须掌握的库。

2、 lxml

GitHub：https://github.com/lxml/lxml

支持 HTML 和 XML 的解析，支持 XPath 解析方式，而且解析效率非常高。

3、pyquery

GitHub：https://github.com/gawel/pyquery

jQuery 的 Python 实现，能够以 jQuery 的语法来操作解析 HTML 文档，易用性和解析速度都很好。

3 数据存储库

1、 pymysql

GitHub：https://github.com/PyMySQL/PyMySQL

官方文档：https://pymysql.readthedocs.io/en/latest/

一个纯 Python 实现的 MySQL 客户端操作库。非常的实用、非常的简单。

2、pymongo

GitHub：https://github.com/mongodb/mongo-python-driver

官方文档：https://api.mongodb.com/python/

顾名思义，一个用于直接连接 mongodb 数据库进行查询操作的库。

3、redisdump

使用方法：https://blog.youkuaiyun.com/zhwitbird/article/details/81279406

redis-dump 是将 redis 和 json 互转的工具；redis-dump 是基于 ruby 开发，需要 ruby 环境，而且新版本的 redis-dump 要求 2.2.2 以上的 ruby 版本，centos 中 yum 只能安装 2.0 版本的 ruby。需要先安装 ruby 的管理工具 rvm 安装高版本的 ruby；

这里给大家分享一份Python全套学习资料，包括学习路线、软件、源码、视频、面试题等等，都是我自己学习时整理的，希望可以对正在学习或者想要学习Python的朋友有帮助！

优快云大礼包：全网最全《全套Python学习资料》免费分享🎁

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

👉优快云大礼包🎁：全网最全《Python学习资料》免费分享（安全链接，放心点击）👈

1️⃣零基础入门

① 学习路线

对于从来没有接触过Python的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

② 路线对应学习视频

还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~ 在这里插入图片描述

③练习题

每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！
在这里插入图片描述
因篇幅有限，仅展示部分资料

2️⃣国内外Python书籍、文档

① 文档和书籍资料

在这里插入图片描述

3️⃣Python工具包+项目源码合集

①Python工具包

学习Python常用的开发软件都在这里了！每个都有详细的安装教程，保证你可以安装成功哦！
在这里插入图片描述

②Python实战案例

光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。100+实战案例源码等你来拿！
在这里插入图片描述

③Python小游戏源码

如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！
在这里插入图片描述

4️⃣Python面试题

我们学会了Python之后，有了技能就可以出去找工作啦！下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
在这里插入图片描述

5️⃣Python兼职渠道

而且学会Python以后，还可以在各大兼职平台接单赚钱，各种兼职渠道+兼职注意事项+如何和客户沟通，我都整理成文档了。
在这里插入图片描述

上述所有资料 ⚡️ ，朋友们如果有需要 📦《全套Python学习资料》的，可以扫描下方二维码免费领取 🆓
😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓