python爬取网页数据步骤,python爬取网页详细教程

本篇文章给大家谈谈利用python爬取简单网页数据步骤，以及怎么用python爬取网站上的数据，希望对各位有所帮助，不要忘了收藏本站喔。

爬取网页的基础知识-------http协议

1.http是客户端（用户）和服务器（网站）请求和应答的标准（TCP）。
2.http工作过程
（1）客户端与 服务器建立连接python的游戏编程软件。
（2）发送http请求
（3）服务器接到请求后，给予响应信息。
(4)释放连接TCP连接
(5)客户端接收服务器返回的信息，浏览器解析并显示网页。
3.爬虫过程
（1）发起请求
通过http库向目标站点发起请求，及发送一个request，请求可以包含额外的headers等信息。
（2）获取响应 内容
如果服务器能正常响应，会得到一个response，获得页面内容有HTML，json字符串，二进制数据

（3）解析内容
得到的内容可能是HTML，可以用正则表达式、网页解析库进行解析。可能是Json，可以直接转为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理。
（4）保存数据
保存形式多样，可以存为文本，也可以保存至数据库，或者保存特定格式的文件。
4. Request与R