python爬虫爬取网页数据

前言

python爬取页面内容的编程教程：

1.首先要明确想要爬取的目标。对于网页源信息的爬取首先要获取url，然后定位的目标内容。具体如图所示。

2.先使用基础for循环生成的url信息。具体如图所示。

　　3.然后需要模拟浏览器的请求（使用request.get(url）)，获取目标网页的源代码信息(req.text)。具体如图所示。

　　4.目标信息就在源代码中，为了简单的获取目标信息需要用Beautifulsoup库对源代码进行解析，因为是html信息，采用html.parser的方式进行解析。具体如图所示。

　5.随后要在源网页中进一步定位目标信息在网页源代码中的位置：在网页中F12键，查看元素信息，使用左上角的按钮进一步查看目标信息位置。具体如图所示。
　
6.使用beautifulsoup进一