十分钟带你搞懂Python爬虫-优快云博客

Python爬虫的用处就不需要我多说了吧，今天就来带大家十分钟快速学会Python是如何爬取网页信息的，当然大家在爬取目标网页内容之前一定要遵守该网页的爬虫规则，以免带来不必要的麻烦，因而本次的示例所爬取的网页也是自己的本地网站，但是效果都应该是差不多的，下面我们开始。

1 总体步骤

（1）确定想要进行爬虫的站点，确认合法性(网站的根目录域名后加上/robots.txt可查看)

（2）获取该站点网页的HTML内容

（3）解析站点HTML内容

（4）对解析后的HTML内容进行有规律的清洗和处理

（5）验证爬虫结果

2 具体步骤示例

目标网站：http://localhost:8080

首先我们需要查询下目标网站的robots.txt文件（http://localhost:8080/robots.txt）在这里插入图片描述这两行的意思是对任何类型的爬虫（机器人）有效，允许爬取/目录下的内容，一般robots.txt都是由零个或多个User-agent、Allow、Disallow构成的，具体的规则大家可以利用搜索引擎进行补充学习（例如：(baike.baidu.com/item/robots…%25EF%25BC%2589 “https://baike.baidu.com/item/robots%E5%8D%8F%E8%AE%AE/2483797?fromtitle=robots.txt&fromid=9518761&fr=aladdin)%EF%BC%89”)

接下来我们访问目标网站http://localhost:8080，查看其HTML代码在这里插入图片描述具体的HTML代码：

<!DOCTYPE html>
<html lang="zh">
<head>
    <meta charset="UTF-8">
    <title>Hello</title>
</head>
<body>
<h1>My WebSite</h1>
<table>
  <tbody>
    <tr>
        <td>A</td>
        <td>B</td>
        <td>C</td>
        <td>D</td>
    </tr>
    <tr>
        <td>E</td>
        <td>F</td>
        <td>G</td>
        <td>H</td>
    </tr>
	</tbody>
  </table>
<ul>
    <li><img src="./images/1.png"></li>
    <li><img src="./images/2.png"></li>
    <li><img src="./images/3.png"></li>
    <li><img src="./images/4.png"></li>
    <li><img src="./images/5.png"></li>
    <li><img src="./images/6.png"></li>
</ul>
</body>
</html>

我们的爬虫目标：

下载该网页的全部图片
获取table下tb的全部内容

Python代码：

from lxml import etree
import requests as requests

# 爬取的目标网站的URL
url = 'http://localhost:8080'

# 获取目标网站的HTML代码
read = requests.get(url)
context = read.text

# 将目标网站HTML代码做转化
resp = etree.HTML(context)
tree = resp.xpath('/html/body/ul/li[*]/img/@src')
tree1 = resp.xpath('/html/body/table/tbody/tr[*]/td/text()')

# 做具体的操作
# 任务1 
for item in tree:
    img_name = str(item).split("/")[2]
    img_url = url + "/images/" + img_name
    save_url = "C:/Desktop/img/" + img_name
    # 保存图片到本地
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'
    }
    r = requests.get(img_url, headers=headers)
    f = open(save_url, 'wb')
    f.write(r.content)
    print(img_name + "  已下载...")
    f.close()
print("---任务1完成---")
# 任务2
for item in tree1:
    print(item)

print("---任务2完成---")

爬取结果：文件成功保存到本地，控制台输出如下在这里插入图片描述答疑：