编写
Python 爬虫抓取
网页数据是一个非常常见的需求，尤其适用于自动化获取公开的网络信息。
Python 提供了多个库来实现
爬虫功能，其中最常用的是 `requests` 和 `BeautifulSoup`。以下是一个完整的教程示例，涵盖基本的请求、解析和数据提取流程。
###
3.1 使用 requests 发起 HTTP 请求
首先，使用 `requests` 库向目标网站发送 HTTP 请求以获取
网页内容：
```
python
import requests
url = "https://example
.com"
response = requests
.get(url)
# 检查响应状态码是否为 200（表示成功）
if response
.status_code == 200:
html_content = response
.text
else:
print("请求失败，状态码：", response
.status_code)
```
###
3.2 使用 BeautifulSoup 解析 HTML 内容
接下来，可以使用 `BeautifulSoup` 来解析 HTML 并提取所需的数据。例如，提取所有超链接：
```
python
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, "html
.parser")
# 提取所有 <a> 标签中的 href 属性
for link in soup
.find_all("a"):
href = link
.get("href")
if href:
print(href)
```
###
3.3 处理
网页编码问题
在实际应用中，可能会遇到
网页编码不一致的问题。可以通过以下方式确保正确解码：
```
python
response
.encoding = response
.apparent_encoding # 自动检测编码
html_content = response
.text
```
###
3.4 设置请求头模拟浏览器访问
为了避免被网站识别为
爬虫，可以在请求中设置自定义的请求头（User-Agent）[^
3]：
```
python
headers = {
"User-Agent": "Mozilla/5
.0 (Windows NT 10
.0; Win64; x64) AppleWebKit/5
37
.36 (KHTML, like Gecko) Chrome/91
.0
.4472
.124 Safari/5
37
.36"
}
response = requests
.get(url, headers=headers)
```
###
3.5 抓取
图片示例
如果需要抓取
网页上的
图片，可以结合 `requests` 和 `os` 模块将
图片保存到本地：
```
python
import os
img_tags = soup
.find_all("img")
for img in img_tags:
img_url = img
.get("src")
if img_url:
# 处理相对路径
from urllib
.parse import urljoin
img_url = urljoin(url, img_url)
img_data = requests
.get(img_url)
.content
img_name = os
.path
.basename(img_url)
with open(img_name, "wb") as f:
f
.write(img_data)
print(f"已保存
图片：{img_name}")
```
###
3.6 遵守网站规则与反爬策略
请注意，在进行
网页抓取时应遵守目标网站的 `robots
.txt` 文件规定，并合理控制请求频率以避免对服务器造成过大压力[^2]。
---
本文分享了作者初学Python时尝试编写爬虫代码的过程，重点介绍了使用Python 3.3版本时遇到的问题及解决方法，包括如何正确处理findall返回的数据类型。
扫一扫
857
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
