Python 爬虫实战与技巧分享--urllib_python爬取bearer认证-优快云博客

Python 爬虫实战与技巧分享–urllib

在当今信息时代，数据的价值日益凸显。Python 爬虫作为一种强大的数据获取工具，能够帮助我们从互联网上抓取各种有价值的信息。本文将结合具体代码示例，深入探讨 Python 爬虫的相关知识和关键要点。

一、Python 爬虫基础

Python 爬虫是一种使用 Python 编程语言编写的程序，它能够自动地在互联网上浏览网页，并提取出有价值的信息。通常，Python 爬虫的工作流程包括以下几个步骤：

定义目标 URL：确定要爬取的网页地址。
发送请求：模拟浏览器向服务器发送请求，获取网页内容。
解析内容：从响应中提取出有价值的信息，可以使用正则表达式、XPath、BeautifulSoup 等库来实现。
存储数据：将提取出的信息存储到本地文件、数据库或其他存储介质中。

二、Python 爬虫的工作原理

Python 爬虫的工作原理主要包括以下几个步骤：

定义目标 URL：首先，我们需要确定要爬取的网页地址。这个地址就是我们的目标访问地址，就像我们在浏览器中输入的网址一样。
发送请求：接下来，我们需要模拟浏览器向服务器发送请求。这个请求可以是 GET 请求（获取网页内容）或 POST 请求（提交数据）等。
获取响应：服务器接收到请求后，会返回一个响应。这个响应包含了网页的内容、状态码等信息。
解析内容：我们需要从响应中提取出有价值的信息。这可以通过解析 HTML 页面、使用正则表达式、使用 XPath 或 BeautifulSoup 等库来实现。
存储数据：最后，我们可以将提取出的信息存储到本地文件、数据库或其他存储介质中，以便后续分析和使用。

三、代码示例详解

1、使用 `urllib` 获取百度首页源码

以下是使用 urllib 库获取百度首页源码的代码：

import urllib.request

# （1）定义一个 url->就是我们的目标访问地址
url = 'http://www.baidu.com'

# （2）模拟浏览器向服务器发送请求
response = urllib.request.urlopen(url)

# （3）获取响应页面中的源码
# read 方法返回的是字节形式的二进制数据
# 需要解码：将二进制数据转化成字符串--》二进制-->字符串 decode('编码的格式‘)
response = response.read().decode('utf-8')

# (4)打印
print(response)

在这个例子中，我们首先导入了 urllib.request 模块，然后定义了百度首页的 URL。接着，使用 urlopen 方法发送请求并获取响应对象。最后，通过 read 方法读取响应内容，并使用 decode 方法将二进制数据解码成字符串后打印输出。

2、`urllib` 的一个类型和六个方法

以下代码展示了 urllib 的一个类型 HTTPResponse 和六个方法：

import urllib.request

url = 'http://www.baidu.com'

response = urllib.request.urlopen(url)

# 一个类型 HTTPResponse
print(type(response))  # http.client.HTTPResponse 的类型

# 六个方法
# 1.read(字节) 按照一个个字节读取（read 里面的数据表示返回多少个字节）
print(response.read())

# 2.readline() 读取一行
print(response.readline())

# 3.readlines() 一行一行读取直至读取完毕
print(response.readlines())

# 4.response.getcode() 返回状态码
print(response.getcode())  # 200/404/500

# 5.response.geturl()
print(response.geturl())

# 6.获取一个状态信息的响应头
print(response.getheaders())

通过这个例子，我们可以了解到 urllib 响应对象的类型和各种方法的用途，如读取内容、获取状态码、URL 和响应头等。

3、使用 `urlretrieve` 下载文件

urllib.request.urlretrieve 方法可以用来下载网页、图片和视频等文件：

import urllib.request

# 下载网页
url_page = 'http://www.baidu.com'
urllib.request.urlretrieve(url_page, 'baidu.html')

# 下载图片
url_img = "https://www.bing.com/images/search?view=detailV2&itb=0"
urllib.request.urlretrieve(url=url_img, filename='baidu.jpg')

# 下载视频
url_video = "https://tv.sohu.com/v/dXMvMzM1OTQxNzk3LzM5OTA4NDE3Ni5zaHRtbA==.html"
urllib.request.urlretrieve(url=url_video, filename='baidu.mp4')

这个方法非常方便，可以直接将指定 URL 的内容保存到本地文件中。

4、设置请求头

UA 介绍：UserAgent 中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的服务器能的操作系统及版本、CPU 类型、浏览器及版本、浏览器内核、浏览器渲染引擎、浏览器语言、浏览器插件等。

为了避免被网站识别为爬虫而被封禁，我们可以设置请求头来模拟浏览器行为。以下是设置请求头获取百度首页源码的代码：

import urllib.request

url = 'https://www.baidu.com'

headers = {
   
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36",
}

# 因为 urlopen 方法中不能存储字典，所以 headers 不能传递出去，所以要定制请求对象

request = urllib.request.Request(url, headers=headers)  # 注意顺序和关键字顺序
response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

通过设置请求头中的 User-Agent，我们可以伪装成浏览器，提高爬虫的稳定性。

5、URL 编码与解码

在处理中文参数时，需要进行 URL 编码和解码。以下是获取包含中文参数的网页源码的代码：

解释import urllib.request
import urllib.parse

# 需求 获取 https://www.baidu.com/s?wd=周杰伦 的网页源码
url = 'https://www.google.com.hk/search?q='

headers = {
   
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36"
}

# 将周杰伦三个字替换成 Unicode 编码的形式 依赖于 urllib.parse
name = urllib.parse.quote('周杰伦')
url = url + name

# 模拟向浏览器发送请求
request = urllib.request.Request(url, headers=headers)
req = urllib.request.urlopen(request)
print(req.read().decode('utf-8'))

这里使用 urllib.parse.quote 方法对中文进行编码，确保 URL 的正确性。

6、`urlencode` 应用场景

urllib.parse.urlencode 方法在处理多个参数时非常有用：

import urllib.request
import urllib.parse

# urlencode 应用场景：多个参数的时候
base_url = 'https://www.google.com.hk/search?'
data

Python 爬虫实战与技巧分享--urllib