python urllib下载视频、图片、网页

在Python中，urllib库是一个用于处理URLs的模块，它允许你下载网页、图片和视频等内容。以下是如何使用urllib.request子模块来下载这些内容的基本示例：

下载网页

下载网页内容通常是指获取HTML源代码。

python

from urllib.request import urlopen

url = 'http://example.com'
response = urlopen(url)
webpage_content = response.read()

# 将内容保存到本地文件
with open('example_website.html', 'wb') as f:
    f.write(webpage_content)

下载图片

下载图片时，你需要指定URL并使用urlretrieve方法将其保存到本地。

python

from urllib.request import urlretrieve

image_url = 'http://example.com/image.jpg'
local_filename, headers = urlretrieve(image_url)

print(f"Image saved as {local_filename}")

下载视频

下载视频的过程与图片类似，关键是知道视频的直接URL。

python

video_url = 'http://example.com/video.mp4'
local_filename, headers = urlretrieve(video_url)

print(f"Video saved as {local_filename}")

注意事项

• 权限与合规性：确保你有权下载目标资源，遵守网站的robots.txt规则及版权法律。
• 大文件下载：对于大文件，直接使用urlretrieve可能不是最佳选择，因为它会一次性加载整个文件到内存中。对于大文件，考虑使用requests库的流式下载功能或urllib.request.urlopen的分块读取。
• 错误处理：上述代码未包含错误处理逻辑，实际应用中应加入异常处理，比如处理网络错误、文件写入错误等。
• 请求头：某些网站可能要求特定的请求头（如User-Agent），以模拟浏览器行为。你可以通过Request对象自定义请求头。

例如，添加请求头的下载图片示例：

python

from urllib.request import Request, urlretrieve

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
req = Request(image_url, headers=headers)
local_filename, headers = urlretrieve(req.get_full_url())

print(f"Image saved as {local_filename}")

确保在使用urllib进行网络请求时，根据实际情况调整代码以满足具体需求。