Python进阶_2.通过URL获取HTMl内容

最新推荐文章于 2024-02-28 08:00:00 发布

原创最新推荐文章于 2024-02-28 08:00:00 发布 · 940 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#url #html #python #mozilla #header #import

本文将介绍如何使用Python进行网络爬虫的基本操作，包括建立URL请求、添加信息、打开请求及保存html流。重点突出核心内容，提供详细步骤和代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import urllib,urllib2

#1.建立URL请求

url = 'http://www.baidu.com'

req = urllib2.Request(url)

#2.为URL请求添加信息

req.add_header('User-Agent', "Mozilla")
req.add_header('SpiderClient', ’spider‘)

#3.打开URL请求

response = urllib2.urlopen(req, timeout=timeout_s)

#4.保存html流

html_str = response.read()
http_status = response.code
header_str = str(response.info())