python-网络爬虫初学一:获取网页源码以及发送POST和GET请求

Hz_ZDeveloper

于 2017-04-14 09:43:12 发布

阅读量1.5k

点赞数 1

CC 4.0 BY-SA版权

文章标签：网络爬虫 python

本文链接：https://blog.youkuaiyun.com/Hz_ZDeveloper/article/details/70168783

本文介绍了Python入门网络爬虫的基础，包括使用urllib和urllib2库获取网页源码，以及如何构造并发送POST和GET请求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、工具包urlllib和urllib2导入；

# GET和POST请求需要工具包urllib
import urllib
# 导入工具包
import urllib2

二、a）爬取网站对应的源码

# 通过资源定位符获取网页对象，通过read方法返回网页的源码
response = urllib2.urlopen("http://www.baidu.com")
print response.read()

b）将其写得规范一点，则如下所示

# 构造request请求实例
request = urllib2.Request("http://www.baidu.com")
response = urllib2.ur