Python爬虫学习

 

https://cuiqingcai.com/927.html

https://cuiqingcai.com/942.html

 

 

1、爬虫时必须要有一个目标的URL才可以获取数据

2、urllib2的基本使用：

 

 

response = urllib2.urlopen(urls)    # urlopen(url, data, timeout)

response.read()

 

 

 

 

3、构造Request

request = urllib2.Request('http://www.baidu.com')    #构造Request

response = urllib2.urlopen(request)

4、POST和GET数据传送

 

 

大多数网站是动态网页，需要动态地传递参数给它，比如登陆注册

GET直接以链接形式访问，包含了所有参数、POST不会在网址上显示所有的参数