【python爬虫学习经历一】

感谢csdn 博主： 请叫我汪海

1.URL的格式由三部分组成： 

①第一部分是协议(或称为服务方式)。

②第二部分是存有该资源的主机IP地址(有时也包括端口号)。

③第三部分是主机资源的具体地址，如目录和文件名等。

第一部分和第二部分用“://”符号隔开，

第二部分和第三部分用“/”符号隔开。

第一部分和第二部分是不可缺少的，第三部分有时可以省略。 

爬虫最主要的处理对象就是URL，它根据URL地址取得所需要的文件内容，然后对它 进行进一步的处理。

因此，准确地理解URL对理解网络爬虫至关重要。

2.最简单的爬虫程序：

import urllib2
response=urllib2.urlopen('http://www.baidu.com/')
html=response.read()
print html

这样直接把百度首页的原代码打出来了。

或者

import urllib2
req = urllib2.Request('http://www.baidu.com')
response = urllib2.urlopen(req)
the_page = response.read()
print the_page

3.urllib2的常用方法：

.Request() 发送请求

.urlope你()打开网页

.read() 读取网页