感谢csdn 博主: 请叫我汪海
1.URL的格式由三部分组成:
①第一部分是协议(或称为服务方式)。
②第二部分是存有该资源的主机IP地址(有时也包括端口号)。
③第三部分是主机资源的具体地址,如目录和文件名等。
第一部分和第二部分用“://”符号隔开,
第二部分和第三部分用“/”符号隔开。
第一部分和第二部分是不可缺少的,第三部分有时可以省略。
爬虫最主要的处理对象就是URL,它根据URL地址取得所需要的文件内容,然后对它 进行进一步的处理。
因此,准确地理解URL对理解网络爬虫至关重要。
2.最简单的爬虫程序:
import urllib2
response=urllib2.urlopen('http://www.baidu.com/')
html=response.read()
print html
这样直接把百度首页的原代码打出来了。
或者
import urllib2
req = urllib2.Request('http://www.baidu.com')
response = urllib2.urlopen(req)
the_page = response.read()
print the_page
3.urllib2的常用方法:
.Request() 发送请求
.urlope你()打开网页
.read() 读取网页
本文详细介绍了URL的组成部分及网络爬虫的基本操作,通过示例代码展示了如何使用urllib2库获取网页内容。
5756

被折叠的 条评论
为什么被折叠?



