自学Python 3网络爬虫（二）

 

import urllib
import urllib.request

data = {}
data['word'] = '广东珠海'

url_values = urllib.parse.urlencode(data)
url = "http://www.baidu.com/s?"
full_url = url + url_values
print(full_url)

data = urllib.request.urlopen(full_url).read()
data = data.decode("UTF-8")
print(data)

 urllib.parse.urlencode(data)是将data里的key-value这样的键值对转换成word=%E5%B9%BF%E4%B8%9C%E7%8F%A0%E6%B5%B7

 

 生成的full_url是：http://www.baidu.com/s?word=%E5%B9%BF%E4%B8%9C%E7%8F%A0%E6%B5%B7

我们打开这个网址所在的页面：

 查看该页面的源代码（截取一段）：

 再看看我们通过urllib库搜索出来的代码片段（同样截取一段）：