Python学习--urllib的使用（网络抓包的实现）

网上有很多的利用Python实现的网络爬虫程序，可以自行搜索一下。本例只是简单实现网络数据抓取没有做进一步的分析。

主要是使用urllib的使用例子。(python3)

#测试网络抓包的实现

#内置开源库 urilib , 第三方Requests , scrapy 解析库 re, BeautiulSoup

from urllib import request , parse

import urllib

#[1]

url = r'https://www.duba.com/?f=liebao'

headers = {

'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '

r'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',

'Referer': r'http://www.lagou.com/zhaopin/Python/?labelWords=label',

'Connection': 'keep-alive'

}

#设置一些http头信息

req = request.Request(url, headers=headers)

page = request.urlopen(req).read()

page = page.decode('utf-8')

print(page)

#[1]

#[2 ]

response = request.urlopen(r'http://www.baidu.com/s?wd=python')

html = response.read().decode('utf-8')

print(html)

#[2]

#如果要以POST发送一个请求，只需要把参数data以bytes形式传入

login_data = parse.urlencode([

('wd', "python")

])

reqt =request.urlopen(r"http://www.baidu.com/s?wd=python")

print(reqt.geturl())

html2 = reqt.read().decode('utf-8')

#print(html2)