weiwei爬虫4.2--快速爬取网页

-- coding: utf-8 --

”’
weiwei爬虫4.2

1、快速爬取网页（3种读取方法）
2、信息写入文档（2种读取方法）
3、获取文件信息
4、获取网页状态
5、获取url
6、url编码、解码
”’

===========================================

#网页读取方法1
import urllib.request
file=urllib.request.urlopen(‘http://www.sohu.com‘)
data=file.read()#读取文件的全部内容，赋值给一个字符串变量
print(data)
#网页读取方法2
dataline=file.readline()#读取文件的一行内容
print(dataline)

—————————————–

#网页读取方法3
file=urllib.request.urlopen(‘http://www.baidu.com‘)
datalines=file.readlines()#读取文件的全部内容,赋值给列表变量，
print(datalines)

=========================================

#文件输出方法1
#创建并写入一个html文件
fhandle=open(‘C:/Users/Administrator/Desktop/数据分析与数据挖掘记录/1.html’,’wb’)#以二进制读的形式创建文件文件
fhandle.write(data)#写文件
fhandle.close()#文件关闭

——————————————

#文件输出方法2
#直接将爬取的信息直接写入本地文件
filename=urllib.request.urlretrieve(‘http://edu.51cto.com‘,filename=’C:/Users/Administrator/Desktop/数据分析与数据挖掘记录/2.html’)
#清理缓存
urllib.request.urlcleanup()

========================================

#得到文件信息
file.info()

========================================

#获取当前爬取页面的状态码
file.getcode()

=======================================

#获取当前爬取的url地址，使用geturl（）实现
file.geturl()

=======================================

#针对含有不规则字符的url进行编码
urllib.request.quote(‘http://sina.com.cn‘)
#针对含有不规则字符的url进行解码
urllib.request.unquote(‘http%3A//sina.com.cn’)