python网络爬虫（笔记）（1）

视频地址：
Python网络爬虫（初级） - 网易云课堂 http://study.163.com/course/courseLearn.htm?courseId=1004832029#/learn/video?lessonId=1050360256&courseId=1004832029
基本功能：

• 抓取你看到的网络数据
• 抓取你看不到的网络数据
• 抓取你发送的网络信息
• …….很多其他功能

网络数据采集的一般流程：
- 通过网站域名获取HTML数据
- 根据目标信息解析数据
- 存储目标信息
- 若有必要，移到另一个网页重复这个过程

一、通过网站域名获取html数据

• 用urllib库或requests库来获取html数据

import requests

url = 'http://www.runoob.com/html/html-tutorial.html'
r= requests.get(url)
#r.text #对应的是html文档的内容，但是输出有乱码
 做一个编码的转化：编码之后是一个二进制码，将其解码为字符串r.text.encode(r.encoding).decode()
 html=r.text.encode(r.encoding).decode()

from urllib import request

url = 'http://www.runoob.com/html/html-tutorial.html'
html = request.urlopen(url).read()#字节码
html.decode() #解码