简单爬虫初探，来自Python之父的第一顿大餐！

网络爬虫

也叫网络蜘蛛(Web Spider)，如果把互联网比喻成一个蜘蛛网，它就是一只在网上爬来爬去的蜘蛛。网络爬虫就是根据网页的URL来寻找网页。
URL就是在浏览器的地址栏中输入的字符串。例如：www.baidu.com
网络爬虫就是根据这个URL来获取网页信息的。

简单爬虫学习

在Python3.x中，可以使用urlib这个组件抓取网页，urllib是一个URL处理包，这个包中集合了一些处理URL的模块

urllib.request模块用来打开和读取URL，read() 读取网页

这里需要使用 urllib.request.urlopen() 接口函数打开URL

这里需要使用 urllib.request.read() 接口函数读取
#如果写代码时感觉函数名太长可以使用简写，这里使用req 代替函数名 from urllib import request as req
from urllib import request as req
url = "http://www.163.com"
webpage = req.urlopen(url) #返回的对象response如同一个文本对象
html = webpage.read() #读取网页,并输出
print(html)

运行结果如下：

得到的就是网易首页的html文档了，当然这仅仅是一个简单的爬虫，只是爬虫的开始工作，爬虫的核心就是分析html文档，精确找到自己想要东西。其中就包括了对文档的数据清洗等等……

现在网站都有反爬虫技术，自己爬虫时需要有心理准备，网站可能会拒绝你的爬虫。
当然，既然有反爬虫技术了，那么一定会有对应的反反爬虫技术。

网络安全就是这样，没有绝对的矛，也没有绝对的盾。作为一名互联网的网民，安全才是最重要的。

网络无时无刻都在更迭，其速度已不是人类能跟得上了，那么怎么才能防止网站拒绝爬虫呢？“good good study”