初识爬虫

　　爬虫介绍

　　　　-什么是互联网?

　　　　　　由一堆网络设备把一台台计算机互联到一起,这就是互联网

　　　　-互联网建立的目的

　　　　　　为了数据的共享以及数据的传递

　　　　-什么是数据

　　　　　　例如:京东,淘宝等商品信息

　　　　-爬虫的分类

　　　　　　-普通爬虫

　　　　　　　　把页面爬取下来,直接保存

　　　　　　-聚焦爬虫

　　　　　　　　把页面爬取下来,解析后再保存

　　　　-爬虫的应用

　　　　　　-搜索引擎

　　　　　　　　谷歌,百度....

　　　　　　-推荐引擎

　　　　　　　　今日头条

　　　　　　-数据分析样本

　　　　　　-机器学习样本

　　　　http 有一个robots协议

　　　　　　-请求url 

　　　　　　　　https://www.baidu.com/

　　　　　　-请求方法

　　　　　　　　GET

　　　　　　-请求头

　　　　　　　　cookies

　　　　　　　　user-agent

　　　　　　　　referer

　　　　　　-响应头

　　　　　　　　Set-Cookie

　　　　　　　　Location

　　　　　　-请求体

　　　　　　　　form_data

 

转载于:https://www.cnblogs.com/xiaocaiyang/p/10491704.html