爬虫的介绍

1.爬虫的介绍

TCP/IP国际通用的
爬虫所用的是http协议

1.爬虫是什么？

• 简单的来讲就是代替人去模拟浏览器进行网页操作

2.为什么需要爬虫？

• 为其他程序提供数据源，类似于百度，谷歌，抖音，AI等等

3.企业获取数据的方式？

• 1.公司自有的数据
• 2.第三方平台购买的数据
• PC端的互联网 -->2000-2015移动端的互联网(3G,4G) -->2015至今的大数据互联网–>人工智能的互联网
• 3.爬虫爬取的数据

4.用python做爬虫的优势？

• PHP：多线程，异步支持不太好
• JAVA：代码量大，代码笨重
• C/C++：代码量大，难以编写
• python：支持的模块多，代码简洁，开发效率高（scrapy）

5.爬虫的分类？

• 通用网络爬虫 www.zhihu.com/robots.txt上可以看到哪些数据可以爬哪些不可以
• 聚焦网络爬虫
• 增量式网络爬虫
• 深层网络爬虫