本文介绍了网络爬虫的基本概念，包括爬虫的定义、分类和作用。通用爬虫和聚焦爬虫的区别，以及爬虫在数据采集、软件测试、网络安全等方面的应用。同时强调了爬虫需遵守的法律界限，提醒读者合法合规使用爬虫技术。
初识爬虫
一. 爬虫简介
模拟浏览器，发送请求，获取响应
网络爬虫，英文名为Spider,又称为网页蜘蛛，网络机器人，在数据分析应用中，更多的将爬虫称为数据采集程序，是一种按照一定的规则，自动地抓取网络信息的程序或者脚本。
- 原则上,只要是客户端(浏览器)能做的事情，爬虫都能够做
- 爬虫也只能获取客户端(浏览器)所展示出来的数据
网络中的数据可以是由web服务器【Nginx/Apache】，数据库服务【MySQL/Redis/MongoDB】，索引库，大数据，视频/图片库，云存储【阿里云的OSS】等提供的，最主要的来源是Web服务器。不过，大家一定要注意哦，可爬取的数据必须是公开的，非盈利的，如：如果侵入人家非公开的网络，人家会通过ip定位到你，属于违法行为的哦，再或者，一些理财的网站，如果爬取数据，肯定是不可以的，如果小伙伴们不听话，非要去爬取，那任何人都是保护不了你的哦，狗头保命~~~
有名的爬虫案件：简历大数据公司“巧达科技”被一锅端、“车来了”涉嫌偷数据被警方立案等
二. 爬虫分类
通用爬虫：
通用网络爬虫从互联网中搜集网页，采集信息，这些网页信息决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果大家要注意哦，通用爬虫虽然简单，方便，但是缺点也是显而易见的，宋宋给大家列举了几点，大家可以了解一下：a
最低0.47元/天 解锁文章
扫一扫
1761
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
