本文介绍了爬虫Spider的基本概念，强调其用于从网络上的各种数据源如Web服务器、数据库、云存储等获取公开数据。着重讲述了Python在爬虫开发中的应用，包括使用多线程、网络请求库、数据处理及存储技术，以及Python爬虫工程师可能涉及的测试领域。
第一章、概述
一、爬虫Spider的概念
爬虫用于爬取数据，又称之为数据采集程序。
爬取的数据来源于网络，网络中的数据可以是由Web服务器（Nginx，Apache），数据库服务器（mysql，Redis），索引库（ElastichSearch），大数据（Hbase，Hive），视频/图片库（FTP），云存储（OSS）等提供的。
爬取的数据是公开的，非盈利的。
二、Python爬虫
使用Python编写的爬虫脚本（程序）可以完成定时，定量，指定目标（Web站点）的数据爬取。主要使用 多（单）线程/进程，网络请求库，数据解析，数据存储，任务调度等相关技术
Python爬虫工程师，可以完成接口测试，功能性测试，性能测试和集成测试
扫一扫
6165
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
