Python爬虫介绍

目录

1.什么是爬虫？

2.有什么作用？

3.业界的情况

4.合法性

5.反爬虫

6.选择一门语言

7.爬虫基本套路

基本流程：

基本手段：

   破解请求限制

   破解登录授权

   破解验证码

解析数据：

   HTML Dom解析

   数据字符串

8.Python爬虫

---

1.什么是爬虫？

网络爬虫也叫网络蜘蛛。如果把互联网比喻成一个蜘蛛网，那么蜘蛛就是在网上怕来拍去的蜘蛛，爬虫程序通过了url地址，根据响应的内容进行解析采集数据。比如：如果响应内容是html,分析dom结构，进行dom解析，或者正则匹配，如果响应内容是xml/json数据，就可以转数据对象，然后对数据进行解析。

2.有什么作用？

通过有效的爬虫手段批量采集数据，可以降低人工成本，提高有效的数据量，给与运营/销售的数据支撑，加快产品发展。

3.业界的