Python 爬虫 （一）前导知识

原创 已于 2025-03-30 22:56:58 修改 · 494 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #爬虫 #开发语言

于 2021-08-04 23:51:20 首次发布
本文详细介绍了网络爬虫的基础知识，包括爬虫核心、爬虫进阶、数据存储、移动开发和反反爬技术。讲解了HTTP请求与响应、网络协议、端口、数据解析等关键概念，还涉及了Scrapy框架、多线程、Selenium、数据存储（CSV、Redis、MongoDB）以及反爬策略如代理IP和验证码识别。此外，提到了Python在爬虫领域的优势和不同类型的网络爬虫。爬虫的主要应用包括数据源提供、数据分析及AI人工智能等领域。
部署运行你感兴趣的模型镜像

爬虫要课程的内容

要学习2.5-3个月

爬虫核心

7-8个课时
爬虫的前导知识（端口、网络协议、网络请求与相应的整个流程、爬虫工具的介绍，概念的内容居多，基础不牢，地动山摇）；
网络请求模块（内置的URL地址开始、第三方的requests、核心知识点）；
数据解析（正则）

爬虫进阶

6-7个课时
selenium （web自动化测试工具，自动化爬虫）
静态网页：能够在对应的网页源码中看到，向一个网址的url地址发起请求，得到响应，通过响应就能拿到整个网页的数据，只需要解析网络源代码就可以了
动态网页：并不能从网页的源码中看到数据，如12306，利用ajax，实现增量的更新，不需要重新加载网页
多线程（ 队列 生产者与消费者），伪多线程，锁的问题，程序在运行中提高效率

Scrapy爬虫框架

6-7个课时

数据存储

2-3个课时 csv redis(分布式爬虫：流程，普通的爬虫更改为分布式) mongodb
​

移动开发

4-5个课时
前导知识（mainacitivity） fiddler抓包工具 数据抓取
​

反反爬技术

3-4个课时
字体反爬 代理池 IP代理 各种复杂的验证码（行为验证码 简单验证码：tesseract）
js反爬（语法基础 加密算法 调试工具）

自学知识

看个人的精力、时间、能力
网络请求模板里，可以自学网络编程
多线程里自学多进程、协程、redis/mysql
移动开发里自学安卓基础（1.5月） js语法（1个月） 加密算法

爬虫的前导知识

端口

每一个应用程序都有自己独立的标识 这个标识我们称之为端口
单纯的从C盘复制到D盘，是单机版的操作
发送视频是联网版的操作。比如 打电话，1.找到联系人，2.拨号，3.通话
我们想要进行数据通讯分几步?

  1. 找到对方ip
  2. 数据要发送到对方指定的应用程序上。为了标识这些应用程序,所以给这些网络应用程序都用数字进行了标识。为了方便称呼这个数字,叫做 端口。这里的端口 我们一般都叫做 ‘逻辑端口’，网线的端口为物理端口
  3. 定义通讯规则。这个通讯规则我们一般称之为协议

mysql 的端口是3306
mongodb 的端口是27017

通信协议

双方共同遵守的规则，发送视频时遵守的协议
比如结婚的时候签订的协议，玩游戏的时候来自不同地方的玩家可以无障碍的交流，所遵守是共同的协议或规则，所有玩家所接受到的数据都是被同一个游戏或应用程序解析
国际组织定义了通用的通信协议 TCP/IP协议
所谓协议就是指计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则
HTTP又叫做超文本传输协议（是一种通信协议） HTTP 它的端口是 80
html 超文本标记语言 超文本(网页源代码html)
http传送的是html

网络模型

微信发送消息很快，但是在通信中经历了复杂的过程，数据的传送通过OSI参考模型，进行发送和接受数据，每一层负责不同的内容，各司其职（公司的流水线，负责生产，销售等等）
在这里插入图片描述
视频数据传输是数据封包的过程，在应用层进行封装，加上应用层的特征，往下到达表示层，一直往下每层增加一个表现形式，然后到对方IP后逐层进行数据拆包，到对方应用层后找到应用程序对应的端口号进行数据发送。
后期更新了新的参考模型 TCP/IP参考模型
在这里插入图片描述
HTTP在应用层
https = http + ssl 是以安全为目标的http， 通道 443；https是在http的基础上加上了SSL保护壳，信息的加密过程就是在SSL中完成的，即HTTP下加入SSL层，HTTPS的安全基础是SSL

  • http的安全版本 ssl是用于web的安全传输协议
  • http和ssl是在应用层的
    在这里插入图片描述

HTTP的请求和响应（重点）

HTTP通信由两部分组成： 客户端请求消息 与 服务器响应消息
在这里插入图片描述
客户端(手机或者电脑)，向服务器发起请求，服务器返回结果给客户端。
比如百度搜索猪猪侠，在百度的搜索界面，右击鼠标，选择检查，就会打开开发者工具，点击Network，客户端跟浏览器交互的记录都在这里面，选择ALL，第一个文件
1.当用户在浏览器的地址栏中输入一个URL并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“Get”和“Post”两种方法。
2.当我们在浏览器输入URL http://www.baidu.com 的时候，浏览器发送一个Request请求去获取 http://www.baidu.com 的html文件，服务器把Response文件对象发送回给浏览器。
3.浏览器分析Response中的 HTML，发现其中引用了很多其他文件，比如Images文件，CSS文件，JS文件。 浏览器会自动再次发送Request去获取图片，CSS文件，或者JS文件。
4.当所有的文件都下载成功后，网页会根据HTML语法结构，完整的显示出来了。

客户端的Http请求

右击鼠标–>检查–>Network–>All，第一个文件
URL只是标识资源的位置，而HTTP是用来提交和获取资源。客户端发送一个HTTP请求到服务器的请求消息，包括以下格式：
请求行、请求头部、空行、请求数据
四个部分组成，下图给出了请求报文的一般格式。
在这里插入图片描述

抓包工具

在这里插入图片描述
Elements : 元素 网页源代码，提取数据和分析数据(有些数据是经过特殊处理的所以并不是都是准确的)
Console : 控制台 (打印信息)
Sources : 信息来源 (整个网站加载的文件)
NetWork : 网络工作(信息抓包) 能够看到很多的网页请求

General 全部的

  • Request URL 请求的地址，跟浏览器的代码一样，就是搜索的内容变为了转码
  • Request Method 请求的方式（get post 一般我们看到的是啥请求方式就用啥请求方式 但有时也要具体情况具体分析）
  • GET : 查询参数都会在URL上显示出来，一般只从服务器上获取数据，并没有对服务器产生影响。
  • POST : 需要登录的网页都是。查询参数和需要提交数据是隐藏在Form表单里的,不会在URL地址上显示出来，加密的内容不给别人看，post可以操作，让服务器的返回值发生变化（对服务器产生影响），输入账号密码到服务器去验证，但是所有的请求并不一定都显示在url地址中（有道笔记），输入的参数都必须传送至服务器，但不一定出现url地址中。
  • Status Code 状态码
    静态加载的页面 数据都在网页源码中
    动态加载的页面 Requests URL(目标url)是需要去network中分析数据包才能找到的 response看响应的结果
    200 : 请求成功
    301 : 永久重定向
    302 : 临时重定向
    404 : 请求失败(服务器无法根据客户端的请求找到资源（网页）)
    500 : 服务器内部请求

Request Headers 客户端请求头（重点）

headers请求头 = {
请求方式 目标url 版本（不加）
Host: www.baidu.com 域名 (可加可不加)
Connection: keep-alive 长连接 （1.0之前http的请求是短链接，每一次请求资源都要和服务器建立链接，传输完数据再断开），请求后不会关闭，下个请求可以继续用(不加)
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 用户代理(操作系统、浏览器和浏览器版本号) 一般是反反爬的第一步 (加)，带上这个后 是告诉服务器，是正常的用户，不会机器在爬虫。
Accept-Encoding: gzip, deflate ，br(不加 加了数据可能会出现问题)
Cookie:xxx 记录了服务器与用户的信息 (加不加看情况) 有效期一般有时间限制，用于反反爬
Referer:xxx 页面跳转 记录了当前页面是由哪个页面(url)过来的 (加不加看情况)
}

请求方法

根据HTTP标准，HTTP请求可以使用多种请求方法。
HTTP 0.9：只有基本的文本 GET 功能。
HTTP 1.0：完善的请求/响应模型，并将协议补充完整，定义了三种请求方法： GET, POST 和 HEAD方法。
HTTP 1.1：在 1.0 基础上进行更新，新增了五种请求方法：OPTIONS, PUT, DELETE, TRACE 和 CONNECT 方法。
HTTP 2.0（未普及）：请求/响应首部的定义基本没有改变，只是所有首部键必须全部小写，而且请求行要独立为 :method、:scheme、:host、:path这些键值对。
在这里插入图片描述

Response Headers

看看就好

Query String Parameters

有url中的所有参数，以每行的形式显示出来

爬虫简介

  • 什么是爬虫？
    网络爬虫，网络蜘蛛，网络机器人代替人模拟浏览器去访问和获取互联网上信息的一个程序；自动抓取互联网信息的程序或者脚本
    ​

  • 为什么要爬虫呢？

    • 为其他程序提供数据源。人脸识别，在百度API上有接口，人脸数据需要提前录入进去；百度是大型的爬虫，搜索的关键字都是在百度的服务器上
    • 数据分析。二手房网站，爬取数据后分析建模，预测出二手房的价格；抖音快手根据你在某个视频停留的时间度，来推荐你需要的视频
    • AI人工智能。对各项技能要求比较高（python技术，数学，高数，概率论）好多岗位的消失，售票员

  • 企业获取数据的方式？

    • 公司自己有的数据
    • 第三方数据平台
      • 免费的大数据平台
      • 付费的大数据平台
      • 爬虫爬取的数据 爬虫开发者

  • python做爬虫的优势
    ​PHP : 对多线程、异步支持不太好
    Java : 代码量大，代码笨重
    C/C++ : 代码量大，难以编写
    Python : 支持模块多、代码简介、开发效率高 (scrapy框架)，伪多线程，代码量就变多了，锁的问题

  • 爬虫的分类

    • 通用网络爬虫 各大搜索引擎 eg.百度 谷歌
    • 聚焦网络爬虫 到互联网上有选择有目的的去抓取特定的目标和相关主题内容
    • 其他的：增量式、深层网络爬虫(不需要了解)

您可能感兴趣的与本文相关的镜像

Python3.9

Python3.9

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

第27讲：Python前导字符串和后续字符串的去除
江晓龙的博客
03-24 1万+
前导字符串指的是：根据指定的“一个或多个字符”字符串列表，从字符串左边第一个字符处开始依次往后查找，直到字符串中的某个字符不在指定的字符串列表中时，这个字符处往前的所有字符就是前导字符串。lstrip。如下图所示，有一个字符串“www.jiangxl.com”，想要去除这个字符串中的前导字符串，指定一个字符串列表为cmowx.然后将这个字符串列表传递给lstrip方法。此时会从字符串左边的第一个字符w处开始查找，查找字符串中有哪些字符是指定的字符串列表里的，3个w字符和.都在指定的字符串列表。
爬虫前导知识-Http请求与响应-NetWork怎么看-python爬虫知识点1
weixin_43761516的博客
04-17 1454
一、网络编程基础 点这里 二、Http请求与响应 network分析网页的内容 通过浏览器向百度发出请求 wd=关键字 中文变16进制 在线进制转换 （90,0x5A） general 全部的： Request url request method status code 状态码 requ请求地址是否一致，动态不一样 请求方式：get post Response Hearder 服务端 Request Headers 客户端：VIEW SOURCE 源请求源视图 VIEW PARSRT 已分析视图 get
爬虫前导知识
R71802的博客
03-30 1304
文章目录爬虫简介一、通讯协议二、网络参考模型1.引入库2.读入数据三、请求和响应四、请求方式&url五、ua、referer和cookie六、状态码和抓包工具总结 爬虫简介 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、通讯协议 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、网络参
Python爬虫前置知识
scorpio的博客
09-13 350
Python入门知识点
一文搞懂Python爬虫需要学什么？附送课程、笔记。
2201_75362610的博客
06-18 2695
首先，你需要熟悉Python的基本语法，包括变量、数据类型、条件语句、循环、函数等。如HTTP协议、URL、请求方法（GET、POST等）和响应状态码（如200，404等）。爬虫通常需要从HTML中提取信息，因此你需要了解HTML标签、属性和CSS选择器。requests：一个用于发送HTTP请求的库，它可以帮助你获取网页的HTML内容BeautifulSoup：一个用于解析HTML和XML的库，它可以帮助你在HTML文档中定位和提取信息。
[爬虫基础] 学习爬虫前你需要知道这些
makesomethings的博客
10-20 524
爬虫简介 什么是爬虫？ 爬虫的原理就是模拟用户访问服务端 爬虫的概念 网络爬虫也叫网络蜘蛛，它特指一类批量下载网络资源的程序，这是一个比较口语化的定义。 更加专业和全面对的定义是：网络爬虫是伪装成客户端（Client），与服务端（Server）进行数据交互的程序。 使用爬虫时有一个robots协议，在爬取某个网站时要尽量遵循该协议，查看协议的方法，例如百度：https://www.baidu....
python爬虫——爬取豆瓣top250电影数据（适合初学者）
热门推荐
长弓同学的python学习笔记
09-12 5万+
爬取豆瓣top250其实是初学者用于练习和熟悉爬虫技能知识的简单实战项目，通过这个项目，可以让小白对爬虫有一个初步认识，因此，如果你已经接触过爬虫有些时间了，可以跳过该项目，选择更有挑战性的实战项目来提升技能。当然，如果你是小白，这个项目就再适合不过了。那么就让我们开始吧！目录一、实战1.对豆瓣网网站进行Ajax分析2.提取数据二、python完整代码（两种方法）bs4方法正则式方法。
01-爬虫前导知识(3).zip
10-11
这个压缩包“01-爬虫前导知识(3).zip”很显然聚焦在爬虫技术的基础知识上，这是数据挖掘和互联网数据分析领域的一个关键技能。爬虫，也被称为网络爬虫或网页抓取器，是自动提取网页信息的程序，它通过模拟人类浏览...
Python新闻爬虫程序
weixin_54452436的博客
08-14 412
print(f"开始时间: {time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(start_time))}")print(f"ChromeDriver 安装完成，耗时: {time.time() - start_time:.2f} 秒")print(f"内容: {content[:50]}..." if content else "内容为空")print(f"警告：页面似乎没有变化。print(f"解析新闻项 {index} 时出错: {str(e)}")
爬虫学习--1.前导知识
weixin_66370632的博客
04-30 2232
随着大数据时代的来临，网络爬虫在互联网中的地位将越来越重要。互联网中的数据是海量的，如何自动高效地获取互联网中我们感兴趣的信息并为我们所用是一个重要的问题，而爬虫技术就是为了解决这些问题而生的。 我们感兴趣的信息分为不同的类型：如果只是做搜索引擎，那么感兴趣的信息就是互联网中尽可能多的高质量网页；如果要获取某一垂直领域的数据或者有明确的检索需求，那么感兴趣的信息就是根据我们的检索和需求所定位的这些信息，此时，需要过滤掉一些无用信息。前者我们称为通用网络爬虫，后者我们称为聚焦网络爬虫。
request payload传值解决-qs.min.js
01-07
前端以 request payload形式传参，通过qs.min.js实现传参，实现后台接收 。
学习python爬虫，需要知道什么？
weixin_43325374的博客
08-02 209
——学习自B站《2020年Python爬虫全套课程（学完可做项目）》课程 1、定义 爬虫：通过编写程序，模拟浏览器上网，让其去互连网上抓取数据的过程。 2、爬虫是否合法? 在法律中是不被禁止 具有违法风险的（爬虫干扰了被访问网站的正常运营；爬虫抓取了受到法律保护的特定类 型的数据或信息） 善意爬虫&恶意爬虫 3、如何避免违法爬虫？ 时常优化自己程序，避免干扰被访问网站的正常运行； 使用、传播抓取到的数据时，审查抓取到的内容，如果发现了涉及到用户隐私、商业机密等敏感内容需要及时停止抓取或传
学爬虫先学什么？写给小白的python爬虫入门方法论
m0_59162248的博客
08-22 1122
本文没有过多讲述学习爬虫需要哪些库或代码，而是期望为初学者提供一些爬虫思维或方法论，从而快速入门。不过，每个人的基础不同，这仅是一家之言，希望大家能有所收获。学爬虫先学什么？有人说是编程，对也不对。对的是爬虫也是以一定的编程语言为基础的，对于连编程都不是很熟悉的纯小白来说，建议你去从编程学起。不对，是因为对于已经有些编程基础的爬虫小白来说，学习到python爬虫的编程套路，你也不一定会真正了解爬虫，灵活运用。事实上，我们并不缺少python爬虫的各类教程，在网络上搜索，文章、视频，比比皆是。
用python写爬虫 （三）获取数据、requests库
leidawangzi的博客
06-03 6207
第一个爬虫
Python爬虫9大入门学习知识点
weixin_58753619的博客
05-07 5701
爬虫是一种技术实现的功能，大部分编程语言都可以实现爬虫，但是对于初学者来说，想要快速学习爬虫技术，建议大家学习Python爬虫。Python编程语言相对于Java要更简单入门更容易，同时相对PHP使用范围更广泛，有利于后期的学习拓展知识。对于零基础想学习Python爬虫的同学应该掌握哪些知识，遵循怎样的学习路线呢？ 1、掌握Python编程能基础 想要学习爬虫，首先要充分掌握Python编程技术相关的基础知识。爬虫其实就是遵循一定的规则获取数据的过程，所以在学习Python知识的过程中一定要重点学习其中的数
Python 爬虫学习路线：从入门到精通
最新发布
源滚滚编程
01-11 1956
通过本文的学习路线，你可以从 Python 爬虫的入门到精通，逐步掌握爬虫的核心技能。无论是初学者还是资深开发者，爬虫技术都能为你打开一扇通往数据世界的大门！最后一个小幽默爬虫就像是互联网的“数据矿工”，每天都在挖掘数据的金矿。希望你能成为一个优秀的“数据矿工”，挖到属于自己的宝藏！如果你有任何问题或想法，欢迎在评论区留言讨论！
Python基础知识梳理 - 前导部分
weixin_34178244的博客
12-28 135
最近自己负责的项目也可以告一段落了, 前面部分工作集中在数据库自动化平台开发上, 主要用到了Python, Flask和Bash Shell. 至此使用Python也有些时间了, 正好借机梳理下Python和Flask的基础知识, 也算是对前段工作的总结. 感觉一门编程语言包括的内容大致是类似的, 只是其表述和擅长领域各有不同. 下面是Python语言中涉及到的基础知识. 变量 运算符 表达式...
爬虫学习——Requests案例分析
一个默默无闻的小程序员的博客
08-01 752
前面我们初步了解了爬虫的一些相关概念，也编写了一个简单的爬虫程序，但编写的爬虫程序相对而言不是那么的简洁，所以我们今天来学习爬虫中的常用的模块Requests
python爬虫,知识结构／路线图／环境工具准备
Economic_shark的博客
03-11 2986
准备工作，工具，环境
Python爬虫实践：批量创建视频文件夹并获取m3u8链接
"Python爬虫项目实践：爬取视频网站" 在学习Python爬虫的过程中，你可能已经了解了一些基础概念，如HTTP请求、HTML解析、正则表达式等。在这个项目中，你将深入到实际的视频网站爬取实践中，这涉及到更具体的步骤和...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值