【Python从零到壹】学习Python爬虫前，Python工程师面试该怎么准备

post请求： 向服务器发送数据（登陆），上传文件等，会对服务器资源产生影响的时候，会使用post请求。

不过有些网站做了反爬虫机制，你去查看信息，也是使用post请求，所以我们写爬虫的时候，一定要分析网站。

[](

)常见的请求头参数：

http协议中，向服务器发送一个请求，数据分为三部分：

• 把数据放在url中

• 数据放在body中，（post请求）

• 数据放在head中

常见的请求头参数：

• user-agent :浏览器名称

• referer: 当前这个请求从哪个url过来的

• cookie:http 协议是无状态的，也就是一个人发送了两次请求，服务器没有能力知道这两个请求是否来自同一个人。

[](

)常见的相应状态码

• 200 请求正常，服务器正常返回数据

• 301 永久重定向

• 404 请求的url在服务器上找不到

• 418 发送请求遇到服务器端的反爬虫，服务器拒绝相应数据

• 500 服务器内部错误，可能是服务器出现了bug

[](

)HTTP的请求相应过程

[](

)使用浏览器进行网站分析

我们要分析的网站为： movie.douban.com

• Elements： 用于分析网站的结构

在页面上的呈现的内容，在Elements都会有相应的元素。

• Console: 这里会打印招聘信息，警告等等。

• Sources

• Network ： 在显示页面的时候，产生的所有请求

headers 头部信息

[](

)session 与cookie

session代表的是服务器和浏览器的一次会话过程

session 是一种服务器端的机制，用来存储特定用户的会话所需要的信息，保存在内存，缓存，或者数据库中。

cookie

cooke是由服务器端生成后发送给客户端，cookie是保存在客户端的

cookie原理：
1） 创建cookie

最后

🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。