hl120841的博客

fiddler4抓包和夜神模拟器 1 HTTP代理 利用socket开发一个简易版HTTP代理服务器 import socket import re """ 利用socket搭建一个建议的HTTP代理 """ server = socket.socket() # 创建服务端 server.bind(('0.0.0.0', 8181)) server.listen(5) # 监听 cli...

3 Requests 1 请求 1.1 发起网络请求 GET请求： import requests # GET请求 response_get = requests.get('http://www.baidu.com') char_data = response_get.text # 字符串响应数据 binary_data = response_get.content # 二进制响应数据 #...

爬虫基础 1 爬虫概念 1.1 爬虫的概念 网络爬虫也叫网络蜘蛛，它特指一类自动批量下载网络资源的程序，这是一个比较口语化的定义。 更加专业和全面对的定义是：网络爬虫是伪装成客户端与服务端进行数据交互的程序。 1.2 爬虫的应用 数据采集 大数据时代来临，数据就是核心，数据就是生产力，越来越多的企业开始注重收集用户数据，而爬虫技术是收集数据的一种重要手段。 搜索引擎 百度，谷歌等搜索引擎都是基于...

文章目录1 概述2 HTTP2.1 HTTP请求流程2.2 URL2.3 HTTP请求报文2.4 HTTP请求方法2.5 HTTP请求报头2.6 HTTP请求正文2.7 HTTP响应报文2.8 HTTP响应状态码2.9 HTTP响应报头2.10 HTTP协议的特点3 HTTPS协议4 当输入url时到页面显示过程中浏览器做了哪些事 1 概述 目前几乎所有的商业应用都是基于互联网的，它们一般采用c/...