- 博客(125)
- 收藏
- 关注
RSS订阅原创 【学习笔记】透视HTTP协议（十八）HTTP的缓存代理
通过缓存源服务器的数据，代理服务器能够分担源服务器的负载，提升系统的响应速度和可用性。本文将深入探讨HTTP缓存代理的工作原理、源服务器和客户端的缓存控制策略，以及其他相关问题。缓存控制是优化HTTP性能的重要手段，通过合理设置缓存时间，可以减少重复请求，节约带宽，提升用户体验。HTTP缓存代理通过服务器端的缓存控制和代理服务器的功能扩展，显著提升了系统的性能和安全性。缓存代理服务器通过存储源服务器的响应，减少客户端的等待时间和源服务器的负载。：存储频繁访问的资源，减少源服务器负载。
2025-02-18 12:36:11
519
原创 【学习笔记】透视HTTP协议（十七）HTTP代理服务
HTTP代理，也称为代理服务器（Proxy Server），是指在客户端和目标服务器之间提供服务的中间服务器。代理服务器的主要功能是接收客户端的请求，将其转发给目标服务器，再将目标服务器的响应返回给客户端。通过这种方式，代理服务器能够在不改变原始请求和响应内容的前提下，为网络通信提供多种增强功能。HTTP代理服务在现代互联网架构中扮演着至关重要的角色。通过理解其工作原理、功能和应用场景，我们可以更好地利用代理服务器提升系统性能、增强安全性，并优化用户体验。
2025-02-18 12:31:07
623
原创 【学习笔记】透视HTTP协议（十六）HTTP缓存控制
HTTP缓存控制是优化Web应用性能和用户体验的重要技术。通过合理配置ETag和等字段，可以有效减少HTTP请求次数，降低带宽消耗，提升资源加载速度。同时，理解并正确应用浏览器和服务器的缓存控制机制，对于构建高效、安全的Web应用具有重要意义。希望本文能够帮助读者深入理解HTTP缓存控制的核心概念，解决实际开发中可能遇到的问题。
2025-02-18 12:25:13
831
原创 【学习笔记】透视HTTP协议（十五）HTTP的Cookie机制
Cookie是服务器委托浏览器存储在客户端的小段数据，通常以“key=value”的形式保存。它的主要作用是让服务器能够识别用户身份，实现有状态的会话事务。Cookie是服务器委托浏览器存储的数据，用于实现“记忆能力”。服务器通过Set-Cookie字段发送Cookie，浏览器通过Cookie字段发送存储的Cookie。Cookie的属性包括有效期、作用域和安全性设置，如Max-AgeDomainHttpOnly等。Cookie的主要用途是身份识别、广告跟踪和状态保持。
2025-02-14 12:24:34
948
原创 【学习笔记】透视HTTP协议（十四）：HTTP的重定向和跳转
重定向是服务器发起的跳转，要求客户端改用新的URI重新发送请求，通常会自动进行，用户是无感知的。301和**302**是最常用的重定向状态码，分别表示“永久重定向”和“临时重定向”。响应头字段Location指示了要跳转的URI，可以用绝对或相对的形式。重定向可以用于资源不可用、避免重复等场景，但需注意性能损耗和循环跳转问题。
2025-02-14 12:17:44
492
原创 【学习笔记】透视HTTP协议（十三）：HTTP的连接管理
短连接（Short-lived Connections）是指客户端与服务器的连接在每次请求-响应完成后立即关闭。早期的HTTP协议默认采用这种机制，因此被称为“无连接”协议。长连接（Persistent Connections），也称为“持久连接”或“连接复用”，是指客户端与服务器的连接在多次请求-响应之间保持打开状态，从而减少连接建立和关闭的开销。队头阻塞（Head-of-Line Blocking）是指HTTP的“请求-应答”模型导致的一个性能问题。
2025-02-14 12:10:48
820
原创 【学习笔记】透视HTTP协议（十二）：HTTP传输大文件的方法
数据压缩：通过gzip等算法减小文本文件的大小。分块传输：将大文件分解为小块，逐块传输。范围请求：允许客户端只请求文件的一部分，支持断点续传和多线程下载。多段数据：允许客户端在一次请求中获取文件的多个部分。分块传输中的回车换行分块传输的数据中如果包含CRLF（回车换行），不会影响分块的处理，因为分块的格式明确区分了长度头和数据块。范围请求与压缩文件范围请求是基于压缩后的文件进行的。例如，是指压缩后文件的字节范围，而不是原始文件的范围。快递发货收货比喻数据压缩：将大象压缩成小猪佩奇，再放进冰箱。分块传输。
2025-02-12 12:00:21
637
原创 【学习笔记】透视HTTP协议（十一）：HTTP的实体数据
HTTP通过MIME类型、编码类型、语言类型和字符集等机制，实现了对实体数据的精确描述和处理。这些机制使得HTTP能够支持各种类型的数据传输，满足多样化的需求。数据类型：使用MIME type描述，相关头字段为Accept和。数据编码：使用Encoding type描述，相关头字段为和。语言类型：使用自然语言描述，相关头字段为和。字符集：使用字符集描述，相关头字段为和。内容协商：客户端通过Accept等头字段与服务器协商，要求返回最合适的数据。
2025-02-12 11:57:24
760
原创 【学习笔记】透视HTTP协议（十）：HTTP协议：优点与缺点
HTTP协议凭借其灵活可扩展、可靠传输、通用性强等特点，成为互联网上最常用的协议之一。它适用于多种应用场景，从简单的网页浏览到复杂的API调用，HTTP都能胜任。然而，HTTP也存在一些局限性，如无状态的局限性、性能问题和安全性问题。在实际应用中，开发者需要根据具体需求选择合适的协议或技术，以弥补HTTP的不足。
2025-02-12 11:53:08
391
原创 【学习笔记】透视HTTP协议（九）：状态码详解
HTTP状态码是客户端与服务器通信时的重要反馈机制，通过三位数字代码快速传达请求的处理结果。头字段要求切换协议（如从HTTP升级到WebSocket），若服务器同意变更，则返回101状态码。最常见成功码，表示请求完全成功。此类状态码表示请求已被接收且需要继续处理，属于协议处理的中间状态，实际使用频率较低。等条件的请求时，若资源未修改，服务器返回304通知客户端使用本地缓存，减少数据传输。表明请求已被服务器成功接收并处理，客户端最期望的结果类型。请求存在语法错误或无法被服务器处理，责任通常在客户端。
2025-02-11 21:06:27
808
原创 【Chrome 开发者工具】network面板
除了默认的过滤器，开发者还可以通过输入关键字来进一步筛选请求。例如：输入，可以筛选出所有来自的请求。输入，可以筛选出所有状态码为 404 的请求。输入，可以筛选出所有大小超过 1MB 的资源。除了默认显示的列，开发者可以根据需求添加或移除列。添加列：在 Requests Table 的表头栏上右键点击，会弹出一个菜单，列出了所有可用的列选项。勾选你希望显示的列即可将其添加到表格中。移除列：同样地，在表头栏上右键点击，取消勾选不需要的列即可将其移除。Domain（域名）：显示请求的域名。
2025-02-07 11:40:42
1670
转载 【fiddler】“AutoResponder “模块：拦截指定规则
如上图，Fiddler捕获到的是前4条Session，勾选Unmatched requests passthrough，replay这四条Session，得到第5~8条Session，从响应结果可以看出，不匹配的请求发送后，得到的是正常的响应；不勾选Unmatched requests passthrough，replay前四条Session，得到第9~12条Session，不匹配的请求（非条件请求），响应都是404。通俗点讲，就是它能在不访问服务器的情况下，使发送的请求得到自己设置的响应。
2024-09-18 12:28:54
435
1
原创 【fiddler】内置命令与断点
Fiddler的左侧底部通常有一个命令行界面：“QuickExec”命令行。在这个命令行界面可以执行一些快速操作，如发送命令来执行特定任务、运行脚本、调用命令行工具等。断点可以直接点击Fiddler下图的图标位置，就可以设置全部请求的断点，断点的命令可以精确设置需要截获那些请求。FIddler断点功能就是将请求截获下来，但是不发送，这个时候你可以干很多事情，比如说，把包改了，再发送给服务器。
2024-08-21 16:20:32
284
原创 【fiddler】“Timeline“模块：显示请求响应时间
在左侧会话窗口点击一个或多个（同时按下 Ctrl 键），Timeline 便会显示指定内容从服务端传输到客户端的时间：
2024-08-21 16:11:50
415
原创 【fiddler】“Filters “模块：请求过滤
Fiters 是过滤请求用的，左边的窗口不断的更新，当你想看你系统的请求的时候，你刷新一下浏览器，一大片不知道哪来请求，看着碍眼，它还一直刷新你的屏幕。这个时候通过过滤规则来过滤掉那些不想看到的请求。勾选左上角的Use Filters开启过滤器，这里有两个最常用的过滤条件：Zone和Host。如果框框为黄色（如图），表示修改未生效，点击红圈里的文字即可!
2024-08-21 16:08:38
302
原创 【fiddler】“Composer“模块：自定义请求发送服务器
Composer允许自定义请求发送到服务器，可以手动创建一个新的请求，也可以在会话表中，拖拽一个现有的请求。
2024-08-21 16:00:27
174
原创 【fiddler】“Inspectors“模块：查看会话数据
Inspectors是用于查看会话的内容，上半部分是请求的内容，下半部分是响应的内容；部分名称 含义Headers 显示请求的 HTTP 头信息，如 Content-Type、User-Agent、Cookie 等。Body 显示请求体的内容，如果是 POST 请求，则可能包含表单数据或 JSON/XML 等。Text 显示请求体的文本格式，如果请求体是文本格式（如 JSON、XML）。Raw 显示原始的请求数据，未经过格式化处理。Cookies 显示请求中携带的所有 Cookie 信息。Que
2024-08-21 15:55:22
265
原创 【fiddler】“Statistics “模块：请求数据性能分析
Fiddler 的 "Statistics" 模块提供了关于捕获到的 HTTP(S) 会话的汇总统计信息。这些统计数据显示了网络性能和资源消耗情况。
2024-08-21 11:37:31
227
原创 【fiddler】主界面“Sessions”列表：字段含义说明
Fiddler 捕获网络流量时，它会在主界面的“Sessions”列表中显示每个请求的信息。
2024-08-21 11:24:18
213
原创 【fiddler】开启或关闭抓包功能：Capture Traffic
Fiddler想要抓到数据包，要确保Capture Traffic是开启，在“File –> Capture Traffic”。开启后再左下角会有显示，也可以直接点击左下角的图标来关闭/开启抓包功能。
2024-08-21 11:20:53
499
原创 【fiddler】捕获HTTPS的网络数据
Fiddler可以通过伪造CA证书来欺骗浏览器和服务器。原理就是在浏览器面前Fiddler伪装成一个HTTPS服务器，而在真正的HTTPS服务器面前Fiddler又装成浏览器，从而实现解密HTTPS数据包的目的。（2）、勾选Decrypt HTTPS TrafficDecrypt。
2024-08-21 11:17:52
281
原创 【fiddler】下载和安装
Fiddler是一款非常实用的Web调试代理工具，它可以捕获并检查所有的HTTP(S)流量。以下是如何下载和安装Fiddler的步骤：下载 Fiddler在 Fiddler 的官方网站直接下载安装包。https://www.telerik.com/fiddler安装 Fiddler下载好安装包之后，直接双击exe文件
2024-08-21 11:07:18
205
原创 【python】DrissionPage库介绍
DrissionPage是一个基于Puppeteer的Python库，设计用于Web自动化和爬虫开发。它提供了一个简单易用的接口，允许你控制和操作无头或有头的Chrome或Chromium浏览器。DrissionPage的主要优势在于它能够处理现代Web页面的动态内容，这在传统静态网页抓取工具如Requests或BeautifulSoup中是难以实现的。
2024-07-03 17:22:24
852
原创 【python】pandas数据清洗(四)：使用回归分析预测异常值
回归分析是一种统计方法，用于确定一个或多个自变量（X）与一个因变量（Y）之间的关系。在回归模型中，我们试图找到一个函数f，使得对于给定的自变量X，f(X)能够尽可能准确地预测因变量Y的值。回归方法包括但不限于线性回归、多项式回归、岭回归、Lasso回归和Elastic Net回归等。
2024-07-02 22:12:12
832
原创 【python】pandas数据清洗(三)：修剪(Trimming)与顶底处理(Capping)详解
在数据分析和数据科学项目中，数据清洗是不可或缺的步骤，其目的是提高数据质量，使数据更加准确、一致和可靠。在数据清洗的过程中，处理极端值（也称为异常值或离群点）是一项关键任务。极端值可能是由测量误差、数据录入错误、系统故障或其他非正常情况导致的。这些值可能会扭曲数据分析的结果，因此需要特别注意。本文将持续介绍数据清洗的技巧。修剪是指直接从数据集中移除那些被识别为异常值的数据点。这种策略通常适用于数据集足够大，以至于删除少数几个极端值不会对总体统计特性产生显著影响的情况。
2024-07-02 21:57:23
687
原创 【python】pandas数据清洗(三)：Z-Score 方法识别异常值
Z-Score，又称为标准分数，是统计学中用于表示一个值与数据集均值之间的偏差程度的一种度量。具体而言，Z-Score 是一个观测值减去均值后，再除以标准差的结果。Z-Score 可以告诉我们这个观测值在标准正态分布中处于什么位置。数学表达式如下：( X ) 表示单个观测值，( \mu ) 表示观测值所在样本的均值，( \sigma ) 表示样本的标准差。
2024-07-02 21:40:31
2412
原创 【python】pandas数据清洗(二)：箱线图分析与IQR的深度解析
数据清洗的目标是识别并修正数据集中的错误、不一致或无关的信息，从而提高数据质量和分析结果的可靠性。其中，异常值的检测和处理是一项关键任务，而箱线图分析和IQR（四分位距）技术为此提供了强大的工具。IQR是衡量数据集中趋势以外部分的离散程度的一个重要指标，不受极端值的影响。因此，它是识别异常值的理想工具。通过理解箱线图的结构和IQR的计算方法，可以更加精确地检测数据集中的异常值，并采取适当的策略进行处理。通过上述步骤，不仅能够识别数据集中的异常值，还能有效清洗数据，提高后续数据分析的准确性和可靠性。
2024-07-02 21:29:15
764
原创 【python】pandas数据清洗（一）
在Pandas中进行数据清洗是非常重要的步骤，以确保数据分析的质量和准确性。本文将详细介绍如何使用, 和进行数据预处理。
2024-07-02 12:28:34
632
原创 【python】pandas数据统计:了解数据分布
本文主要介绍如何使用df.mean()df.sum()df.max(), 和df.min()。
2024-07-01 18:10:02
1356
原创 【python】Pandas 中的.loc和.iloc介绍
在 Pandas 中，标签（labels）是指用来标识 DataFrame 或 Series 中行和列的唯一标识符。在 Pandas 的数据结构中，标签可以是任意哈希类型的对象，最常见的就是字符串和整数，但也可以是日期时间、元组等。标签在 DataFrame 中构成了行索引和列索引。
2024-07-01 17:37:50
532
原创 【oracle】数据库中的函数分类与详解
字符函数主要用于处理字符串数据，聚合函数用于对多行数据进行汇总计算，而分析函数则允许在查询结果的每一行上执行计算。根据具体需求选择合适的函数，可以大大提高数据处理的效率和准确性。
2024-06-17 18:16:20
532
原创 【oracle】窗口函数（分析函数）详解
Oracle窗口函数允许用户对查询结果的每一行执行计算，而不会改变原始查询结果的行数或顺序。这些函数特别适用于需要跨多行或分区（子集）的数据执行聚合操作（如求和、平均值等）的场景。Oracle窗口函数为数据分析提供了强大的工具，允许用户在不改变数据原始分组的情况下执行复杂的计算。通过结合不同的窗口函数和OVER子句中的选项，用户可以灵活地定义窗口的范围和排序方式，以满足各种分析需求。
2024-06-17 18:06:00
3180
原创 【oracle】查询某个字段的唯一值及其对应的ID
在Oracle数据库中查询某个字段的唯一值及其对应的ID时，你可以使用子查询、JOIN和窗口函数或聚合函数等方法。选择哪种方法取决于你的具体需求和偏好。希望这些示例能帮助你更好地处理类似的数据库查询任务。
2024-06-17 14:49:01
1123
原创 【python】pandas:DataFrame合并技巧详解
本文介绍了Pandas库中DataFrame合并的几种常用方法，包括基于键的合并（merge）、沿着轴合并（concat）、基于索引的合并（join）以及追加行（append）。本文将详细介绍Pandas库中DataFrame合并的几种常用方法，包括基于键的合并（merge）、沿着轴合并（concat）、基于索引的合并（join）以及追加行（append）。基于键的合并是最常用的DataFrame合并方法之一。它类似于SQL中的JOIN操作，可以根据两个DataFrame之间的共同列（键）进行合并。
2024-06-17 12:54:05
4619
2
原创 【python】pandas:Series详解
Series是一个一维的、大小可变的、可以包含任何数据类型的数组，以及与之相关的一组数据标签（索引）。Series对象可以被看作是一个字典对象，其中包含了数组的数据和与这些数据相关联的索引。但与字典不同的是，Series中的索引是固定的，且是有序的。Series是Pandas库中的一个核心数据结构，用于处理一维数组型数据，并带有与之相关的数据标签（通常称为“索引”）。Series可以被视为一个固定大小的、有序的、可以包含任何数据类型的数组。
2024-06-17 08:50:31
1364
原创 【python】pandas:DataFrame详解
DataFrame是一个二维的表格型数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值等）。DataFrame可以被视为一个电子表格或SQL表，或是由多个Series对象组成的字典（这些Series对象共享一个索引）。
2024-06-17 08:40:44
1261
原创 【python】pandas常见文件读取方法
pandas是一个强大的Python数据分析库，它提供了多种读取文件的方法，支持多种文件格式。以下是pandas中常见的一些文件读取方法及其详细说明、常用参数、代码示例和数据示例。
2024-06-16 22:13:43
3764
原创 【学习笔记】透视HTTP协议（八）：请求方法详解
按照这个定义，只有GET和HEAD方法是“安全”的，因为它们是“只读”操作，只要服务器不故意曲解请求方法的处理方式，无论GET和HEAD操作多少次，服务器上的数据都是“安全的”。PUT的作用与POST类似，也可以向服务器提交数据，但与POST存在微妙的不同，通常POST表示的是“新建”“create”的含义，而PUT则是“修改”“update”的含义。方法与GET方法类似，也是请求从服务器获取资源，服务器的处理机制也是一样的，但服务器不会返回请求的实体数据，只会传回响应头，也就是资源的“元信息”。
2024-06-14 23:24:18
1765
原创 【oracle】SQL查询：从文件名中提取扩展名
在数据处理中，经常需要从文件名中提取扩展名，以便进行进一步的分类或处理。以下是一个使用Oracle SQL查询来实现这一目标的示例。，因此在这个查询条件下不会被选中，除非您移除了WHERE子句。
2024-06-14 16:26:31
547
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人