72、探索网络Cookie世界：多视角分析网络Cookie

探索网络Cookie世界：多视角分析网络Cookie

引言

网络Cookie用途广泛，如保持用户登录状态或存储网站设置。但除了原本用途，Cookie还被用于商业活动，如用户跟踪和广告投放。为此，近年来出台了各种数据保护法，如欧盟的《通用数据保护条例》（GDPR）和美国加利福尼亚州的《消费者隐私法案》（CCPA），以规范Cookie的使用。

众多研究揭示了用户个人信息在第三方间共享的复杂生态系统，以及GDPR在减轻此类滥用方面的作用。然而，大多数研究仅从单一或有限的视角进行。本文将从多个地理区域分析Tranco排名前10000的网站的Cookie情况，涵盖以下方面：

1. 与Cookie横幅的交互 ：多数涉及GDPR的研究未考虑与Cookie横幅的交互。本文开发了工具BannerClick，能以99%、97%和87%的准确率自动检测、接受和拒绝Cookie横幅。在欧盟地区访问网站时，横幅的出现率比非欧盟地区高56%。点击“接受”后，网站发送的第三方Cookie平均增加5.5倍，这表明在进行网络测量时与横幅交互至关重要。
2. 地理位置的影响 ：为评估GDPR的有效性，比较了欧盟和非欧盟地区的第三方和跟踪Cookie。未与横幅交互时，43%的网站在非欧盟地区发送更多跟踪Cookie；接受横幅后，83%的网站仍如此；拒绝横幅时，这一比例增至96%。这表明GDPR对减少第三方和跟踪Cookie有积极影响。
3. 网站的一致性 ：为进行Cookie分析，需确保网站多次访问时设置的Cookie数量一致。本文进行了两项统计测试：使用变异系数测试同一地点多次访问的一致性，使用Mann - Whitney U测试不同地点访问的一致性。结果显示，网站在欧盟内更一致，欧盟和非欧盟国家之间的差异最显著。
4. 着陆页和内页的Cookie差异 ：着陆页和内页的结构和内容不同，一些网站可能在着陆页不发送Cookie，而在内页发送。在美国的观测点，32%的网站着陆页发送的第三方Cookie多于内页；在德国，29.7%的网站内页发送更多第三方Cookie。总体而言，27.4%和15.7%的网站在所有观测点的第三方和跟踪Cookie行为不同。因此，仅分析着陆页可能无法呈现完整的Cookie情况。
5. 桌面和移动浏览器访问的Cookie差异 ：随着移动网络浏览的普及，网站的移动版本可能导致Cookie差异。在美国东部观测点，28%的网站桌面端发送的第三方Cookie多于移动端；在巴西，28%的网站移动端发送更多第三方Cookie。总体而言，14.6%和9%的网站在所有观测点的第三方和跟踪Cookie行为不同。因此，研究Cookie行为时需同时考虑桌面和移动网站。
6. 巴西和加利福尼亚州隐私法的影响 ：由于这些法律实施时间较短，对其影响的分析尚处于早期。研究发现CCPA对网络Cookie没有直接的积极影响，公开遵守CCPA的网站往往发送更多的第三方和跟踪Cookie。

背景

关于网络跟踪的隐私法

• 通用数据保护条例（GDPR） ：欧盟的GDPR于2018年5月生效，被认为是最全面的在线用户隐私保护法律之一。它规定，只有在用户明确同意后，才允许存储和交换个人信息（如Cookie）。

以下是不同方面的影响对比表格：
|影响因素|具体情况|对Cookie的影响|
| ---- | ---- | ---- |
|与Cookie横幅交互|欧盟地区横幅出现率比非欧盟高56%|点击“接受”后，第三方Cookie平均增加5.5倍|
|地理位置|欧盟和非欧盟对比|非欧盟地区跟踪Cookie更多|
|网站一致性|欧盟内和不同地区对比|欧盟内更一致，欧盟和非欧盟差异显著|
|着陆页和内页差异|不同观测点对比|部分网站着陆页或内页第三方Cookie更多|
|桌面和移动浏览器|不同地区对比|部分网站桌面或移动端第三方Cookie更多|
|隐私法影响|CCPA|遵守CCPA的网站发送更多第三方和跟踪Cookie|

下面是分析流程的mermaid流程图：

graph LR
    A[开始] --> B[与Cookie横幅交互分析]
    B --> C[地理位置影响分析]
    C --> D[网站一致性分析]
    D --> E[着陆页和内页差异分析]
    E --> F[桌面和移动浏览器差异分析]
    F --> G[隐私法影响分析]
    G --> H[结束]

综上所述，横幅交互、客户端位置、着陆页与内页以及桌面与移动设备等因素都对网络Cookie有重大影响。在进行网络测量研究时，应采用多视角方法，并考虑这些因素。为了便于研究的可重复性，相关代码已开源，数据和分析脚本也已发布。

详细分析

与Cookie横幅的交互

为了研究Cookie横幅交互对Cookie的影响，开发了BannerClick工具。该工具能以高准确率自动检测、接受和拒绝Cookie横幅，具体准确率如下：
|操作|准确率|
| ---- | ---- |
|检测|99%|
|接受|97%|
|拒绝|87%|

通过该工具对Tranco排名前10000的网站进行检测，发现欧盟地区约47%的网站存在Cookie横幅，而非欧盟地区这一比例低于30%。点击“接受”横幅后，网站发送的第三方Cookie平均增加5.5倍，这一数据充分说明了在进行网络测量时与横幅交互的重要性。

下面是BannerClick工具操作的mermaid流程图：

graph LR
    A[开始] --> B[检测Cookie横幅]
    B --> C{是否检测到横幅}
    C -- 是 --> D[选择操作（接受/拒绝）]
    C -- 否 --> E[结束]
    D --> F[执行操作]
    F --> E

地理位置的影响

为评估GDPR的有效性，对比了欧盟和非欧盟地区的第三方和跟踪Cookie情况。具体数据如下：
|交互情况|更多跟踪Cookie的网站比例（非欧盟比欧盟）|
| ---- | ---- |
|未与横幅交互|43%|
|接受横幅后|83%|
|拒绝横幅后|96%|

这些数据表明，GDPR在减少第三方和跟踪Cookie方面起到了积极作用。

网站的一致性

为确保Cookie分析的准确性，进行了两项统计测试：
1. 变异系数测试 ：用于测试同一地点多次访问网站时Cookie景观的一致性。
2. Mann - Whitney U测试 ：用于测试不同地点访问网站时Cookie景观的一致性。

测试结果显示，网站在欧盟内的一致性更高，欧盟和非欧盟国家之间的差异最为显著。

着陆页和内页的Cookie差异

不同观测点着陆页和内页的第三方Cookie情况如下：
|观测点|着陆页第三方Cookie更多的网站比例|内页第三方Cookie更多的网站比例|
| ---- | ---- | ---- |
|美国|32%| - |
|德国| - |29.7%|

总体而言，27.4%和15.7%的网站在所有观测点的第三方和跟踪Cookie行为不同。这意味着仅分析着陆页可能无法全面了解网站的Cookie情况。

桌面和移动浏览器访问的Cookie差异

不同地区桌面和移动浏览器访问网站时第三方Cookie情况如下：
|地区|桌面第三方Cookie更多的网站比例|移动第三方Cookie更多的网站比例|
| ---- | ---- | ---- |
|美国东部|28%| - |
|巴西| - |28%|

总体来看，14.6%和9%的网站在所有观测点的第三方和跟踪Cookie行为不同。因此，研究Cookie行为时需要同时考虑桌面和移动网站。

巴西和加利福尼亚州隐私法的影响

由于巴西和加利福尼亚州的隐私法实施时间较短，对其影响的分析还处于早期阶段。研究发现，CCPA对网络Cookie没有直接的积极影响，公开遵守CCPA的网站往往发送更多的第三方和跟踪Cookie。

结论

综上所述，网络Cookie的情况受到多种因素的影响，包括与Cookie横幅的交互、客户端地理位置、网站的着陆页和内页差异、桌面和移动浏览器的使用以及隐私法的实施等。在进行网络测量研究时，应采用多视角的方法，充分考虑这些因素，以获得更准确和全面的Cookie景观信息。为了方便后续研究和验证，相关代码已开源，数据和分析脚本也已发布，以促进研究的可重复性和进一步发展。