13、网页结构与效率的深度分析

网页结构与效率的深度分析

1. 网站选择

为进行分析，选用了“Tranco”网站列表（2021 年 4 月 29 日下载），该列表以研究为导向，且能有效防止操纵。由于空间和时间限制，将分析该列表中排名前 10000 的最受欢迎网站，对每个网站的结构和效率进行研究。

在爬取 Tranco 列表中的网页时，并非所有网站都能被获取和分析。部分页面可能在 60 秒超时后仍未加载完成，这是为防止爬虫卡在页面加载上；还有些页面可能已离线，或者在测试进行地德国无法访问。因此，每种分析方法的可读网站数量将分别用桌面数据集的 nd 和移动数据集的 nm 表示。

2. 分析软件

为确保每个测试的可重复性，尽可能将爬取和分析步骤分开。如图 1 所示，这些阶段由主控制器协调。由于会产生大量数据，使用文件服务器来存储所有文档，这也支持多个爬虫和分析器并行工作。

具体操作步骤如下：
1. 主控制器将 Tranco 列表的一部分分配给一个爬虫，启动爬取过程。
2. 爬虫使用远程控制的无头浏览器，在标准桌面模式下完全加载网站及其所有外部资源。加载过程中，测试 JavaScript 和 CSS 的使用情况、CSS 效率以及页面指标。
3. 将所有数据保存到文件服务器后，以相同方式（不使用缓存）再次爬取同一网站，但这次在浏览器中模拟手机，改变用户代理和屏幕尺寸以匹配指定设备。
4. 爬取完成后，开始主要分析，使用相同的网站列表及其桌面和移动版本。解析主 HTML 并进行结构分析，利用框架收集构建网站所使用的技术。
5. 为便于比较不同 HTML 文件长度的数据，软件将所有位置数据转换为相对于网站自身长度的百分比。