13、网页结构与效率的深度分析

网页结构与效率的深度分析

1. 网站选择

为了进行分析，使用了 “Tranco” 网站列表（于 2021 年 4 月 29 日下载），因为它以研究为导向，并且专门针对操纵进行了强化处理。由于空间和时间限制，将分析该列表中排名前 10000 的最受欢迎网站。对于每个网站，都将研究其结构和效率。

在爬取 Tranco 列表中的网页时，并非每个网站都能被获取和分析。这可能是因为某些页面在 60 秒的超时时间内未能加载完成，这是为了防止爬虫在加载页面时陷入停滞。其他页面可能已离线，或者在测试进行地德国无法访问。因此，对于每种分析方法，可读网站的数量将分别用 nd（桌面数据集）和 nm（移动数据集）表示。

2. 分析软件

为了使每个测试具有可重复性，尽可能将爬取和分析步骤分开。如图 1 所示，这些阶段由主控制器进行协调。由于会产生大量数据，使用文件服务器来存储所有文档。这也使得可以使用多个爬虫和分析器并行工作。

2.1 爬取过程

1. 控制器通过将 Tranco 列表的一部分分配给一个爬虫来启动爬取过程。
2. 爬虫使用远程控制的无头浏览器，在标准桌面模式下完全加载网站及其所有外部资源。在加载过程中，会测试 JavaScript 和 CSS 的使用情况、CSS 效率以及页面指标，以进行分析。
3. 将所有数据保存到文件服务器后，以相同的方式（不使用缓存）再次爬取同一网站。不过，这次在浏览器中模拟手机，模拟过程会将用户代理和屏幕尺寸更改为指定设备的确切尺寸。

2.2 分析过程

1. 爬取完成后，开始主要分析，使用相同