21、大规模网络安全分析：挑战与发现

大规模网络安全分析：挑战与发现

1. 引言

在过去十年里，网络变得极为流行。企业日常运营严重依赖网络，数十亿用户每天在社交网站上互动。然而，网络的流行也吸引了攻击者的关注，各种网络攻击层出不穷，如跨站脚本攻击（XSS）、跨站请求伪造（CSRF）、SQL 注入等。随着支持网络的技术数量和复杂度增加，可利用的漏洞也在增多。

评估网站安全时，网站所有者通常会选择安全咨询公司进行内部渗透测试和代码审查。但政府和监管机构等外部人员很难对网站进行大规模的外部安全评估。本文通过大规模网络安全分析，研究外部安全评估的可行性，评估欧盟热门网站的安全状况，并探究各国之间的差异。

2. 数据收集

2.1 数据集

为评估网站安全并探究各国差异，我们选择欧盟热门网站作为目标。从 Alexa 全球前 100 万网站列表中，为每个欧盟国家选取以国家代码顶级域名（ccTLD）结尾的前 1000 个网站。部分小国家在列表中的网站不足 1000 个。之后，通过 Bing 搜索引擎为每个网站获取最多 200 个网页 URL。最终，我们分析了 22851 个欧盟网站的超 300 万个网页，平均每个网站 141 个网页。

2.2 爬虫设置

获取网页 URL 后，使用无头浏览器 PhantomJS 访问这些 URL 并检索数据。为在合理时间内爬取大量网页，我们使用 60 台联网机器进行分布式实验，整个爬取过程约耗时五天。

3. 安全评分系统

为比较不同网站和欧盟国家的安全水平，我们开发了安全评分系统，为每个网站提供量化的安全分数。网站的安全分数由两部分组成：
- 正分：代表网站采