非洲网站第三方服务依赖情况分析
1. 主要发现
1.1 第三方依赖的普遍性
- 非洲网站对第三方的依赖比美国高 5% - 12%,对于更受欢迎的网站,这一差距可达 25%。
- 93% 的非洲访问网站、97% 的非洲主导网站、96% 的非洲托管网站和 95% 的非洲运营网站严重依赖第三方 DNS、CDN 或 CA 提供商。
- 非洲所有观测点对第三方 DNS、CDN 和 CA 提供商的依赖程度相同。
1.2 第三方依赖的集中性
- 服务于非洲中心网站的前三大 DNS、CDN 或 CA 提供商,最多可为 60% 的网站提供独家服务。
1.3 主要提供商情况
- 非洲访问网站的顶级提供商主要是全球提供商,如 Cloudflare、Amazon 等。但在托管、主导和运营的网站集中,顶级提供商中也有一些本地提供商。
1.4 对非洲互联网的影响
- 提供商的高度集中和第三方依赖使非洲网站容易受到各种攻击和可用性攻击。
- 非洲互联网基础设施不可靠,停电更常见;网站运营商和服务提供商缺乏网络专业知识,从故障中恢复的时间更长。因此,需要在非洲建设更具弹性的互联网基础设施。
2. 预备知识
2.1 依赖指标
- 第三方依赖 :当网站使用其他实体提供特定服务(如 DNS)时,称该网站对该服务提供商有第三方依赖。例如,example - website.com 对 CloudFlare DNS 和 Dyn DNS 有第三方 DNS 依赖,对 KeyCDN 有第三方 CDN 依赖。
-
关键依赖
:
- 对于 DNS 和 CDN,通过分析网站是否冗余配置来衡量关键依赖。如 example - website.com 使用两个 DNS 提供商,在 DNS 方面是冗余配置,无关键依赖;仅使用一个 CDN 提供商,对 KeyCDN 有关键依赖。
- 对于 CA 依赖,如果网站不支持在线证书状态协议(OCSP)装订,则对 CA 有关键依赖。启用 OCSP 装订后,用户访问网站时无需联系 OCSP 服务器检查证书撤销状态。
- 服务提供商的集中度 :依赖某服务提供商的网站数量。
- 服务提供商的影响 :严重依赖某服务提供商的网站数量。
2.2 网站分类
为系统研究以非洲为中心的网络服务中的第三方服务依赖,根据以下因素对网站进行分类:
| 使用情况 | 运营者 | 托管位置 | 目标受众 | 网站集合 |
| — | — | — | — | — |
| uC | - | - | - | W visited
C
|
| - | hC | - | - | W hosted
C
|
| - | - | oC | - | W operated
C
|
| - | - | - | dC | W dominant
C
|
具体分类如下:
-
国家访问网站(W visited
C
)
:由国家 C 的用户使用/访问的网站,即该国受欢迎的网站,如 facebook.com 在肯尼亚是前 1000 名网站之一。
-
国家主导网站(W dominant
C
)
:大部分用户在国家 C 的网站,可能由单个或多个国家运营或托管,针对特定人群,如政府网站、医院网站等。与国家访问网站不同,facebook.com 虽在肯尼亚受欢迎,但不是主要针对肯尼亚人,而 kenyanmusic.co.ke 主要针对肯尼亚人。
-
国家运营网站(W operated
C
)
:由国家 C 运营的网站,用户和托管位置可能来自单个或多个国家,研究该集合有助于从非洲网站运营商的角度研究第三方依赖的影响。
-
国家托管网站(W hosted
C
)
:托管在国家 C 的网站,用户和运营者可能来自单个或多个国家,该集合通常包含需要本地化的敏感网站,如银行网站、医院网站等。
2.3 研究问题
- 以非洲为中心的网站中,第三方关键 CDN、DNS 和 CA 依赖的普遍程度如何?
- 服务于非洲中心网站的提供商之间,第三方依赖的集中程度如何?
- 非洲国家的第三方服务依赖状况与美国相比如何?
3. 数据集
3.1 观测点选择
选择肯尼亚(KE)、卢旺达(RW)、南非(ZA)和尼日利亚(NG)四个观测点,因为它们分别位于非洲的南部、东部、西部和中部,且难以在更多非洲国家获取物理位置的服务器。
3.2 网站集合收集
- 使用 Chrome 用户体验报告(CrUX)数据集获取每个选定非洲国家的前 10000 个热门网站。该数据集每月通过汇总选择报告浏览器历史和使用统计信息的 Chrome 和 Chromium 用户的浏览数据来整理。
- 对 CrUX 数据集进行归一化处理,按域名分组网络来源,并选择最小排名值作为每个域名的排名。
3.3 不同类型网站集合的构建
- 国家访问网站数据集 :使用 CrUX 数据集获取 NG、RW、KE、ZA 和美国的前 10000 个网站,并进行归一化处理。
-
国家主导网站数据集
:网站需属于国家访问集合(前 10000 个访问网站),并满足以下三个条件之一:
- 具有特定国家的国家代码顶级域名(ccTLD)。
- 网站主机名包含“Africa”或非洲国家名称。
- 网站着陆页内容和引用的 URL 中的电话号码都具有该国家的国家代码。
- 国家主导网站集合定义为:W dominant C = (W ccTLD C ∪ W substr C ∪ W phone C ) ∩ W visited C
- 国家托管网站数据集 :使用 Maxmind Geo - Lite 数据库和 ipinfo.io 数据库进行 IP 地理位置查找,仅考虑属于国家访问集合且托管在相应国家的网站。
- 国家运营网站数据集 :查看网站的隐私政策和使用条款,使用 Python Geograpy 库提取地理位置信息,仅包含能明确识别出单一国家的网站。
4. 研究方法
4.1 测量挑战与解决方案
为捕捉非洲用户所观察到的依赖关系,需要从非洲多个位置进行测量。由于云服务提供商覆盖有限,访问非洲各地的服务器具有挑战性。因此,将有限的云服务与 VPN 服务(PrivateVPN、ExpressVPN)相结合,并仔细验证其真实位置。2022 年 10 月,使用位于南非、尼日利亚、肯尼亚和卢旺达的四个观测点进行测量,南非观测点使用 Amazon AWS,其他使用 VPN。通过从不同位置 ping 服务器、进行 traceroute 以及联系 VPN 提供商来验证 VPN 服务器的位置。
4.2 DNS 测量
- 获取权威名称服务器 :使用 dig(Domain Information Groper)命令行工具获取网站的 NS(名称服务器)记录。
-
识别第三方名称服务器
:遵循特定方法,使用顶级域名(TLD)匹配、主题备用名称(SAN)列表和权威起始(SOA)DNS 记录来分类 NS 是否为第三方。
- 如果网站和 NS 的二级域名(SLD)和顶级域名(TLD)匹配,或 NS 的 SLD + TLD 存在于网站的 SAN 列表中,分类为私有。
- 如果网站和 NS 的 SOA 不匹配或 NS 的集中度超过 50,分类为第三方。
- 检查网站是否冗余配置 :按 TLD 和 SOA 记录对网站的名称服务器进行分组,同一组中的名称服务器属于同一提供商。
4.3 证书撤销测量
- 检查网站是否依赖第三方 CA 提供商,以及是否启用 OCSP 装订。
- 提取 SSL 证书中的 CRL 分发点(CDP)和 OCSP 服务器信息。
- 发送 SYN 到 TCP 端口 443 以检查网站是否支持 HTTPS,若支持则获取证书。
以下是测量流程的 mermaid 流程图:
graph LR
A[选择观测点] --> B[收集 CrUX 数据集]
B --> C[归一化数据集]
C --> D[构建不同类型网站集合]
D --> E[进行测量]
E --> F[DNS 测量]
E --> G[证书撤销测量]
F --> F1[获取权威名称服务器]
F --> F2[识别第三方名称服务器]
F --> F3[检查冗余配置]
G --> G1[检查 CA 依赖]
G --> G2[提取 CDP 和 OCSP 信息]
G --> G3[检查 HTTPS 支持并获取证书]
通过以上研究,我们可以更深入地了解非洲网站的第三方服务依赖情况,为非洲互联网的发展和安全提供有价值的参考。后续将进一步分析测量结果,探讨如何应对非洲互联网面临的挑战。
5. 测量结果分析
5.1 第三方关键依赖的普遍性
通过对收集到的非洲各国网站数据进行分析,得出不同类型网站对第三方 CDN、DNS 和 CA 的关键依赖比例。
| 网站类型 | 关键依赖比例 |
| — | — |
| 非洲访问网站 | 93% |
| 非洲主导网站 | 97% |
| 非洲托管网站 | 96% |
| 非洲运营网站 | 95% |
从这些数据可以看出,非洲的各类网站对第三方服务的关键依赖程度普遍较高。这意味着一旦这些第三方服务出现问题,将对大量非洲网站产生严重影响。
5.2 第三方依赖的集中性
对服务于非洲中心网站的第三方提供商进行统计,发现前三大 DNS、CDN 或 CA 提供商为大量网站提供服务。具体数据如下:
| 服务类型 | 前三大提供商服务网站比例 |
| — | — |
| DNS | 可达 60% |
| CDN | 可达 60% |
| CA | 可达 60% |
这种高度集中的依赖情况使得非洲网站在面对第三方提供商故障、攻击或政策变化时十分脆弱。例如,如果排名前三的某一家 DNS 提供商出现故障,可能会导致大量非洲网站无法正常访问。
5.3 与美国的对比
将非洲国家的第三方服务依赖状况与美国进行对比,发现非洲网站的第三方依赖更为普遍。在一些热门网站上,非洲与美国的依赖差距可达 25%。以下是一个简单的对比表格:
| 对比项目 | 非洲 | 美国 |
| — | — | — |
| 第三方依赖普遍程度 | 高 5% - 12%(热门网站差距达 25%) | - |
| 主要提供商 | 部分有本地提供商 | 主要是全球提供商 |
这种差异主要是由于非洲互联网基础设施相对薄弱,本地服务提供商的能力和覆盖范围有限,导致更多地依赖全球第三方服务。
6. 面临的威胁与挑战
6.1 基础设施问题
非洲的互联网基础设施不可靠,停电等情况较为常见。例如,曾出现过因负载削减导致的 Afrihost 中断事件。这种不稳定的基础设施会增加第三方服务中断对非洲网站的影响,因为即使第三方服务正常运行,本地网络问题也可能导致网站无法正常访问。
6.2 网络专业知识缺乏
非洲的网站运营商和服务提供商缺乏网络专业知识,这使得他们在面对第三方服务中断或攻击时,恢复时间更长。当出现问题时,他们可能无法迅速采取有效的应对措施,从而导致网站长时间无法正常服务。
7. 应对建议
7.1 加强本地基础设施建设
- 增加本地服务器部署 :鼓励本地企业和政府增加服务器的部署,提高本地网络的承载能力和稳定性。例如,在各个国家建设更多的数据中心,减少对外部服务器的依赖。
- 改善网络连接 :加大对网络基础设施的投资,提高网络带宽和稳定性。可以通过铺设更多的光纤电缆、建设无线基站等方式来实现。
7.2 提升网络专业技能
- 开展培训课程 :政府和企业可以联合开展网络安全和运维方面的培训课程,提高网站运营商和服务提供商的专业知识和技能。
- 引进专业人才 :吸引国际上的网络专业人才到非洲工作,同时鼓励本地人才的培养和发展。
7.3 多元化服务提供商
- 选择多个第三方提供商 :网站运营商可以选择多个不同的第三方 DNS、CDN 和 CA 提供商,避免过度依赖单一提供商,降低因单一提供商故障带来的风险。
- 扶持本地服务提供商 :政府可以出台相关政策,扶持本地的服务提供商发展,提高本地服务的质量和竞争力。
以下是应对措施的 mermaid 流程图:
graph LR
A[面临的问题] --> B[基础设施问题]
A --> C[网络专业知识缺乏]
B --> D[加强本地基础设施建设]
C --> E[提升网络专业技能]
D --> D1[增加本地服务器部署]
D --> D2[改善网络连接]
E --> E1[开展培训课程]
E --> E2[引进专业人才]
F[依赖集中问题] --> G[多元化服务提供商]
G --> G1[选择多个第三方提供商]
G --> G2[扶持本地服务提供商]
通过以上的分析和建议,我们可以看到非洲网站在第三方服务依赖方面面临着诸多挑战,但也有相应的解决办法。通过加强本地基础设施建设、提升专业技能和多元化服务提供商等措施,可以提高非洲互联网的稳定性和安全性,促进非洲互联网的健康发展。
超级会员免费看
562

被折叠的 条评论
为什么被折叠?



