17、并发编程与分布式处理：Akka与Spark的应用实践

并发编程与分布式处理：Akka与Spark的应用实践

1. Akka的容错机制与管理策略

在并发编程中，Actor模型是一种强大的工具，而Akka则是实现Actor模型的优秀框架。在使用Akka构建爬虫程序时，容错机制是非常重要的。

当爬虫在获取或解析用户响应时崩溃，应用程序受到的影响通常较小，只是不会获取该用户的关注者。但Actor重启时会丢失其内部状态，例如抓取管理器（FetcherManager）死亡时，会丢失队列的当前值和已访问用户的信息。为了减轻丢失内部状态带来的风险，可以采取以下策略：
- 采用不同的失败策略 ：在失败时不重启Actor，继续处理消息。但如果Actor因内部状态不一致而死亡，此方法作用不大。
- 定期备份内部状态 ：将内部状态写入磁盘，重启时从备份加载。
- 保护关键状态的Actor ：将所有“危险”操作委托给其他Actor，避免关键Actor受到影响，这就是错误内核模式。

自定义监督策略

默认的Actor失败重启策略并非总是适用。对于携带大量数据的Actor，可能希望在异常后恢复处理而不是重启。可以通过设置Actor的监督者的监督策略来定制行为。

监督策略有两个组成部分：
- OneForOneStrategy ：策略仅应用于失败的Actor。
- AllForOneStrategy ：相同策略应用于所有被监督的Actor，若一个子Actor失败，所有子Actor都会重启