附录A 必备软件的安装与故障排除
A.1 必备软件的安装
本书使用了庞大的虚拟服务器系统演示现实中多服务器部署环境下的Scrapy使用。我们使用了行业标准工具——Vagrant和Docker,来搭建该系统。由于本书严重依赖于网站内容和布局,如果我们使用不可控的网站,那么我们的例子将会在几个月的时间之后无法使用。Vagrant和Docker为我们提供了一个独立的环境,在这里我们的示例无论现在还是以后都能正常运行。作为附带的好处,我们不会访问任何远程服务器,因此就不会对任何网站管理者造成不便。即使我们破坏了某些东西,造成示例无法工作,也可以使用两个命令:vagrant destroy和vagrant up --no-parallel,销毁并重建系统,继续运行。
在开始之前,我需要说明一下,该基础架构是专门为本书读者的需求定制的。尤其是有关Docker的部分,普遍共识是每个Docker容器应当是只运行单一进程的微服务。我们并没有这么做。我们的很多Docker容器都比较重,我们可以使用vagrant ssh连接它们并执行各种操作。尤其是我们的开发机看起来一点也不像微服务。这是我们去往该隔离系统的用户友好的网关,我们将其视为功能齐全的Linux机器。如果我们不使用这种方式改变规则,就必须使用大量的Vagrant和Docker命令,更加深入地排查故障,在这种情况下本书将很快变为Vagrant/Docker书籍。我希望Docker爱好者能够原谅我们,并且每位读者能够享受到Vagrant和Docker带给我们的方便和益处。
《精通Python爬虫框架Scrapy》附录A介绍了必备软件的安装与故障排除,包括Vagrant和Docker的使用,确保在多服务器环境下Scrapy示例的稳定运行。书中提供了详细的安装步骤,如在Linux、Windows或Mac上安装Vagrant、VirtualBox、Git等,并解答了系统创建与操作中常见的问题,如端口冲突、虚拟机恢复和重置等。
订阅专栏 解锁全文
135

被折叠的 条评论
为什么被折叠?



