13.分布式爬虫 Docker

本文介绍了使用Docker和Redis构建分布式爬虫的方案,包括Docker的快速部署优势,以及如何通过Docker创建和管理容器。内容涵盖Docker安装、容器启动、镜像操作,以及容器间的通信,强调了Docker在部署轻便和成本节省上的优点。

Docker+Redis+UriLib+mysql

Docker+Redis+Scrapy+Scrapy-Redis+MySql

容器化虚拟机创建虚拟机非常的快,启动也非常的快,部署10几个虚拟机也是非常的容易,也不会卡。
所以Dokcer部署轻快,性价比高

linux 安装 yum -y install docker


基本介绍
  1. systemctl start docker

  2. systemctl stop docker

  3. docker镜像:里面的内容不可以改变

  4. docker容器:是可以改变里面的内容,相当于是虚拟机,默认情况下是彼此封闭

  5. docker:轻部署,省成本,部署迁移方便

  6. 镜像搜索: docker search python / docker search ubutun

  7. 下载镜像: docker pull docker.io/ubutun

  8. 层查看本地镜像: docker images

  9. 创建一个容器: 是根据镜像来创建的 docker run -tid 302f (-ti交互 -d 后台) (-tid 创建一个容器,但是不进入容器)

  10. 查看所有容器的状态: docker ps -a

  11. 进入容器里面: docker attach 02ef (id 前4位)

  12. 退出容器: exit (一般不用,会结束任务)

  13. ctrl+p+q 不会停止任务,退出

  14. 自定义容器名字: docker run -tid --name testabc 302f

  15. 容器启动: docker start e28a

  16. 将容器封装成镜像: docker commit 02ec(将哪个容器进行封装) mytest:v1(新名字:版本号)

  17. 容器间进行通信: docker run -tid --name h2 --link h1 mytest:v1 (将创建的容器h2连接到h1上,他们之间需要通信)

  18. 查看是否能进行通讯: docker attach 3ba4
    cat /etc/hosts/
    ping (IP) 是否能ping通

  19. 安装一个镜像: docker load --input myimges.tar

  20. 将镜像封装成为一个文件: docker save -o /myimages.tar c3e8 (哪个镜像)将镜像封装成文件 ,方便迁移

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值