实战：使用Docker配置ubuntu下的scrapy爬虫环境

最新推荐文章于 2025-04-25 18:28:29 发布

sunlong19870812

最新推荐文章于 2025-04-25 18:28:29 发布

阅读量531

点赞数

CC 4.0 BY-SA版权

分类专栏：部署爬虫 python pyquery

本文链接：https://blog.youkuaiyun.com/sunlong19870812/article/details/83281103

部署同时被 2 个专栏收录

5 篇文章

订阅专栏

爬虫 python pyquery

2 篇文章

订阅专栏

本文详细介绍在Docker容器中安装Scrapy爬虫框架的全过程，包括DockerToolBox安装、Ubuntu镜像配置、基本软件及依赖安装，以及Scrapy安装步骤，并指导如何保存和载入已修改的镜像。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 准备docker容器
1.1 安装DockerToolBox
参考：
http://www.oschina.net/translate/installing-docker-on-mac-os-x
https://github.com/boot2docker/osx-installer/releases

1.2 配置ubuntu镜像
$docker pull daocloud.io/ubuntu:14.04
1.3 启动docker镜像进入ubuntu14.04
$docker run -it ubuntu:14.04
2 docker容器中的安装
2.1 更新apt-get
#apt-get update
2.2 安装python2.7.6
#sudo apt-get install python
2.3 安装wget,命令行下面下载文件的工具
#apt-get install wget
2.4 进入临时目录以下载安装所需文件
#cd tmp
2.5 下载并安装pip
#wget https://bootstrap.pypa.io/get-pip.py
#python get-pip.py
—————- base end —————–

2.6 安装make
#apt-get install make
2.7 安装g++
#apt-get install build-depgcc
#apt-get install build-essential
——— gcc end ————

2.8 安装依赖
#apt-get install libxml2-dev libxslt1-dev
#apt-get install libgsl0-dev
#apt-get install python-dev
#apt-get install libffi-dev
#apt-get install libssl-dev
——— dep end ————

2.9安装scrapy
#pip install scrapy
3 如何保存修改
3.1 退出dockerTerminal
#exit
3.2 查看containerId
$docker ps -a -q
cc4072aadb13
3.3 保存镜像
$ docker commit cc40 ubuntu/spider
02db509cb269710f8f80b2a35f12995c59c668b3e3ba2e7148987bc55d713fa5
3.4 查看刚才保存的镜像
$ docker images
REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE
ubuntu/spider latest 138b6860da02 About a minute ago 228.2 MB
ubuntu latest 6cc0fc2a5ee3 3 days ago 187.9 MB
ubuntu 14.04 6cc0fc2a5ee3 3 days ago 187.9 MB
honeydeiMac:~ caojianfeng$
3.5你可以使用如下命令进入之前安装的环境了
$docker run -it ubuntu/spider
---------------------
作者：windcao
来源：优快云
原文：https://blog.youkuaiyun.com/windcao/article/details/50575145
版权声明：本文为博主原创文章，转载请附上博文链接！