Scrapy 之 docker splash

最新推荐文章于 2023-08-20 15:17:27 发布
最新推荐文章于 2023-08-20 15:17:27 发布
阅读量221 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： scrapy docker 容器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Zuko_chen/article/details/128124438
本文介绍如何在Ubuntu上使用Docker安装并配置Splash服务，通过编写Lua脚本结合Scrapy-Splash库实现动态网页的数据抓取。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Scrapy 之 docker splash

1. ubuntu 安装docker 命令

curl -sSL https://get.daocloud.io/docker | sh

　　或者

curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun

2. 启动docker

sudo docker systemctl start docker

3. 安装Splash 拉取docker镜像

sudo docker pull scrapinghub/splash

4. 拉取成功后启动服务器

启动命令为：

docker run -p 8050:8050 -p 5023:5023 scrapinghub/splash

5. 最后再浏览器中打开

  1. 最后通过写lua 脚本 然后配合scrapy-splash 这个库 完成动态数据爬取
始識
关注
Docker部署Scrapy分布式爬虫系统
TechEnthusiast的博客
02-19 737
在这篇博文中,我们将介绍如何使用Docker来部署Scrapy分布式爬虫系统,包括Scrapyd、Logparser和Scrapyweb三个核心组件。这种部署方式适用于Scrapy项目和Scrapy-Redis分布式爬虫项目。Scrapyd- 服务端,用于运行打包后的爬虫代码,所有爬虫机器都需要安装。Logparser- 服务端,用于解析爬虫日志,配合Scrapyweb进行实时分析和可视化,所有爬虫机器都需要安装。- 客户端,用于将本地爬虫代码打包成egg文件,只需在本地开发机上安装。
Ubuntu20.04 使用scrapy-splash爬取动态网页
root@dream
06-16 495
6.因为splash其实是一个scrapy框架的插件scrapy-splah要用的服务，因此在我们学习插件的用法之前，我们有必要学习一下简单的scrapy框架的知识了。按照官方文档：https://splash.readthedocs.io/en/stable/install.html。若要重新用docker在8050端口启动进程，请重启docker服务，来更新状态。因为用到是8050端口，可以使用如下程序，查到进程。在这里，我指定了pip3，怕弄混淆。最后，尝试成功，解决了依赖。具体的学习见一篇博文。
scrapy-redis项目打包docker镜像+部署kubernetes
fgsdgsdghdsfgrd的博客
08-20 441
项目根目录新建一个 requirement 文件，如下所示： 项目根目录新建一个Dockerfile 注意：文件不加任何后缀名！将其内容改为： 修改项目环境变量 首先确保重要redis变量，url地址等使用环境变量获取,修改下settings.py，有助于灵活修改项目 构建镜像 接下来，进入到项目更目录镜像构建，命令如下 构建过程根据Dockerfile步骤来，没有出现报错就说明构建成功 查看构建好的镜像执行： 如果需要删除镜像的话执行： 构建好，在执行之前新建一个 .env 文件，其内容如下：
scrapy-splash+docker
weixin_40784853的博客
04-20 172
pip install scrapy-splash 安装docker, 安装好后运行docker 拉取镜像 docker pull scrapinghub/splash 用docker运行docker run -p 5023:5023 -p 8050:8050 -p 8051:8051 scrapinghub/splash scrapy-setting 配置 SPLASH_URL = ‘http://localhost:8050’ DOWNLOADER_MIDDLEWARES = { ‘scrapy_spl
scrapy-splash的docker部署
zhangenter的专栏
07-09 1607
一、docker安装 参考：https://docs.docker.com/engine/installation/ 或者 curl -fsSL get.docker.com -o get-docker.sh sh get-docker.sh 安装完docker -v查看版本，看到版本说明安装成功 二、修改下默认路径，因为docker默认存在/var/lib/docker，但是系统目录如果不大的话...
scrapy的docker部署
dream8062的专栏
12-22 2441
Docker环境部署 Docker安装： 我使用的是企鹅的云服务器，ubuntu 32位  网上有根多安装教程，我找了个最简单的  sudo apt-get install -y docker.io 如果安装成功： docker info 后会出现docker版本信息 但是不出所料，肯定没那么顺利  Cannot connect to the Docker daemon. 网上查询一
scrapy环境搭建Dockerfile
fleaxin的博客
04-11 511
FROM ubuntu:16.04 LABEL maintainer="xiongbin@hybors.com" ENV DEBIAN_FRONTEND noninteractive RUN echo "\033[32m---change source to mirrors.aliyun---\033[0m" \ && sed -i 's/archive.ubu...
Scrapy-Splash的安装(windows篇)
cherish152的博客
01-05 5558
Scrapy-Splash是一个Scrapy中支持Javascript渲染的工具。 Scrapy-Splash的安装分为两个部分，一个是Splash服务的安装，通过Docker，安装后会启动Splash的服务，我们可以通过他的接口来实现JavaScript页面的加载，另一个是Scrapy-Splash的python库的安装，安装之后可在Scrapy中使用Splash。 Docker的安装 ...
Scrapy-splash 渲染网页（windows10）
博客 小站
12-25 1639
Scrapy-splash 渲染网页 scrapy爬虫框架没有提供页面js渲染服务，所以我们获取不到部分HTML网页的数据信息，我们可以通过一个渲染引擎来为我们提供渲染服务将网页所有信息均呈现出来-----Splash渲染引擎： 1、Splash渲染引擎工作简介： Splash是为Scrapy爬虫框架提供渲染Javascript代码的引擎，它具备如下功能： （1）为用户返回...
《Python笔记》Scrapy + Splash实现动态数据爬取
学弟不想努力了
08-15 1005
现在很多网站都是在浏览器中使用js动态渲染页面，直接意味着无法直接从原始页面中爬取到数据。 所以这里就使用可以提供js渲染解析功能的Scrapy-Splash 一、安装Scrapy-Splash 首先，要明白一点，Scrapy-Splash是需要在docker中使用的，所以前期工作得做好 1. 安装docker https://blog.youkuaiyun.com/Eternal_Blue/article/details/96855986 2. docker安装成功后，在docker中安装scrap..
Docker 部署Scrapy的详解
01-10
假设我们要在10台Ubuntu 部署爬虫如何搞之？用传统的方法会吐血的，除非你记录下来每个步骤，然后步骤之间的次序还完全一样，这样才行。但是这样还是累啊，个别软件下载又需要时间。所以Docker出现了。Docker把系统，各种需要的应用，还有设置编译成一个image，然后 run一下就可以了。跟虚拟机的区别是不需要而外的物理支持，共用的。 1. 部署步骤 1.1 上传本地scrapy爬虫代码除了settings外到git 服务器 1.2 编写Dockerfile文件，把settings和requirements.txt 也拷贝到image里，一起打包成一个image Dockerfile内容：
docker打包scrapy
The world's your oyster
03-05 366
scrapy对接docker 一.安装python 配置yum源 如：163.repo ali.repo bak epel.repo local.repo 配置pip源 mkdir ~/.pip vim ~/.pip/pip.conf [global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple 安装python依赖 yum ...
Docker 部署Scrapy
易水寒
04-09 2450
假设我们要在10台Ubuntu 部署爬虫如何搞之？用传统的方法会吐血的，除非你记录下来每个步骤，然后步骤之间的次序还完全一样，这样才行。但是这样还是累啊，个别软件下载又需要时间。所以Docker出现了。Docker把系统，各种需要的应用，还有设置编译成一个image，然后 run一下就可以了。跟虚拟机的区别是不需要而外的物理支持，共用的。1. 部署步骤1.1 上传本地scrapy爬虫代码除了set...
Scrapy框架之Docker 安装 MongoDB
m0_67093160的博客
06-30 985
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows操作系统的机器上，也可以实现虚拟化。如果集合不存在，MongoDB 会在首次存储该集合的数据时创建该集合。插入文档时，如果不指定_id参数，MongoDB会为文档分配一个唯一的ObjectId。如果数据库不存在，则指向数据库，但不创建，直到插入数据或创建集合时数据库才被创建。无需手动创建集合, 向不存在的集合中第一次添加数据时，集合会自动被创建出来。
docker部署scrapy项目
qq_44042040的博客
11-30 2179
将scrapy爬虫或者分布式爬虫通过docker发布到docker hub 上 1.准备工作，本机有docker 2.在项目的根目录下创建 requirements.txt 和Dockerfile 文件（Dockerfile文件没有后缀名） 3.在requirements.txt 列出项目需要的第三方库+版本 ，也可以不加版本： Scrapy>=1.8.0 scrapy-redis>=0.7.1 pymongo>=3.12.1 4.在Dockerfile文件中： FROM pyth
docker打包scrapy项目
李玉峰的博客
10-29 1319
好长时间没来写博客了，闲来无事，更新一波scrapy对接docker的博客 1. 准备工作 1.本地服务器确保安装docker和scrapy的环境 2. 准备一个scrapy的小项目，能在本地正常运行就可以 2. 打包项目所用到的模块 pipreqs C:\Users\user\Desktop\lawyer --encoding=utf8 打包出来的结果为： Scrapy==2.0.1 Twisted==20.3.0 PyMySQL==0.9.2 3. 编写...
docker创建centos7镜像（scrapy环境）
cuigelasi的博客
12-26 1865
一、下载centos7镜像 [root@cgls ]docker pull centos7二、启动centos7容器 [root@cgls ]docker run -name centos7 -v /cgls:/opt/webapp -t -i centos /bin/bash三、为容器安装ifconfig服务 [root@cgls ]yum install net-tools.x86_64
docker+scrapy-splash+代理池的方法
weixin_41433522的博客
12-09 1175
docker+scrapy-splash+代理池的方法 看了很多网站都没有把这种方法说透，自己摸索了一天，终于明白了如何在docker环境下对scrapy-splash搭代理池。 根据scrapy官方文档对挂代理的描述 ，应该在本地创建这样一个文件夹my-proxy-profiles-dir，然后在该文件夹内放上你的代理文件，如果是代理池 那就多个文件。 docker run -p 8050:8050 \ -v <my-proxy-profiles-dir>:/etc/splash/
借助 docker, scrapyd, scrapydweb 部署scrapy项目
Melon_LPC的博客
05-25 1568
借助 docker, scrapyd, scrapydweb 部署scrapy项目 scrapy采集程序开发完毕，难道还命令行启动吗？既然有炫酷的scrapyd的部署服务和scrapyweb这样的可视化界面，抱着学习的态度研究一波。在docker上成功进行了部署。本机局域网的IP为192.168.xx.xx 一. docker 部署 scrapyd 文件准备 # 目录下的文件 # 通过docker build 制作镜像 Dockerfile # scrapyd的配置文件 scrapyd.conf
scrapy-splash用法
最新发布
04-30
### Scrapy-Splash 的使用方法 Scrapy-Splash 是一个用于解决 Scrapy 无法解析由 JavaScript 动态加载的网页内容的问题的工具。通过集成 Splash 渲染服务，可以获取到经过 JavaScript 渲染后的页面源码。 #### 安装依赖 在使用 Scrapy-Splash 前，需安装必要的 Python 库以及启动 Splash 服务。以下是具体操作： 1. **安装 Scrapy 和 scrapy-splash** ```bash pip install scrapy scrapy-splash ``` 2. **启动 Splash 服务** 下载并运行 Docker 镜像以快速部署 Splash： ```bash docker run -p 8050:8050 scrapinghub/splash ``` 启动成功后，默认监听 `localhost:8050` 地址[^4]。 --- #### 示例代码 以下是一个完整的 Scrapy Spider 实现动态加载页面抓取的例子： ```python import scrapy from scrapy_splash import SplashRequest class ExampleSpider(scrapy.Spider): name = 'example' allowed_domains = ['example.com'] start_urls = ['http://example.com'] def start_requests(self): for url in self.start_urls: yield SplashRequest( url=url, callback=self.parse, args={ 'wait': 2, # 设置等待时间，确保 JS 加载完成 'timeout': 30, # 超时设置 }, endpoint='render.html' # 默认渲染 HTML 页面 ) def parse(self, response): title = response.css('title::text').get() body_text = response.xpath('//body/text()').extract() yield { 'title': title, 'content': ''.join(body_text).strip(), } ``` 在此示例中，`SplashRequest` 替代了普通的 `scrapy.Request` 请求对象，并传递额外参数给 Splash 服务，例如 `'wait'` 表示等待时间为 2 秒，允许页面上的 JavaScript 执行完毕后再提取数据[^2]。 --- #### 关键配置项说明 - **endpoint**: 指定 Splash 提供的服务端点，常用的有 `render.html`, `execute`(执行 Lua 脚本)[^4]。 - **args**: 自定义请求参数，常见的选项包括： - `wait`: 等待时间（秒），让页面充分加载。 - `lua_source`: 如果需要自定义逻辑，可以通过此字段传入 Lua 脚本。 - `timeout`: 单位为秒的最大超时时间。 - **splash_url**: 若未指定默认连接本地 Splash 服务 (`http://localhost:8050`)。 --- #### 中间件启用 为了使 Scrapy 支持 Splash，请修改项目的 `settings.py` 文件如下： ```python DOWNLOADER_MIDDLEWARES = { 'scrapy_splash.SplashCookiesMiddleware': 723, 'scrapy_splash.SplashMiddleware': 725, 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810, } SPIDER_MIDDLEWARES = { 'scrapy_splash.SplashDeduplicateArgsMiddleware': 100, } DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter' # 可选：如果需要缓存响应 HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage' ``` 以上配置启用了 Scrapy-Splash 的去重过滤器和 HTTP 缓存功能[^1]。 --- ### 注意事项 1. **性能优化** Splash 对于大规模爬虫可能成为瓶颈，建议合理调整并发数或增加多个 Splash 实例分担压力[^3]。 2. **资源消耗** Splash 运行时会占用较多内存和 CPU，因此生产环境应考虑硬件条件适当扩展容器实例数量。 3. **错误处理** 在实际应用中可能会遇到网络异常等问题，务必加入 robust error handling 来增强稳定性。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值