《python3网络爬虫开发实战》docker下安装Scrapy-Splash

最新推荐文章于 2024-09-17 13:30:28 发布
最新推荐文章于 2024-09-17 13:30:28 发布
阅读量334 收藏 1
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43496455/article/details/96131809
本文介绍如何正确安装和配置Splash JavaScript渲染服务。Splash是一款轻量级浏览器，具备HTTP API，能够与Python中的Twisted和QT库集成，适用于动态网页抓取。文章详细说明了通过Docker安装配置Splash的过程，并指出了常见错误及解决方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

7.2 Splash的使用

Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们可以实现动态渲染页面的抓取。

打开http://localhost:8050不是书中相应的界面。大概是之前只通过pip install安装了scrapy-splash，没有在docker下安装scrapy-splash。

在这里插入图片描述
在安装了docker之后，桌面上有3个图标，打开这个图标，因为docker是安装成功了的，所以打开后是这样的界面：
在这里插入图片描述
然后在“$”后面输入命令：docker run -p 8050:8050 scrapinghub/splash
在这里插入图片描述
然后我在网页输入了http://localhost:8050，仍然不对，正确的做法，应该是输入红框那里的地址！！！
在这里插入图片描述
好像还有另一种解决办法，如需要，请参考：https://blog.youkuaiyun.com/qq_41338249/article/details/81180133

Python爬虫实战：研究Scrapy-Splash库相关技术
ylfhpy的博客
06-04 982
这些网站的内容通常是在浏览器加载后通过 JavaScript 动态生成的，传统爬虫只能获取到空白的 HTML 框架，无法获取到实际的内容。因此，如何有效地爬取动态渲染网站的内容成为当前网络爬虫研究的一个重要方向。传统网站的内容是在服务器端生成并直接返回给浏览器的，而动态渲染网站的内容是在浏览器加载后通过 JavaScript 动态生成的。本文采用案例研究的方法，通过一个完整的电商产品爬取案例，详细展示了从环境搭建、项目架构设计到具体实现的全过程，并对爬取过程中的关键技术点和解决方案进行了深入分析。
Ubuntu20.04 使用scrapy-splash爬取动态网页
root@dream
06-16 502
6.因为splash其实是一个scrapy框架的插件scrapy-splah要用的服务，因此在我们学习插件的用法之前，我们有必要学习一下简单的scrapy框架的知识了。按照官方文档：https://splash.readthedocs.io/en/stable/install.html。若要重新用docker在8050端口启动进程，请重启docker服务，来更新状态。因为用到是8050端口，可以使用如下程序，查到进程。在这里，我指定了pip3，怕弄混淆。最后，尝试成功，解决了依赖。具体的学习见一篇博文。
python+docker+scrapy+splash爬动态数据
woxiaomaa的博客
05-28 2378
准备：docker安装教程：https://yeasy.gitbooks.io/docker_practice/content/install/ubuntu.htmlscrapy安装教程：http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.htmlsplash安装教程：http://devdoc.net/python/splash-d...
Docker的安装和scrapy-splash的安装
08-11 199
docker在linux里的安装非常简单 http://get.daocloud.io/#install-docker-for-mac-windows 在windows里可参考 https://blog.youkuaiyun.com/qq2712193/article/details/54576313 http://www.runoob.com/docker/centos-docker-in...
scrapy-splash的docker部署
zhangenter的专栏
07-09 1611
一、docker安装 参考：https://docs.docker.com/engine/installation/ 或者 curl -fsSL get.docker.com -o get-docker.sh sh get-docker.sh 安装完docker -v查看版本，看到版本说明安装成功 二、修改下默认路径，因为docker默认存在/var/lib/docker，但是系统目录如果不大的话...
【Python】Python3网络爬虫实战-12、部署相关库的安装：Docker、Scrapyd
Python8年程序员教程分享
07-26 440
如果想要大规模抓取数据，那么一定会用到分布式爬虫，对于分布式爬虫来说，我们一定需要多台主机，每台主机多个爬虫任务，但是源代码其实只有一份。那么我们需要做的就是将一份代码同时部署到多台主机上来协同运行，那么怎么去部署就又是一个值得思考的问题。 对于 Scrapy 来说，它有一个扩展组件叫做 Scrapyd，我们只需要安装 Scrapyd 即可远程管理 Scrapy 任务，包括部署源码、启动任务、监听...
[Python3网络爬虫开发实战] Scrapy 对接 Docker
python爬虫教程
12-07 266
环境配置问题可能一直是我们头疼的，我们可能遇到过如下的情况： 我们在本地写好了一个 Scrapy 爬虫项目，想要把它放到服务器上运行，但是服务器上没有安装 Python 环境。 别人给了我们一个 Scrapy 爬虫项目，项目中使用包的版本和我们本地环境版本不一致，无法直接运行。 我们需要同时管理不同版本的 Scrapy 项目，如早期的项目依赖于 Scrapy 0.25，现在的项目依赖于 Scrap...
Python3网络爬虫开发实战（15）Scrapy 框架的使用（第一版）
bigcrab的博客
09-17 4678
scrapy 使用介绍
Scrapy-Splash的安装(windows篇)
cherish152的博客
01-05 5573
Scrapy-Splash是一个Scrapy中支持Javascript渲染的工具。 Scrapy-Splash的安装分为两个部分，一个是Splash服务的安装，通过Docker，安装后会启动Splash的服务，我们可以通过他的接口来实现JavaScript页面的加载，另一个是Scrapy-Splash的python库的安装，安装之后可在Scrapy中使用Splash。 Docker的安装 ...
《Python 3网络爬虫开发实战 》崔庆才著 第一章笔记
weixin_45715461的博客
05-22 955
一、请求库的安装 requests的安装 由于 requests 属于第三方库 ，也就是 python 默认不会自带这个库，所以需要我们手动安装。 pip install requests selenium Selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等 操作，对于一些 JavaScript 谊染的页面来说，这种抓取方式非常有效。 pip install selenium ChromeDriver的安装 前面我们成功安装好了Selenium库，
Python爬虫：splash的安装与简单示例
热门推荐
彭世瑜的博客
08-13 1万+
安装splash 1、安装docker（参考：mac安装docker） 2、安装splash docker pull scrapinghub/splash # 安装 docker run -p 8050:8050 scrapinghub/splash # 运行 访问测试： http://localhost:8050/ 代码示例 import requests import...
Docker python3.7+Scrapy1.5+Scrapyd+Scrapyd-client部署爬虫踩坑记
挂件
01-14 927
基于python3.7在docker hub上的官方镜像 在基于debain的官方python3.7的镜像用dockerfile安装了scrapy、scrapyd、scrapyd-client。 1. ...in from_crawler spider = cls(*args, **kwargs) TypeError: __init__() got an unexpected keyword ...
mac 安装scrapy-Splash、Redis
benben0729的专栏
05-07 1116
使用docker安装，命令docker run -p 8050:8050 scrapinghub/splash安装完成在浏览器 localhost：8050可以看到splash主页安装到远程服务器docker run -d -p 8050:8050 scrapinghub/splash安装Scrapy-Splash使用pip3进行安装pip3 install scrapy-splash安装Scra...
Python核心编程：Scrapyd 对接 Docker汇总
python核心编程
02-02 1792
我们使用了 Scrapyd-Client 成功将 Scrapy 项目部署到 Scrapyd 运行，前提是需要提前在服务器上安装好 Scrapyd 并运行 Scrapyd 服务，而这个过程比较麻烦。如果同时将一个 Scrapy 项目部署到 100 台服务器上，我们需要手动配置每台服务器的 Python 环境，更改 Scrapyd 配置吗？如果这些服务器的 Python 环境是不同版本，同时还运行其他...
第51讲：容器化技术也得会，Scrapy 对接 Docker
菜鸡小白的成长记录
10-05 539
上一节课我们学习了 Scrapy 和 Scrapyd 的用法，虽然它们可以解决项目部署的一些问题，但其实这种方案并没有真正彻底解决环境配置的问题。 比如使用 Scrapyd 时我们依然需要安装对应的依赖库，即使这样仍免不了还是会出现环境冲突和不一致的问题。因此，本节课我会再介绍另一种部署方案 —— Docker。 Docker 可以提供操作系统级别的虚拟环境，一个 Docker 镜像一般都会包含一个完整的操作系统，而这些系统内也有已经配置好的开发环境，如 Python 3.6 环境等。 我们可以直接使用此
在Docker容器上利用Scrapy-Redis框架的分布式爬虫
weixin_43242657的博客
06-15 1345
目录一、概况二、系统设计1、分布式爬虫框架2、分布式爬虫流程三、系统实现与测试1、系统开发环境2、Docker集群部署3、爬虫实现与测试总结 一、概况 这段时间在本科毕设和考研复试，所以PAT甲的题目暂缓了，会及时更新，这篇是我的毕设，欢迎大家的指导和交流！ 本项目主要是Docker容器下利用Scrapy-Redis框架实现了分布式爬虫，爬取的是豆瓣图书的信息，然后在Django下，写了一个简易的图书搜索系统，这里图书搜索系统就不展示了，网上有很多的系统模板，主要介绍的是容器下的分布式爬虫实现。本科的论文相
使用docker搭建scrapy爬虫节点
微思博客
01-23 4385
1. 在centos7上安装docker #安装docker yum install docker -y #安装docker阿里云加速器，下面的PRIVATE_ID请换成自己的docker的仓库id sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<-'EOF' { "registry-mirrors": ["htt
通过 Docker 安装、启动、关闭 Splash & 安装 scrapy-splash
宇宙有只 AGI 的博客
07-05 2661
一、安装Docker 参考Ubuntu 16.04 安装 Docker 二、启动Docker service docker start 注：安装后默认启动。 三、通过 Docker安装Splash 参考Splash-安装（官方） 四、启动 Splash 1、直接启动 sudo docker run -p 8050:8050 -p 5023:5023 scrapinghub/splash 2、以守护进程模式启动 sudo docker run -d -p 805...
【Python】使用Docker构建scrapy自动化数据爬取环境
yhy_android的博客
05-15 753
1、scrapy 数据爬取框架 安装Anaconda环境 安装依赖库 构建项目 编写实现代码 2、scrapy-redis 分布式爬取 安装依赖 修改配置文件 多开终端模拟分布式爬取 3、编写Dockerfile # Set Base OS FROM centos:7.6.1810 # Set Creater MAINTAINER xxx <xxx@xxx.c...
scrapy-splash用法
最新发布
04-30
### Scrapy-Splash 的使用方法 Scrapy-Splash 是一个用于解决 Scrapy 无法解析由 JavaScript 动态加载的网页内容的问题的工具。通过集成 Splash 渲染服务，可以获取到经过 JavaScript 渲染后的页面源码。 #### 安装依赖 在使用 Scrapy-Splash 前，需安装必要的 Python 库以及启动 Splash 服务。以下是具体操作： 1. **安装 Scrapy 和 scrapy-splash** ```bash pip install scrapy scrapy-splash ``` 2. **启动 Splash 服务** 下载并运行 Docker 镜像以快速部署 Splash： ```bash docker run -p 8050:8050 scrapinghub/splash ``` 启动成功后，默认监听 `localhost:8050` 地址[^4]。 --- #### 示例代码 以下是一个完整的 Scrapy Spider 实现动态加载页面抓取的例子： ```python import scrapy from scrapy_splash import SplashRequest class ExampleSpider(scrapy.Spider): name = &#39;example&#39; allowed_domains = [&#39;example.com&#39;] start_urls = [&#39;http://example.com&#39;] def start_requests(self): for url in self.start_urls: yield SplashRequest( url=url, callback=self.parse, args={ &#39;wait&#39;: 2, # 设置等待时间，确保 JS 加载完成 &#39;timeout&#39;: 30, # 超时设置 }, endpoint=&#39;render.html&#39; # 默认渲染 HTML 页面 ) def parse(self, response): title = response.css(&#39;title::text&#39;).get() body_text = response.xpath(&#39;//body/text()&#39;).extract() yield { &#39;title&#39;: title, &#39;content&#39;: &#39;&#39;.join(body_text).strip(), } ``` 在此示例中，`SplashRequest` 替代了普通的 `scrapy.Request` 请求对象，并传递额外参数给 Splash 服务，例如 `&#39;wait&#39;` 表示等待时间为 2 秒，允许页面上的 JavaScript 执行完毕后再提取数据[^2]。 --- #### 关键配置项说明 - **endpoint**: 指定 Splash 提供的服务端点，常用的有 `render.html`, `execute`(执行 Lua 脚本)[^4]。 - **args**: 自定义请求参数，常见的选项包括： - `wait`: 等待时间（秒），让页面充分加载。 - `lua_source`: 如果需要自定义逻辑，可以通过此字段传入 Lua 脚本。 - `timeout`: 单位为秒的最大超时时间。 - **splash_url**: 若未指定默认连接本地 Splash 服务 (`http://localhost:8050`)。 --- #### 中间件启用 为了使 Scrapy 支持 Splash，请修改项目的 `settings.py` 文件如下： ```python DOWNLOADER_MIDDLEWARES = { &#39;scrapy_splash.SplashCookiesMiddleware&#39;: 723, &#39;scrapy_splash.SplashMiddleware&#39;: 725, &#39;scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware&#39;: 810, } SPIDER_MIDDLEWARES = { &#39;scrapy_splash.SplashDeduplicateArgsMiddleware&#39;: 100, } DUPEFILTER_CLASS = &#39;scrapy_splash.SplashAwareDupeFilter&#39; # 可选：如果需要缓存响应 HTTPCACHE_STORAGE = &#39;scrapy_splash.SplashAwareFSCacheStorage&#39; ``` 以上配置启用了 Scrapy-Splash 的去重过滤器和 HTTP 缓存功能[^1]。 --- ### 注意事项 1. **性能优化** Splash 对于大规模爬虫可能成为瓶颈，建议合理调整并发数或增加多个 Splash 实例分担压力[^3]。 2. **资源消耗** Splash 运行时会占用较多内存和 CPU，因此生产环境应考虑硬件条件适当扩展容器实例数量。 3. **错误处理** 在实际应用中可能会遇到网络异常等问题，务必加入 robust error handling 来增强稳定性。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值