惜鸟的博客

一. 概述最近有一个爬虫相关的需求，需要使用 scrapy 框架来爬取数据，所以学习了一下这个非常强大的爬虫框架，这里将自己的学习过程记录下来，希望对有同样需求的小伙伴提供一些帮助。本文主要从下面几个方面进行介绍：我的学习过程需求分析搭建项目编写代码实现需求部署爬虫项目到 SpiderKeeper二. 我的学习过程学习一个新的技术，首先就是去阅读它的官方文档，因为官方文档写的是比较全面的而且权威。scrapy 官方文档地址： https://docs.scrapy.org/en/l

一. 问题描述有一些特殊网页，需要模拟点击并且有时候需要拖动滚动条才能显示完整的内容，举一个例子，比如人民日报客户端的网页，如下图所示：需要点击阅读全文才能显示完整的内容，并且网页的图片需要拖动滚动条到图片的位置才能显示图片内容，如果需要获取这种网页的内容，我们可以使用 python + selenium 模拟浏览器的行为来获取。二. 解决方法关于 selenium 的安装与使用可以查看这篇文章：https://juejin.cn/post/69969733913285755251. 使用

外观往往和事物的本身完全不符，世人都容易为表面的装饰所欺骗。—— 莎士比亚 《威尼斯商人》一. 概述上一篇文章 【爬虫】python+selenium+firefox使用与部署详解 介绍了 selenium 传统方式部署与使用，需要安装浏览器、安装浏览器对应的驱动等，对于我来说配置还是比较繁琐，有没有没有简单的配置方式呢？有，那就是使用 docker 来部署，接下来将介绍如何使用 docker 部署 python + selenium + firefox-headless。二. docker 安装.