Scrapy将数据写入Elasticsearch

最新推荐文章于 2025-07-02 10:57:05 发布

原创

最新推荐文章于 2025-07-02 10:57:05 发布 · 6.9k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#scrapy #elasticsearch

本文介绍了如何配置和使用Scrapy爬虫将数据存入Elasticsearch。首先，详细讲述了安装Elasticsearch、Elasticsearch-head、Kibana和Elasticsearch-dsl的步骤。接着，在Scrapy项目中创建models文件夹和es_type.py，定义文章类型并初始化元数据映射。然后，在pipeline.py中创建pipeline以处理和存储爬取的数据。最后，运行Scrapy爬虫，观察数据成功插入Elasticsearch。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

平生万般情思皆修善果　－－若然是错

Scrapy将数据写入到Elsaticsearch

安装Elasticsearch

这里我们安装的是elasticsearch-rtf
(elasticsearch中文发行版，针对中文集成了相关插件，方便新手学习测试。)

这里是github上的链接，可以使用git工具clone，或者直接下载zip，解压后的文件夹名称应该是elasticsearch-rtf-master，cd进去，执行bin里面的elasticsearch文件，windows用户应该是.bat文件，直接双击运行。

输出本地服务端口信息（127.0.0.1:9200）等信息，表示启动成功

这里写图片描述

安装Elasticsearch-head

elasticsearch的一个前端界面，可视化程度较高

这里是github的链接


（下载后，解压进入文件夹中）
cd elasticsearch-head
(安装cnpm,淘宝的镜像，加速执行过程)
npm install cnpm
cnpm install
cnpm run start

这里写图片描述
如图示，则启动成功，本地端口号:9100

安装kibana

Kibana 是一个开源的分析和可视化平台，旨在与 Elasticsearch 合作。Kibana 提供搜索、查看和与存储在 Elasticsearch 索引中的数据进行交互的功能。开发者或运维人员可以轻松地

最低0.47元/天解锁文章

200万优质内容无限畅学