既然有了elasticsearch为什么还要用hadoop和spark呢？good question

最新推荐文章于 2025-06-04 01:13:02 发布
最新推荐文章于 2025-06-04 01:13:02 发布
阅读量1.2w 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop spark es 文章标签： hadoop spark elasticsearch 工作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/stark_summer/article/details/49636767
本文探讨了在工作之余，如何有效利用时间学习Elasticsearch与机器学习技术，并对比了使用Hadoop与Spark的原因。阐述了Elasticsearch在elasticsearch-hadoop中的角色，数据源与执行引擎的关系，以及elasticsearch-hdfs已停止更新的事实，提醒开发者避免将index写入HDFS。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近更多的时间投入到工作，而其余时间在学习elasticsearch & 机器学习
看到这篇文章，感觉有收获~
https://www.quora.com/Why-do-people-use-Hadoop-or-Spark-when-there-is-ElasticSearch

elasticsearch-hadoop中elasticsearch是数据源，hadoop作为执行引擎，也就是说数据存储其实还是由elasticsearch来掌管与hdfs无关，另外elasticsearch-hdfs已经停止更新，所以就不要再去尝试将elasticsearch中的index写到HDFS这档子事了。

elasticsearch+hadoop项目
贪玩的小猫的博客
03-20 5649
系统核心架构设计 1、数据首先存入HDFS,可以通过Spark SQL直接导入到ES中， HDFS中的数据量与ES中数据量大致相当。2、Spark SQL可以直接通过建立Dataframe或者临时表连接ES，达到搜寻优化、减少数据量和筛选的目的，此时数据只在ES内存中而不在Spark SQL中。3、筛选后的数据重新导入到Spark SQL中进行查询。（整体流程代码见附录） 一、数据流程1、数据在H...
ElasticSearch全文检索-从零到入门
qq_20068025的博客
01-09 2796
ElasticSearch全文检索从零到入门。 本文有从零基础到做出一个像模像样的全文检索功能所需的全部知识点，包括：全文检索的概念、倒排索引、分析与分词器、相关性、相关度算分、BM25、算分公式、ik分词器、ES内置分词器、控制相关度等。
elasticsearch与hadoop比较
01-15
拥有强大的搜索和统计功能，Elasticsearch已经越来越流行。但是如果用它来做复杂的数据分析工具，它能打败hadoop或spark吗？
Hadoop 安装与搭建全流程教学【全网最全超详细保姆级教学】
最新发布
m0_64440031的博客
06-04 4361
本文是面向零基础读者的 Hadoop 3 节点集群保姆级安装教程，详细讲解基于 CentOS 7 系统从虚拟机创建、静态 IP 配置、JDK 与 Hadoop 安装，到 SSH 互信搭建、集群配置文件编写、数据目录创建及集群启动验证的全流程，强调创建 hadoop 专用账户的安全实践，涵盖防火墙设置、常见问题排查等细节，助力读者快速掌握 Hadoop 集群搭建，为大数据开发奠定基础。
开源的实时计算平台storm简介
hewei0241的专栏
10-13 1488
场景 伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜子，今天想买一副
Elasticsearch集成Hadoop最佳实践
02-03
扫描完整版带书签 Elasticsearch集成Hadoop最佳实践 Elasticsearch集成Hadoop最佳实践
Elastic Search、Hadoop、Spark、ODPS、Apache Druid
haoranhaoshi的博客
07-28 978
Elastic Search使用倒排索引搜索。倒排索引就是反向索引。 倒排索引不以记录ID为索引，而是以其它记录字段为索引。所有字段内容分词，存储词条对应的记录ID和字段。 https://www.cnblogs.com/cjsblog/p/10327673.html https://www.elastic.co/guide/cn/elasticsearch/guide/current/inverted-index.html ...
基于spark的Scala编程—RDD、DataFrame和DataSet的区别
心相印的专栏
11-20 839
本文主要介绍RDD、DataFrame和DataSet这三者到底有什么区别，主要介绍以下几个方面： 分别出现在spark的哪些版本？ 各自的优缺点是什么？ 应该如何选择使用哪个类别？ 分别出现在spark的哪些版本？ RDD是spark一开始就提出的概念，DataFrame是spark1.3.0版本提出来的，spark1.6.0版本又引入了DateSet的，但是在spark2.0版本中，Dat...
spark日志分析（二）—— 某答题系统日志
我玩的很开心的博客
10-20 948
spark分析某答题系统日志一、数据描述二、数据下载三、需求1. 数据准备2. 在Spark-Shell 中，加载HDFS 文件系统answer_question.log 文件，并使用RDD 完成以下分析，也可使用Spark 的其他方法完成数据分析3. 创建HBase 数据表4. 创建Hive数据表5. 使用ex_exam_record表中的数据统计每个学员总分、答题的试题数和正确率，并保存到ex_exam_anlysis 表中，其中正确率的计算方法如下：正确率=总分/答题的试题数6. 使用ex_exam_
手把手CentOS搭建Apache Hadoop 包含各种组件 非常干货
Ennis_Tongji的博客
08-12 2138
一、CentOS安装 1.1 用Hyper-V安装CentOS7 CentOS镜像：CentOS-7-x86_64-DVD-2009 下载地址：http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AmkIeAUV-1628732364992)(/Users/neon/Library/Application Support/typora-user-images/image-2
电影推荐系统搭建记录
qq_43785087的博客
03-10 419
环境配置 虚拟机：vmware15.5 + rhel-server-7.5-x86_64-dvd.iso 6G内存、4核 为了性能更好，处理器勾选虚拟化
elasticsearch-hadoop-2.4.0.zip
02-20
兼容hadoop的elasticsearch，对应hadoop版本为2.4.0
elasticsearch 与hadoop 相关的jar
04-01
包含 elasticsearch-hadoop-6.6.1.jar elasticsearch-hadoop-hive-6.6.1.jar elasticsearch-spark-20_2.11-6.6.1.jar elasticsearch-storm-6.6.1.jar 等
elasticsearch-hadoop-5.6.7
02-05
elasticsearch-hadoop是一个深度集成Hadoop和ElasticSearch的项目，也是ES官方来维护的一个子项目，通过实现Hadoop和ES之间的输入输出，可以在Hadoop里面对ES集群的数据进行读取和写入，充分发挥Map-Reduce并行处理的优势，为Hadoop数据带来实时搜索的可能。
Spark整合Elastic
徐雄辉笔记
11-26 269
通过elasticsearch-hadoop可以将spark 处理后的数据保存在Elastic上，后续数据的检查和查询非常方便。 https://db-blog.web.cern.ch/blog/prasanth-kothuri/2016-05-integrating-hadoop-and-elasticsearch-%E2%80%93-part-2-%E2%80%93-writing-and...
通过ES-Hadoop实现Hive读写Elasticsearch数据
Cloud Tech的博客
09-30 2274
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。本文介绍如何通过ES-Hadoop实现Hadoop的Hive服务读写Elasticsearch数据。 Hadoop生态的优势是处理大规模数据集，但是其缺点也很明显，就是当用于交互式分析时，查询时延会比较长。而Ela
Elasticsearch for Hadoop 使用教程
gitblog_00217的博客
08-25 969
Elasticsearch for Hadoop 使用教程 项目介绍 Elasticsearch for Hadoop（ES-Hadoop）是一个开源的独立小库，它允许Hadoop作业（无论是使用Map/Reduce还是基于它的库，如Hive或新兴的库如Apache Spark）与Elasticsearch进行交互。可以将其视为一个连接器，允许数据双向流动，从而使应用程序能够透明地利用Elasti...
Elasticsearch与Hadoop和Spark的整合与大数据处理
AI天才研究院
01-21 1173
1.背景介绍 1. 背景介绍 Elasticsearch是一个开源的搜索和分析引擎，基于Lucene库构建，具有实时搜索、文本分析、数据聚合等功能。Hadoop是一个开源的分布式存储和分析平台，由Google的MapReduce算法启发，具有高可扩展性和高容错性。Spark是一个快速、高效的大数据处理引擎，基于内存计算，具有高吞吐量和低延迟。 随着大数据时代的到来，这三种技术在大数据处理领域...
Elasticsearch for Hadoop 项目教程
gitblog_01142的博客
08-25 440
Elasticsearch for Hadoop 项目教程 1. 项目的目录结构及介绍 Elasticsearch for Hadoop 项目的目录结构如下： elasticsearch-hadoop/ ├── build.sbt ├── docs/ ├── license/ ├── NOTICE ├── project/ ├── README.md ├── settings.gradle ├──...
问答数据、客户信息等能够以CSV格式保存到服务器端，支持对大量数据的一定检索和分析功能。
12-29
### 实现问答数据和客户信息的CSV存储与检索 为了实现将问答数据和客户信息以CSV格式保存到服务器端，并支持对大量数据进行高效的检索和分析，可以采用如下方案： #### 1. CSV 文件创建与写入操作 Python 提供了内置的支持来处理CSV文件。对于问答数据以及客户信息这类结构化数据来说，`csv`模块非常适合用于读取和编写这些数据。 ```python import csv def save_to_csv(data, filename='data.csv'): with open(filename, mode='w', newline='', encoding='utf-8') as file: writer = csv.writer(file) # 假设 data 是一个列表，其中每个元素都是要存入的一行记录 for row in data: writer.writerow(row) # 示例调用函数 sample_data = [ ["ID", "Question", "Answer", "Customer Info"], [1, "What is Python?", "A programming language.", "John Doe"] ] save_to_csv(sample_data) ``` 上述代码展示了如何定义一个简单的辅助函数 `save_to_csv()` 来接收待保存的数据集并将其转换成CSV文件的形式持久化至磁盘上[^1]。 #### 2. 大规模数据管理与优化策略 当面对海量数据时，仅依靠本地文件系统可能无法满足性能需求。此时应当考虑引入更强大的工具和技术栈来进行管理和加速访问速度。一种常见做法就是利用关系型数据库管理系统（RDBMS），比如MySQL，在完成初步清理之后再导入数据库中以便后续高效查询。 另外还可以结合全文搜索引擎如Elasticsearch 或者 Apache Solr 对文本内容建立索引从而实现实时搜索能力；而对于统计类任务，则可借助大数据平台Hadoop/Spark框架配合机器学习算法库scikit-learn等组件共同构建完整的解决方案体系[^2]。 #### 3. 数据预处理与清洗流程 考虑到原始采集回来的信息往往存在噪声干扰项或缺失值等问题，所以在正式入库前还需要经历一系列必要的净化过程。这通常涉及但不限于以下几个方面的工作：移除非目标属性列、填补空白单元格、统一日期时间格式等等。具体措施可以根据实际应用场景灵活调整。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值