既然有了elasticsearch为什么还要用hadoop和spark呢？good question

最新推荐文章于 2025-05-25 00:42:05 发布
最新推荐文章于 2025-05-25 00:42:05 发布
阅读量1.2w 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop spark es 文章标签： hadoop spark elasticsearch 工作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/stark_summer/article/details/49636767
本文探讨了在工作之余，如何有效利用时间学习Elasticsearch与机器学习技术，并对比了使用Hadoop与Spark的原因。阐述了Elasticsearch在elasticsearch-hadoop中的角色，数据源与执行引擎的关系，以及elasticsearch-hdfs已停止更新的事实，提醒开发者避免将index写入HDFS。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近更多的时间投入到工作，而其余时间在学习elasticsearch & 机器学习
看到这篇文章，感觉有收获~
https://www.quora.com/Why-do-people-use-Hadoop-or-Spark-when-there-is-ElasticSearch

elasticsearch-hadoop中elasticsearch是数据源，hadoop作为执行引擎，也就是说数据存储其实还是由elasticsearch来掌管与hdfs无关，另外elasticsearch-hdfs已经停止更新，所以就不要再去尝试将elasticsearch中的index写到HDFS这档子事了。

elasticsearch与hadoop比较
01-15
拥有强大的搜索和统计功能，Elasticsearch已经越来越流行。但是如果用它来做复杂的数据分析工具，它能打败hadoop或spark吗？
elasticsearch+hadoop项目
贪玩的小猫的博客
03-20 5649
系统核心架构设计 1、数据首先存入HDFS,可以通过Spark SQL直接导入到ES中， HDFS中的数据量与ES中数据量大致相当。2、Spark SQL可以直接通过建立Dataframe或者临时表连接ES，达到搜寻优化、减少数据量和筛选的目的，此时数据只在ES内存中而不在Spark SQL中。3、筛选后的数据重新导入到Spark SQL中进行查询。（整体流程代码见附录） 一、数据流程1、数据在H...
Hadoop入门学习（一）—— HDFS分布式文件系统
最新发布
weixin_44361163的博客
05-25 1229
Hadoop是一个Apache基金会所开发的分布式系统基础架构主要解决：海量数据的存储和分析计算问题Hadoop的优势：（1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。（2）高扩展性：在集群间分配任务数据，可方便的扩展数以干计的节点。（3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。（4）高容错性：能够自动将失败的任务重新分配。Hadoop的功能主要有三个：分布式存储、计算和调度。
开源的实时计算平台storm简介
hewei0241的专栏
10-13 1488
场景 伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜子，今天想买一副
Elasticsearch集成Hadoop最佳实践
02-03
扫描完整版带书签 Elasticsearch集成Hadoop最佳实践 Elasticsearch集成Hadoop最佳实践
Elastic Search、Hadoop、Spark、ODPS、Apache Druid
haoranhaoshi的博客
07-28 978
Elastic Search使用倒排索引搜索。倒排索引就是反向索引。 倒排索引不以记录ID为索引，而是以其它记录字段为索引。所有字段内容分词，存储词条对应的记录ID和字段。 https://www.cnblogs.com/cjsblog/p/10327673.html https://www.elastic.co/guide/cn/elasticsearch/guide/current/inverted-index.html ...
ElasticSearch全文检索-从零到入门
qq_20068025的博客
01-09 2793
ElasticSearch全文检索从零到入门。 本文有从零基础到做出一个像模像样的全文检索功能所需的全部知识点，包括：全文检索的概念、倒排索引、分析与分词器、相关性、相关度算分、BM25、算分公式、ik分词器、ES内置分词器、控制相关度等。
基于spark的Scala编程—RDD、DataFrame和DataSet的区别
心相印的专栏
11-20 839
本文主要介绍RDD、DataFrame和DataSet这三者到底有什么区别，主要介绍以下几个方面： 分别出现在spark的哪些版本？ 各自的优缺点是什么？ 应该如何选择使用哪个类别？ 分别出现在spark的哪些版本？ RDD是spark一开始就提出的概念，DataFrame是spark1.3.0版本提出来的，spark1.6.0版本又引入了DateSet的，但是在spark2.0版本中，Dat...
spark日志分析（二）—— 某答题系统日志
我玩的很开心的博客
10-20 946
spark分析某答题系统日志一、数据描述二、数据下载三、需求1. 数据准备2. 在Spark-Shell 中，加载HDFS 文件系统answer_question.log 文件，并使用RDD 完成以下分析，也可使用Spark 的其他方法完成数据分析3. 创建HBase 数据表4. 创建Hive数据表5. 使用ex_exam_record表中的数据统计每个学员总分、答题的试题数和正确率，并保存到ex_exam_anlysis 表中，其中正确率的计算方法如下：正确率=总分/答题的试题数6. 使用ex_exam_
手把手CentOS搭建Apache Hadoop 包含各种组件 非常干货
Ennis_Tongji的博客
08-12 2138
一、CentOS安装 1.1 用Hyper-V安装CentOS7 CentOS镜像：CentOS-7-x86_64-DVD-2009 下载地址：http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AmkIeAUV-1628732364992)(/Users/neon/Library/Application Support/typora-user-images/image-2
电影推荐系统搭建记录
qq_43785087的博客
03-10 418
环境配置 虚拟机：vmware15.5 + rhel-server-7.5-x86_64-dvd.iso 6G内存、4核 为了性能更好，处理器勾选虚拟化
Spark整合Elastic
徐雄辉笔记
11-26 269
通过elasticsearch-hadoop可以将spark 处理后的数据保存在Elastic上，后续数据的检查和查询非常方便。 https://db-blog.web.cern.ch/blog/prasanth-kothuri/2016-05-integrating-hadoop-and-elasticsearch-%E2%80%93-part-2-%E2%80%93-writing-and...
Elasticsearch与Hadoop和Spark的整合与大数据处理
AI天才研究院
01-21 1173
1.背景介绍 1. 背景介绍 Elasticsearch是一个开源的搜索和分析引擎，基于Lucene库构建，具有实时搜索、文本分析、数据聚合等功能。Hadoop是一个开源的分布式存储和分析平台，由Google的MapReduce算法启发，具有高可扩展性和高容错性。Spark是一个快速、高效的大数据处理引擎，基于内存计算，具有高吞吐量和低延迟。 随着大数据时代的到来，这三种技术在大数据处理领域...
都是大数据处理，Hadoop 生态与 Elasticsearch 生态场景到底有啥不一样
梨木乔
04-05 820
都是大数据处理，Hadoop 生态与 Elasticsearch 生态场景有啥不一样
通过ES-Hadoop实现Hive读写Elasticsearch数据
Cloud Tech的博客
09-30 2274
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。本文介绍如何通过ES-Hadoop实现Hadoop的Hive服务读写Elasticsearch数据。 Hadoop生态的优势是处理大规模数据集，但是其缺点也很明显，就是当用于交互式分析时，查询时延会比较长。而Ela
为什么要用Elasticsearch
zhangsir的博客
03-24 9841
概念 Elasticsearch 简称ES，是一个分布式全文检索引擎。 比如github的代码检索就是用了ES，百度也有用ES。 由于Lucene的api相对比较复杂，所以ES其实是对Lucene的封装简化，并且提供了一套比较简单的api文档。 es官网 使用场景 主要是海量数据检索，关键词：海量。因为只有数据量大了才能体现ES的优势。 以下是我能想到的或者是之前有遇到过的场景： 1、常用的经典组...
【Elasticsearch】Elasticsearch-Hadoop打通Elasticsearch和Hadoop
九师兄
06-10 584
https://elasticsearch.cn/article/6194
ES-Hadoop学习笔记-初识
热门推荐
PURSUE ONE PIECE
06-27 1万+
ES-Hadoop是连接快速查询和大数据分析的桥梁，它能够无间隙的在Hadoop和ElasticSearch上移动数据。ES Hadoop索引Hadoop数据到Elasticsearch，充分利用其查询速度，大量聚合能力来使它比以往更快，同时可以使用HDFS作为Elasticsearch长期存档。ES-Hadoop可以本地集成Hadoop生态系统上的很多流行组件，比如Spark、Hive、Pig、
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值