既然有了elasticsearch为什么还要用hadoop和spark呢？good question

最新推荐文章于 2025-10-27 20:00:00 发布
原创 最新推荐文章于 2025-10-27 20:00:00 发布 · 1.2w 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #spark #elasticsearch #工作

本文探讨了在工作之余，如何有效利用时间学习Elasticsearch与机器学习技术，并对比了使用Hadoop与Spark的原因。阐述了Elasticsearch在elasticsearch-hadoop中的角色，数据源与执行引擎的关系，以及elasticsearch-hdfs已停止更新的事实，提醒开发者避免将index写入HDFS。

最近更多的时间投入到工作，而其余时间在学习elasticsearch & 机器学习
看到这篇文章，感觉有收获~
https://www.quora.com/Why-do-people-use-Hadoop-or-Spark-when-there-is-ElasticSearch

elasticsearch-hadoop中elasticsearch是数据源，hadoop作为执行引擎，也就是说数据存储其实还是由elasticsearch来掌管与hdfs无关，另外elasticsearch-hdfs已经停止更新，所以就不要再去尝试将elasticsearch中的index写到HDFS这档子事了。

教育企业AI场景设计：架构师如何用AI提升个性化学习效果？（某机构案例）
AI天才研究院
07-24 771
个性化学习（Personalized Learning）并非一个新概念，其核心思想是根据每个学习者的兴趣、能力、学习节奏和风格，提供量身定制的学习路径、内容和反馈。然而，传统个性化学习的实现高度依赖于教师的个体经验和精力投入，难以规模化、标准化，且成本高昂。随着人工智能（AI）、大数据、云计算等技术的成熟，教育行业正经历着深刻的变革。AI技术，特别是机器学习、自然语言处理、计算机视觉等分支，为个性化学习的规模化实现提供了前所未有的技术支撑。精准洞察：深入分析学生的学习行为和结果数据，构建细致的学习者画像。
通过ES-Hadoop实现Hive读写Elasticsearch数据
Cloud Tech的博客
09-30 2305
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。本文介绍如何通过ES-Hadoop实现Hadoop的Hive服务读写Elasticsearch数据。 Hadoop生态的优势是处理大规模数据集，但是其缺点也很明显，就是当用于交互式分析时，查询时延会比较长。而Ela
elasticsearch与hadoop比较
01-15
拥有强大的搜索和统计功能，Elasticsearch已经越来越流行。但是如果用它来做复杂的数据分析工具，它能打败hadoop或spark吗？
elasticsearch+hadoop项目
贪玩的小猫的博客
03-20 5675
系统核心架构设计 1、数据首先存入HDFS,可以通过Spark SQL直接导入到ES中， HDFS中的数据量与ES中数据量大致相当。2、Spark SQL可以直接通过建立Dataframe或者临时表连接ES，达到搜寻优化、减少数据量和筛选的目的，此时数据只在ES内存中而不在Spark SQL中。3、筛选后的数据重新导入到Spark SQL中进行查询。（整体流程代码见附录） 一、数据流程1、数据在H...
基于Hadoop平台的K-Means算法优化：从单机到分布式集群的性能飞跃
最新发布
H12131213的博客
10-27 1339
摘要： 本文基于Hadoop平台对K-Means算法进行分布式优化，解决了传统单机处理大数据时面临的内存溢出、计算效率低等问题。通过HDFS存储和MapReduce并行计算框架，实现了K-Means算法的集群化改造。实验结果表明：在9节点集群上处理8.2GB数据时，相比单机性能提升71%，验证了分布式方案的有效性。研究证实Hadoop能显著提升大数据聚类的处理能力，为海量数据挖掘提供了可行方案。
Elasticsearch集成Hadoop最佳实践
02-03
扫描完整版带书签 Elasticsearch集成Hadoop最佳实践 Elasticsearch集成Hadoop最佳实践
开源的实时计算平台storm简介
hewei0241的专栏
10-13 1509
场景 伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜子，今天想买一副
Elastic Search、Hadoop、Spark、ODPS、Apache Druid
haoranhaoshi的博客
07-28 1013
Elastic Search使用倒排索引搜索。倒排索引就是反向索引。 倒排索引不以记录ID为索引，而是以其它记录字段为索引。所有字段内容分词，存储词条对应的记录ID和字段。 https://www.cnblogs.com/cjsblog/p/10327673.html https://www.elastic.co/guide/cn/elasticsearch/guide/current/inverted-index.html ...
ElasticSearch全文检索-从零到入门
qq_20068025的博客
01-09 2938
ElasticSearch全文检索从零到入门。 本文有从零基础到做出一个像模像样的全文检索功能所需的全部知识点，包括：全文检索的概念、倒排索引、分析与分词器、相关性、相关度算分、BM25、算分公式、ik分词器、ES内置分词器、控制相关度等。
基于spark的Scala编程—RDD、DataFrame和DataSet的区别
心相印的专栏
11-20 898
本文主要介绍RDD、DataFrame和DataSet这三者到底有什么区别，主要介绍以下几个方面： 分别出现在spark的哪些版本？ 各自的优缺点是什么？ 应该如何选择使用哪个类别？ 分别出现在spark的哪些版本？ RDD是spark一开始就提出的概念，DataFrame是spark1.3.0版本提出来的，spark1.6.0版本又引入了DateSet的，但是在spark2.0版本中，Dat...
spark日志分析（二）—— 某答题系统日志
我玩的很开心的博客
10-20 992
spark分析某答题系统日志一、数据描述二、数据下载三、需求1. 数据准备2. 在Spark-Shell 中，加载HDFS 文件系统answer_question.log 文件，并使用RDD 完成以下分析，也可使用Spark 的其他方法完成数据分析3. 创建HBase 数据表4. 创建Hive数据表5. 使用ex_exam_record表中的数据统计每个学员总分、答题的试题数和正确率，并保存到ex_exam_anlysis 表中，其中正确率的计算方法如下：正确率=总分/答题的试题数6. 使用ex_exam_
手把手CentOS搭建Apache Hadoop 包含各种组件 非常干货
Ennis_Tongji的博客
08-12 2231
一、CentOS安装 1.1 用Hyper-V安装CentOS7 CentOS镜像：CentOS-7-x86_64-DVD-2009 下载地址：http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AmkIeAUV-1628732364992)(/Users/neon/Library/Application Support/typora-user-images/image-2
Spark整合Elastic
徐雄辉笔记
11-26 280
通过elasticsearch-hadoop可以将spark 处理后的数据保存在Elastic上，后续数据的检查和查询非常方便。 https://db-blog.web.cern.ch/blog/prasanth-kothuri/2016-05-integrating-hadoop-and-elasticsearch-%E2%80%93-part-2-%E2%80%93-writing-and...
Elasticsearch-Hadoop 介绍
vkingnew 的技术博客
06-16 3810
概述： 实现强强联合，助力实时分析 Elasticsearch-Hadoop (ES-Hadoop) 连接器将 Hadoop 海量的数据存储和深度加工能力与 Elasticsearch 实时搜索和 分析功能进行连接。它能够让您快速深入了解大数据，并让您在 Hadoop 生态系统中更好地开展工作。 对 Hadoop 数据进行交互分析 Hadoop 是出色的批量处理系统，但是要想提供实时结果则颇...
【ES实战】ES-Hadoop之关键特性、要求、安装、核心架构
有问题的请私信或关注v【技术印记】留言
07-19 2603
ES-HADOOP 关键特性、要求、安装、架构
9、Elasticsearch7.6.1 ES与HDFS相互转存数据-ES-Hadoop
热门推荐
alanchanchn的专栏
06-30 7万+
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。本文介绍如何通过ES-Hadoop实现Hadoop的Hive服务读写Elasticsearch数据。Hadoop生态的优势是处理大规模数据集，但是其缺点也很明显，就是当用于交互式分析时，查询时延会比较长。
Elasticsearch：Hadoop 大数据集成 （Hadoop =＞ Elasticsearch）
Elastic 中国社区官方博客
10-08 3502
在本文章中，我们将学习如何使用 Elasticsearch Hadoop 处理大量数据。 对于我们的练习，我们将使用一个简单的 Apache access 日志来表示我们的 “大数据”。 我们将学习如何编写 MapReduce 作业以使用 Hadoop 摄取文件并将其索引到 Elasticsearch 中。
Elasticsearch与Hadoop整合
AI天才研究院
01-18 1361
1.背景介绍 Elasticsearch和Hadoop都是大数据处理领域中的重要技术，它们各自具有不同的优势和应用场景。Elasticsearch是一个分布式搜索和分析引擎，它可以实现快速、高效的文本搜索和数据分析。Hadoop则是一个分布式文件系统和大数据处理框架，它可以处理大量数据并进行高效的存储和计算。 随着大数据技术的不断发展，更多的企业和组织开始采用Elasticsearch和Had...
使用es-hadoop同步hive和es之间数据
weixin_72499901的博客
08-08 1870
💻近期在华为云连接es时的时候发现不能输入账号密码，后面联系华为工程师了解到，华为云默认是非安全模式，即不需要输入账号密码。解决方案，如下：前言ES-Hadoop 是 Elastic 官方推出的一个用于对接 Hadoop 生态的工具，使得用户可以使用 Mapreduce(MR)、Spark、Hive 等工具处理 ES 上的数据。众所周知，Hadoop 生态的长处是处理大规模数据集，但是其缺点也很明显，就是当用于交互式分析时，查询时延会比较长。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值