关于Hadoop，hive，spark的理解

已于 2022-02-18 15:13:26 修改
阅读量701 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 数据仓库
于 2022-02-18 15:03:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iridescentc/article/details/123003873
这篇博客介绍了Hadoop作为分布式系统基础架构，Hive作为基于Hadoop的数据仓库工具，提供类似SQL的查询语言HiveQL来处理HDFS上的数据。同时提到了Spark作为强大的计算引擎，用于加速数据处理和分析。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.hadoop
分布式系统基础架构
2.hive
Hive是基于Hadoop的数据仓库工具，可以对存储在HDFS上的文件数据集进行查询和分析处理。Hive对外提供了类似于SQL语言的查询语言 HiveQL，在做查询时将HQL语句转换成MapReduce任务，在Hadoop层进行执行
3.spark
计算引擎

iridescentc
关注
Hadoop生态简介，Hive、Spark、HBase等
随便写写，随便写写
05-16 9621
Hadoop生态全景介绍，Spark、Hive、HBase等
Hadoop+Spark+Hive
wwkandmxl的博客
12-31 3018
Hadoop+spark+hive的知识整理
大数据技术全景解析：Spark、Hadoop、Hive与SQL的协作与实战
a6181816的博客
05-07 3194
• MapReduce（计算框架）：笨拙但可靠的搬运工，通过“分箱-搬运-汇总”完成批量任务（如统计年度销售额）。• HDFS（分布式存储）：像一个无限扩展的仓库，能容纳PB级数据（如10年电商订单原始日志）。• 服务层：Presto/Trino（交互式查询）+ MySQL（结果集服务）。• 存储层：HDFS（低成本PB级存储）+ 对象存储（如AWS S3）。• 冷数据存储：存储历史日志、备份数据（如法律要求的10年交易记录）。• 数据仓库：将杂乱数据整理成带标签的表格（如“用户表”“订单表”）。
Hadoop，hive，spark分别都是什么
qq_37395293的博客
02-22 4767
Hadoop，hive，spark在大数据生态圈的位置 如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？ 这篇文章写的通俗易懂，很适合对Hadoop形成一个初步的认识 1、Hadoop 缘起： 谷歌的三篇论文：GFS（大数据的存储），MapReduce（数据分析），BigTable（存储非结构化数据） 结构化数据：是高度组织和整齐格式化的数据。它是可以放入表格和电子表格中的数据类型，存储与关系型数据库中 关系型数据库：表名，字段，比如Mysql（SQL是一种用于操
Hadoop、Spark和 Hive 的详细关系
wdwwx的博客
06-29 1323
Hadoop 提供了分布式存储和资源管理的基础。Spark 提供了高效的内存计算和丰富的数据处理 API。Hive 提供了类 SQL 的接口，简化了数据查询和分析。这三种技术的结合使得组织能够存储、处理和分析海量数据，满足各种大数据应用场景的需求。
2021-09-09 Hadoop Hive Spark概览
强化学习曾小健
09-09 429
hadoop 首先当然是hadoop，不过hadoop不是一门技术，而是一个大数据框架。它的logo是一只黄色的小象，据说是这个项目的创建者用女儿的玩具命名的。 经过了很多年的发展，现在hadoop框架已经非常成熟，衍生出了一个庞大的家族。有多庞大呢，我在google里给大家找了一张图，大家可以看看感受一下，这里面有多少是自己知道的，有多少没听说过。 当然对于算法工程师来说，hadoop家族并不需要全部了解，只需要着重关注几个就可以了。 hdfs 首先是hdfs，hdfs是hadoop框架
大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK......
05-08
大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK.......
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
在大数据领域，构建一个完整的生态系统是至关重要的，其中包括多个组件，如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作，提供了数据存储、处理、调度、流...
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
在构建大数据处理环境时，Hadoop、HBase、Spark和Hive是四个核心组件，它们协同工作以实现高效的数据存储、处理和分析。本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**：Hadoop是Apache...
Java架构师之路七、大数据：Hadoop、Spark、Hive、HBase、Kafka等
shenzhiyoushen的博客
02-22 4086
Hive提供了一种类SQL语言，称为HiveQL，以便将结构化数据映射到Hadoop分布式文件系统中的表中，并提供了数据查询、转换和分析的功能。由于其分布式、高可靠性和高性能的特点，HBase在大数据领域得到了广泛的应用。：Spark提供了丰富的API，支持多种编程语言（如Scala、Java、Python、R等），并提供了交互式的Shell，使得用户可以方便地进行数据处理和分析。此外，Hadoop还有一些其他的相关组件，如Hive、Pig、HBase等，用于支持数据查询、数据清洗和实时数据处理等任务。
Hadoop+Hbase+Spark+Hive搭建
08-12
全套的Hadoop+Hbase+Spark+Hive搭建指导手册
hadoop-hive-spark-docker:基本的Docker映像仅包含基本要素
05-24
大数据游乐场：Hadoop + Hive + Spark 基本的Docker映像仅具有基本要素：Hadoop，Hive和Spark。 软件 完全分布式（多节点）模式下的 将HiveServer2暴露给主机的 。 YARN模式下的 （Spark Scala，PySpark和SparkR） 用法 看看，看看我如何将其用作Docker Compose集群的一部分。 Hive JDBC端口向主机公开： URI： jdbc:hive2://localhost:10000 驱动程序： org.apache.hive.jdbc.HiveDriver （org.apache.hive：hive-jdbc：3.1.2） 用户名和密码：未使用。 版本兼容性说明 由于Guava版本不匹配，Hadoop 3.2.1和Hive 3.1.2不兼容（Hadoop：Guava 27.0，Hive：Guava
Hadoop、Hive、Spark是什么关系
机器学习，深度学习
09-17 2279
Hadoop、Hive、Spark是什么关系
Hadoop、Hive、Spark的关系
qq_43710593的博客
03-06 1211
MapReduce on Hadoop 和spark都是数据计算框架，一般认为spark的速度比MR快2-3倍。HIve中有metastore存储结构化信息，还有执行引擎将sql翻译成mapreduce，再把结果。
Hadoop、Hive、Spark的简单认识和总结
哈哈哈哈哈哈哈
12-14 5837
前言 在大数据相关的工作和开发中，最常见的就是Hadoop、Hive、Spark这三个框架了，关乎大批量的数据处理，这三个是不二之选。刚开始的时候一直没搞清楚这三者之间的关系，后来随着在工作中的了解和学习，才逐渐弄清楚这三个之间的联系和区别。 Hadoop 首先是Hadoop。Hadoop可以说是大数据处理的基石，其他框架大多数都是以Hadoop为基础，从各个方面的不同角度进行优化和改进而演变而来...
大数据 | Hadoop Hive Spark简介
RUC_Lee的博客
05-23 2478
待补充
Hadoop、Hive、Spark的区别
最新发布
2501_91107759的博客
07-05 696
大数据生态工具对比摘要： Hadoop、Hive和Spark是三种互补的大数据处理工具，各有侧重。Hadoop作为基础平台，提供分布式存储(HDFS)和计算框架(MapReduce)，适合海量数据存储和离线批处理。Hive是基于Hadoop的数据仓库工具，通过类SQL语言(HQL)简化离线分析，适用于结构化数据报表和查询。Spark则是通用内存计算引擎，支持批处理、流处理、机器学习等场景，性能比Hive快10-100倍。三者定位不同：Hadoop是基础设施，Hive是上层分析工具，Spark是高性能计算引擎
利用Hadoop处理离线数据：Hive和Spark离线数据处理实现
AI天才研究院
07-10 2367
作者：禅与计算机程序设计艺术 利用Hadoop处理离线数据：Hive和Spark离线数据处理实现 引言 随着大数据时代的到来，越来越多的
大数据技术生态中，Hadoop、Hive、Spark是什么关系？
m0_66455887的博客
07-18 315
以上介绍的只是大数据生态中的一小部分技术，还有更多新的技术等待读者去发掘。在解决问题的过程中，我们常常习惯于深入挖掘问题并寻找更好的解决方案，但往往忽略了问题产生的原因。一个好的问题定义比一个积极的解决方案更重要。
hadoop hive spark
07-28
Hadoop是一个分布式计算框架，主要包括分布式存储框架（HDFS）和分布式计算框架（MapReduce）\[1\]。Hive是基于Hadoop的数据仓库基础设施，它提供了类似于SQL的查询语言HiveQL，使用户可以使用类似于关系型数据库的方式来查询和分析大数据\[2\]。Spark是基于内存计算的大数据并行计算框架，它提供了比Hadoop更快速和更灵活的数据处理能力\[3\]。Spark可以与Hadoop集成，通过Hadoop的分布式存储框架HDFS来读取和存储数据，同时也可以使用Hadoop的资源管理器YARN来管理Spark的计算任务\[2\]。因此，Hadoop、Hive和Spark都是大数据处理中常用的工具和框架，它们可以相互配合使用来进行大规模数据的存储、查询和分析。 #### 引用[.reference_title] - *1* *3* [Hadoop，Hive和Spark大数据框架的联系和区别](https://blog.youkuaiyun.com/weixin_42327752/article/details/117851198)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Hadoop、Hive和Spark的具体介绍，它们之间主要有什么关系？](https://blog.youkuaiyun.com/duozhishidai/article/details/86651526)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值