- 博客(2)
- 收藏
- 关注
RSS订阅原创 什么是hive？
hive（数据仓库工具） hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapRed...
2019-11-29 14:02:30
1707
原创 spark运行工作原理
本文主要分以下章节： 一、Spark专业术语定义 二、 Spark的任务提交机制 一、Spark专业术语定义 1、Application：Spark应用程序 指的是用户编写的Spark应用程序，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。 Spark应用程序，由一个或多个作业JOB组成，如下图所示: 2、Driver：驱动程序 Spark中的Driver即运行上...
2019-11-20 14:07:20
256
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人