数仓工具—hive源码之源码环境搭建(1)

最新推荐文章于 2024-07-08 00:02:39 发布
最新推荐文章于 2024-07-08 00:02:39 发布
阅读量6.1w 收藏 3
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Hive 实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/king14bhhb/article/details/118425389
本文介绍了Hive源码环境的搭建，包括模块预览、架构入门和快速调试步骤。讲解了Hive的模块组成，如serde、MetaStore、ql等，并提到了HiveSQL的编译和优化过程。此外，文章还详细说明了如何在IDEA中进行Hive源码的本地和远程调试，解决依赖问题和配置调试环境。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

源码环境的搭建

模块预览

从今天起我们开始学习Hive 源码系列，所以今天我们先搭建源码环境 ，开始之前学习一下 Hive的架构设计和 Hive的编译安装，开始之前我们还是先clone 源码然后打包。

image-20210702000115178

如果出现Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde 可以尝试手动安装

mvn install:install-file -DgroupId=org.pentaho -DartifactId=pentaho-aggdesigner-algorithm -Dversion=5.1.5-jhyde -Dpackaging=jar -Dfile=/Users/gemii/Downloads/pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar

整个hive 的模块还是很多的，后面我们一一介绍<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
数仓工具—Hive执行引擎(18)
12-27 5万+
Hive 支持MapReduce、Tez、Spark 等计算引擎，今天我们就来尝试使用一些这些引擎
一整套电商数仓的搭建源码+项目说明(包括数据采集平台的搭建).zip
03-17
【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为参考资料学习借鉴。 3、本资源作为“参考资料”如果需要实现其他功能，需要能看懂代码，并且热爱钻研，自行调试。 一整套电商数仓的搭建源码+项目说明(包括数据采集平台的搭建，将用户的行为数据分为四层分别分层搭建，并实现业务数据库的分层搭建，针对数据仓库中的数据进行，留存、转化率、复购率、GMV、活跃等报表分析，采用Apache版本的框架实现).zip
【实时数仓】动态分流的实现源码（反序列化器、配置表、广播流、业务流）
weixin_43923463的博客
12-15 884
动态分流整体思路：使用FLinkCDC API方式获取到的内容如下 自动定义反序列化器，实现将以上信息转化为JSON格式的字符串，包换的属性包括：数据库名称，表名，操作类型，影响的数据内容。以上内容中有价值的信息如下： （2）代码实现 2 从配置表中读取数据 （1）自定义CDC采集的反序列化器 将CDC格式数据转换为json字符串 （2）使用FlinkCDC读取配置表数据 程序中目前存在两条流：Flink广播状态。为了让每一个并行度上处理业务数据的时候，都能使用配置流的数据，需要将配置流广播下去 4 完
Spark离线数仓Flink实时数仓项目源码+部署资料.rar
03-10
实时数仓分层: 计算框架:Flink;存储框架:消息队列(可以实时读取&可以实时写入) ODS:Kafka 使用场景:每过来一条数据,读取到并加工处理 DIM:HBase 使用场景:事实表会根据主键获取一行维表数据(1.永久存储、2.根据主键查询) Kafka:不能长期存储，有一些比较重要的用户信息需要长期存储的做不到,并且不提供根据主键的查询 × HBase:海量数据永久存储,根据主键快速查询 √ Redis:用户表数据量大,内存数据库 × ClickHouse:并发不行,列存 × ES:默认给所有字段创建索引 × Hive(HDFS):效率低下 × Mysql本身:压力太大,实在要用就使用从库 √ DWD:Kafka 使用场景:每过来一条数据,读取到并分组累加处理 DWS:ClickHouse 使用场景
【实时数仓】实现用户行为日志相关功能（源码）
weixin_43923463的博客
12-13 536
保存每个mid的首次访问日期，每条进入该算子的访问记录，都会把mid对应的首次访问时间读取出来，跟当前日期进行比较，只有首次访问时间不为空，且首次访问时间早于当日的，则认为该访客是老访客，否则是新访客。同时如果是新访客且没有访问记录的话，会写入首次访问时间。is_new为0不用修复，已经访问过，状态是正确的；为1时才会出现状态不准确的情况。日志格式如下： （2）利用侧输出流实现数据拆分 根据日志数据内容,将日志数据分为3类，页面日志、启动日志和曝光日志。页面日志输出到主流,启动日志输出到启动侧输出流，曝光日
vertx源码_实时数仓 | Flink实时维表join方法总结（附项目源码）
weixin_33660045的博客
01-03 272
分享嘉宾：中国好胖子编辑整理：柠檬妹出品平台：数据仓库与Python大数据目录1、ETL背景2、解决方案2.1 直接查库定时更新2.2 异步IO2.3 Broadcast的方式2.4 异步io结合Cache3、完整源码正文Tips：推荐收藏，PC端观看效果更佳哦1、ETL背景在我们实时数仓日常工作中，经常会有一些实时的需求，这些需求往往都是一些拉宽的需求。为了给实时数仓来进行OLAP对来...
【电商数仓】修改压缩编码、hive环境部署、yarn配置、idea开发环境搭建、准备数据
weixin_43923463的博客
09-29 932
Hive引擎包括：默认MR、tez、sparktez：MR的改进版，将MR静态的计算方法改成DAG有向图的计算，MR每进行一次MR都会落一次盘，然后再执行一次MR，DAG有向图则可以进行map、map、map、reduce、reduce…方式的计算，tez可以看做是弱化版的spark。Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。
数仓Hive和分布式计算引擎Spark多整合方式实战和调优方向
「 虚幻私塾」
09-13 311
Hive on Spark：在这种模式下，数据是以table的形式存储在hive中的，用户处理和分析数据，使用的是hive语法规范的 hql (hive sql)。但这些hql，在用户提交执行时（一般是提交给hiveserver2服务去执行），底层会经过hive的解析优化编译，最后以spark作业的形式来运行。hive在spark 因其快速高效占领大量市场后通过改造自身代码支持spark作为其底层计算引擎。这种方式是Hive主动拥抱Spark做了对应开发支持，一般是依赖Spark的版本发布后实现。
[数仓]三、离线数仓（Hive数仓系统）
weixin_44428807的博客
07-08 1432
Hive引擎包括：默认MR、tez、sparkHive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。Spark on Hive: Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。
笔记源码资料-阿里云数仓实时.zip
07-05
1）学习搭建一个实时数据仓库的过程，理解数据在整个数仓架构的从采集、存储、计算、 输出、展示的整个业务流程。 2）整个实时数仓体系完全搭建在阿里云架构上，理解并学会运用各个服务组件，了解各个 组件之间如何配合联动。 1）实时采集埋点日志数据 2）实时采集业务数据库中数据 3）对数据清洗和处理 4）保存数据到数据库 5）对结果进行可视化展示
数据仓库
02-26
项目设置 安装 克隆存储库： git clone git@github.com:mosiichuk/data-warehouse.git 安装项目所需的依赖项。 npm install 要在文件夹的根目录中开始开发，请运行命令： npm start 它将运行本地开发服务器，所有更改将立即反映在浏览器中。
pentaho-aggdesigner-algorithm-5.1.5-jhyde.tar
06-09
解决 Cannot resolve org.pentaho:pentaho-aggdesigner-algorithm:5.1.5-jhyde jar放入D根目录执行: 以下命令加入本地maven库 mvn install:install-file -DgroupId=org.pentaho -DartifactId=pentaho-aggdesigner-algorithm -Dversion=5.1.5-jhyde -Dpackaging=jar -Dfile=D:/pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar
pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar
06-06
pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar
数仓工具—Hive源码之SQL解析AntlrWorks的使用(10)
09-30 4万+
AntlrWorks 就是Antlr的一个idea ，提供了开发(editor)，测试(interpreter)，调试(debugger)，以及代码生成的功能，其中调试是idea 的Antlr插件不具备的。到今天我们的工具就介绍完了，后面我们就可以专心的学习Antlr以及SQL解析了。
数仓工具—Hive源码之CliDriver(3)
热门推荐
07-02 6万+
CliDriver 上一节我们介绍了cli ，这一节我们就看一下这个cli 对应的Java 代码CliDriver整体的代码结构如下 main 入口 public static void main(String[] args) throws Exception { int ret = new CliDriver().run(args); System.exit(ret); } 首先是new 一个CliDriver 对象然后调用了它的run 方法，这是不是和我们前面说的 hive
数仓工具—Hive源码之SQL 解析(6)
08-24 4万+
从上述整个SQL编译的过程，可以看出编译过程的设计有几个优点值得学习和借鉴使用Antlr开源软件定义语法规则，大大简化了词法和语法的编译解析过程，仅仅需要维护一份语法文件即可。整体思路很清晰，分阶段的设计使整个编译过程代码容易维护，使得后续各种优化器方便的以可插拔的方式开关，譬如Hive 0.13最新的特性Vectorization和对Tez引擎的支持都是可插拔的。每个Operator只完成单一的功能，简化了整个MapReduce程序。
Spark实时数仓(一)
m0_52210776的博客
07-11 2120
pom.xml 2.创建子模块(gmall-common) 一.pom.xml 二.MyConstants.java 3.创建子模块(gmall-logger) 将gmall-common模块pom.xml中的以下配置复制到gmall-logger模块的pom.xml spark-gmall的pom.xml添加以下内容 gmall-logger.xml application.properties 整合log4j(log4j.properties) 编写contro
hudi学习路线
最新发布
03-11
首先，我应该先回顾用户提供的引用内容，特别是引用[2]和引用[4]，因为用户提到了Hudi是三大开源数据湖方案之一，并且数仓开发的核心技能需要扎实掌握。用户可能已经有一定的大数据基础，但需要系统的学习路线。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值