hadoop
关注
分享
扫一扫
文章平均质量分 79
大数据之家
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop 3.X 分布式HA集成Kerbos(保姆级教程）
前提：先安装Kerbos。原创 2024-06-30 00:41:44 · 1579 阅读 · 1 评论 -
hadoop3升级问题error safe-stable-stringify@2.3.1: The engine “node“ is incompatible with this module. Ex
mvn 编译报错：[INFO] Running 'yarn ' in /home/hadoop/hadoop-3.3.1-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-applications/hadoop-yarn-applications-catalog/hadoop-yarn-applications-catalog-webapp/target[DEBUG] Executing command line [/home/hadoop/hadoop-原创 2022-02-10 20:09:40 · 920 阅读 · 0 评论 -
Spark SQL: Relational Data Processing in Spark(SparkSQL原理解密，希望对大家有所帮助)
Spark SQL: Relational Data Processing in SparkMichael Armbrusty, Reynold S. Xiny, Cheng Liany, Yin Huaiy, Davies Liuy, Joseph K. Bra...原创 2018-12-28 21:47:48 · 2694 阅读 · 0 评论 -
Hive on Spark安装部署(hive1.1,spark1.5,cdh版本)
环境：Hadoop:Hadoop 2.5.0-cdh5.2.0Spark:spark-1.5.0-cdh5.5.1Hive:hive-1.1.0-cdh5.5.0低版本的hive升级到2.x可以甚至3.x也可以大幅度提升hive的性能，不过由于生产环境的数据量比较大，风险比较高，作为提速的备份方案，Spark官方已经不提供1.5的版本了，稳定版本可以看下1.6，后面我再进行相关测试...原创 2019-01-18 14:59:36 · 680 阅读 · 0 评论 -
Hive on spark日志打印问题总结（任务执行进度的透明化）
一：问题hive on spark中，当切到spark计算引擎的时候发现打印的日志不全，默认的日志只到下图就结束了 对比之前mapreduce的日志我们可以很容易的发现MR日志有很详细的进度，用户可以通过查看这个map和reduce的进度来查看任务的执行情况，但是spark我们怎么办呢？二：分析通过在hiveserver端查看MR这些日志打印的行，都是SessionSt...原创 2019-01-22 16:09:19 · 2419 阅读 · 0 评论