大数据
文章平均质量分 69
HeXDev
传道授业解惑也,不解,则过之。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【CDH × Docker】一次测试部署,N 次复用的环境镜像方案
📦 CDH集群Docker镜像打包实践 本文记录了将测试环境中的CDH集群打包成Docker镜像的全过程。通过docker commit命令,作者成功将运行中的Cloudera Manager和Worker节点容器转化为可复用镜像,并提供了镜像导出/导入方法。这一实践不仅解决了环境重建和迁移的痛点,更实现了测试成果的固化。文章包含详细的操作步骤和验证方法,最后还附赠了一键打包脚本,体现了"运维自动化从可复用开始"的核心价值,为大数据环境部署提供了高效解决方案。原创 2025-08-01 16:22:34 · 507 阅读 · 0 评论 -
【Dolphinscheduler】docker搭建dolphinscheduler集群并与安全的CDH集成
本文介绍了在CDH安全集群环境中部署Apache DolphinScheduler 3.1.9集群的详细步骤。DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度平台,具有高可靠性、简单易用、丰富场景支持和高扩展性等特点。部署环境采用3个节点,分别安装Master/Worker/API等组件。文章详细说明了Zookeeper安装、环境准备、用户配置、SSH免密登录设置、DolphinScheduler安装包部署等前置条件,并给出了dolphinscheduler_env原创 2025-07-30 17:13:45 · 1242 阅读 · 0 评论 -
【CDH】CDH环境中升级ZooKeeper的实战记录
摘要:本文记录了在CDH环境中将ZooKeeper从3.4.5-cdh6.3.2升级至3.8.1的完整流程。主要内容包括:下载ZooKeeper 3.8.1并解压;获取Cloudera兼容版jar包并分发至各节点;替换CDH默认的ZooKeeper库文件;复制新版依赖库;最后建议重启服务并验证兼容性。该方案解决了DolphinScheduler 3.1.9因ZooKeeper版本过低导致的安装问题,同时提供了备份回退机制。(149字)原创 2025-07-29 15:51:17 · 549 阅读 · 0 评论 -
mac arm芯片 hive执行sql报错[FAILED_TO_LOAD_NATIVE_LIBRARY] no native library is found for os.name=Mac and
github下载源码 打包为jar 并添加到hive/lib 解决问题。原创 2024-08-19 16:23:12 · 766 阅读 · 0 评论 -
sqoop 报Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR解决方法
将hive 里面的lib下的hive-exec-**.jar 放到sqoop 的lib 下可以解决以下问题。原创 2024-07-10 15:39:00 · 407 阅读 · 0 评论
分享