Jack_Roy的博客

【CDH CM版本5.13以下】通过Parcel对spark2版本升级无法发现服务前言现象报错报错原因新升级方案操作留档准备升级升级验证版本回退回退验证后记 前言 公司对于CDH5.10(注意这个版本)有三个物理集群（非云服务，自有机房），其中两个作为生产，一个作为测试，。生产集群目前都处于满负荷运载的状态，随着业务数据增生，计算方面的瓶颈已较为明显。 对于生产集群的性能提升团队已经想了很多办法，从jar、脚本、底层文件这些都进行了调整，虽然有效果，但还是存在不少问题。 而对于分布式计算框架+引擎的spar

【CDH6.1 spark-shell启动报错】Cluster deploy mode is not applicable to Spark shells前言报错信息：解决方案 前言 在正常的CDH6.1后台运行spark-shell进入scala交互界面报错。 报错信息： 报错信息如下： Exception in thread "main" org.apache.spark.SparkExcep...

【Centos7.6安装CDH6.1.0】手把手教你搭建CDH6.1.0登陆CDH6.1.0安装步骤跳转 登陆CDH6.1.0 访问url： http://192.168.26.11:7180/cmf/login 效果如下： 使用以下信息登录Cloudera manager: user: admin password: admin 进入欢迎界面： 安装步骤 点击继续，勾选“是的，我接受最终...

【Centos7.6安装CDH6.1.0】手把手教你搭建CDH6.1.0主节点安装本地yum仓库中的CM组件从节点安装本地yum仓库中的CM组件初始化scm数据库启动CM服务跳转 主节点安装本地yum仓库中的CM组件 root用户下，在mini1上执行： # 安装组件 yum -y install cloudera-manager-server yum -y install cloudera-ma...

【Centos7.6安装CDH6.1.0】手把手教你搭建CDH6.1.0下载依赖mysql配置安装jdbc建库、建用户、设置用户访问权限跳转 下载依赖 root用户下，创建down.sh脚本，脚本内容如下： https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载后分发至mini...

【Centos7.6安装CDH6.1.0】手把手教你搭建CDH6.1.0JDK（已安装者跳过）mysql配置安装jdbc建库、建用户、设置用户访问权限跳转 JDK（已安装者跳过） 下载linux适用版jdk https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载后分发至mini...

【Centos7.6安装CDH6.1.0】手把手教你搭建CDH6.1.0基础环境配置host域名映射关闭防火墙主节点到从节点免密登录（自动化脚本）跳转 基础环境 选用Centos7.6(关于Centos操作系统版本无硬性要求): [root@mini1 ~]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) 准备三台机器，...