qq_18629653的博客

cm5.14中的spark版本是默认是1.6，安装2.2版本的需要手动安装 安装准备： csd包：http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.2.0.cloudera3.jarparcel包：http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera3/注意：这里cloudera3对应上边下载的jar包的3，版本要一致el5...

启动hue时Load Balancer启动失败这个问题一般都是没有安装Httpd 和 mod_ssl 这两个服务导致的添加这两个服务这里使用yum安装这两个服务执行下面的命令yum -y install httpd mod_ssl

原因是CDH采集了virbr0这张网卡的信息导致的问题通过ifconfig 可以看见有一个virbr的虚拟网卡解决办法：在该机器的配置中搜索 网络修改网络接口收集排除正则表达式

准备好一个测试文件，随便添加些内容上传到hdfs /user/spark/test启动spark-shellbin/spark-shell --master yarnval countRDD = sc.textFile("hdfs://n1:8020/user/spark/test");读取hdfs中的文件到RDD中val result = countRDD.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_...

更换存储cm元数据的MySQL的位置n1机器更换到n2由于我只安装了下边四个服务，这四个不涉及到MySQL，所以不用更改他们的配置，也不用停止这四个服务。如果所安装的集群使用到MySQL，并且需要一起迁移到新的MySQL，则需要停止这些服务并更改相应的配置。一、停止相关的所有服务我这里只停止cloudera managerserver就可以了二、备份原数据库mysqldump -uroot -p -hn1 --opt...