惜鸟的博客

目录标题一、概述二、Spark Streaming 整合kafka步骤1、引入依赖2、创建 Direct Stream1、LocationStrategies 位置策略说明2、ConsumerStrategies 消费者策略说明3、存储偏移量一、概述此文内容主要来自于官方文档，并且使用spark streaming 消费kafka的数据进行实时计算，经过自己测试实验进行一个总结。spark 版本：2.4.0kafka 版本：0.10scala版本：2.11Kafka 0.10的Spark Str

一、问题描述提交spark程序到cdh集群，发现标准输出的日志出现中文乱码的问题，如下图所示：二、解决方法1、在sparkConf中设置如下参数：val sparkConf = new SparkConf() .setAppName(this.getClass.getName) .set("spark.executor.extraJavaOptions", "-Dfile.encoding=UTF-8") .set("spark.driver.extraJavaOptions"

目录一、概述二、CDH集群安装步骤1、基础配置，所有机器都需要执行2、所有节点安装JDK3、在dev-cdh1上面安装mysql4、安装Cloudera Manager5、 在dev-cdh1下载CDH的parcel包6、启动cm的sever和agent，开始安装cdh集群三、测试CM集群安装的组件一、概述最近安装了cdh6.3，网上也有各种安装教程，写的很详细，我也参考了下面的文档进行安装部署，主要的安装流程是参考官网进行操作的，如果英文较好的话可以参考官方文档。在这里将我自己的部署流程记录下来，并且