u013429010的博客

特别声明：LZ按照教程完整的走了一遍，最终所有组件都是正常的，中间遇到很多坑，做了一些修改，本文最后会将遇到的一些坑总结到一片新文章中 windows虚拟机安装CDH cpu 16G内存 默认单核单线 DEV2 Server&&Agent 5G 默认单核单线 DEV3 Ag

严格来说不是将spark1.6升级到spark2.3，而是安装一个新的spark2.3一、JDK1.7升级到JDK1.8由于之前CDH中安装了spark1.6，为了适配，我安装jdk1.7，但是在spark2.3中jdk1.7的支持已经被移除了，所以我们第一件事需要将jdk版本升级到jdk1.81、停掉所有节点的cloudera manager/opt/cm-5.15.0/...

CDH配置文件修改：1、spark的yarn.nodemanager.resource.memory-mb和yarn.scheduler.maximum-allocation-mb配置需要在yarn中进行修改 修改yarn.scheduler.maximum-allocation-mb为2G 修改yarn.nodemanager.resource.memory-mb为2...

一 、core-site.xml<configuration> <!--指定namenode的地址--&

一、Kafka概述PUBLISH & SUBSCRIBERead and write streams of data like a messaging system.发布和订阅读取和写入数据流，类似消息传递系统。PROCESSWrite scalable stream processing applications that react to events in real-t...

前置条件jdk1.8Hadoop 2.6Zookeeper 3.4.5一、安装Zookeeper单节点zookeeper可以参考Kafka概述以及安装配置中zookeeper的安装配置以下介绍多节点的配置1)下载zookeeper我们使用的是cdh套件http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.15.0...