Kylin安装资源下载:https://pan.baidu.com/s/1ot-vIOO64yiuGFG2GPSZEg提取码:8yau依赖环境：软件版本Apache hbase-1.1.1-bin.tar.gz1.1.1spark-2.2.0-bin-2.6.0-cdh5.14.0.tgz2.2.0-bin-cdh5.14.0apache-kylin-2.6.3-bin-hbase1x.tar.gz2.6.3集群规划：主机名IP守护进程

大家好,欢迎来到本篇博客,博主是一名刚入大数据行业的小白,利用空闲的时间来分享自己所学的知识,帮助和博主一样刚处于起步阶段的同学,水平不高,若有什么错误和纰漏之处恳请大佬不吝赐教,目前个人博客只有优快云:https://zhenyu.blog.youkuaiyun.com/,感谢大家的支持,谢谢送给大家一句话:今日事,今日毕本篇博客主要讲解:数据同步工具:Canal安装目标:安装CanalCanal重要版本更新说明环境要求小结重要版本更新说明------1.Canal 1.1.x 版本（.

SparkSpark运行模式Spark环境搭建上传 & 解压解压目录说明启动spark-shell初体验-读取HDFS文件Standalone集群模式集群角色介绍集群规划修改配置并分发通过scp 命令将配置文件分发到其他机器上集群启动和停止测试Standalone-HA高可用模式原理配置HAScp到其他节点启动zk集群启动Spark集群测试HAOn Yarn集群模式准备工作cluster模式Client模式[了解]两种模式的区别Spark参数详解spark-shellspark-submit参数总结

Redis安装Redis安装包提取方式一:点击链接进行下载Redis下载–提取码：aiix方式二:扫描此二维码进行下载第一步：将Redis安装包上传到Linux第二步：解压redis压缩包到指定目录进行解压 ：tar -zxvf redis-3.2.8.tar.gz -C xxx 你要将Redis解压到哪里第三步：安装C程序运行环境node01执行以下命令安装C...

监控以及运维在开发工作中，消费在Kafka集群中消息，数据变化是我们关注的问题，当业务前提不复杂时，我们可以使用Kafka 命令提供带有Zookeeper客户端工具的工具，可以轻松完成我们的工作。随着业务的复杂性，增加Group和 Topic，那么我们使用Kafka提供命令工具，已经感到无能为力，那么Kafka监控系统目前尤为重要，我们需要观察 消费者应用的细节。kafka-eagle概述为...

kafka集群环境搭建Kafka安装包下载:方式一:通过提取码下载Kafka安装包下载_提取码:cmfi方式二:通过扫码进行下载初始化环境准备安装jdk，安装zookeeper并保证zk服务正常启动如何安装Zookeeper,点击此连接进行查看上传解压安装包node01执行以下命令，下载并解压：cd /export/softwarestar –zxvf kafka_2.1...

Phoenix的安装部署提前安装好ZK集群、hadoop集群、Hbase集群从对应的地址下载 提取码: mz69这里我们使用的是：apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz3. 上传、解压 将对应的安装包上传到对应的Hbase集群其中一个服务器的/export/softwares目录下解压：tar zxvf apache-phoenix-4....

Impala安装部署安装前提：集群提前安装好hadoop，hive。hive安装包scp在所有需要安装impala的节点上，因为impala需要引用hive的依赖包。hadoop框架需要支持C程序访问接口，查看下图，如果有该路径下有这么文件，就证明支持C接口。下载安装包、依赖包由于impala没有提供tar包进行安装，只提供了rpm包。因此在安装impala的时候，需要使用rpm...

Hue的安装第一步: 上传解压安装包Hue的安装支持多种方式，包括rpm包的方式进行安装、tar.gz包的方式进行安装以及cloudera manager的方式来进行安装等，我们这里使用tar.gz包的方式来进行安装。Hue的压缩包的下载地址：http://archive.cloudera.com/cdh5/cdh/5/我们这里使用的是CDH5.14.0这个对应的版本，具体下载地址为...

Flume安装部署Flume的安装非常简单上传安装包到数据源所在节点上然后解压 tar -zxvf apache-flume-1.8.0-bin.tar.gz然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME根据数据采集需求配置采集方案，描述在配置文件中(文件名可任意自定义)指定采集方案配置文件，在相应的节点上启动flume agent...

絮叨两句:博主是一名软件工程系的在校生,利用博客记录自己所学的知识,也希望能帮助到正在学习的同学们人的一生中会遇到各种各样的困难和折磨，逃避是解决不了问题的，唯有以乐观的精神去迎接生活的挑战少年易老学难成，一寸光阴不可轻。最喜欢的一句话:今日事,今日毕Oozie的介绍         Oozie是运行在hadoop平台上的一种工作流调度引擎它可以用来调度与管理hadoop任务，如，MapReduc.

solo-server模式部署节点规划 :HOST角色node-1Web Server和Executor Server同一进程解压配置mkdir /export/servers/azkabantar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz –C /export/servers/azkaban/vim c...

sqoop介绍Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。Hadoop生态系统包括：HDFS、Hive、Hbase等RDBMS体系包括：Mysq...

注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证Zookeeper和Hadoop启动成功，且服务正常运行第一步：下载对应的HBase的安装包所有关于CDH版本的软件包下载地址如下http://archive.cloudera.com/cdh5/cdh/5/HBase对应的版本下载地址如下http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz第二步：压缩包上传并解压将我们的压缩

Zookeeper集群搭建指的是ZooKeeper分布式模式安装。通常由2n+1台servers组成。这是因为为了保证Leader选举（基于Paxos算法的实现）能过得到多数的支持，所以ZooKeeper集群的数量一般为奇数。Zookeeper运行需要java环境，所以需要提前安装jdk对于安装leader+follower模式的集群，大致过程如下：—配置主机名称到IP地址映射配置—修改ZooKeeper配置文件—远程复制分发安装文件—设置myid—启动ZooKeeper集群如果要想使用Obs.

絮叨两句:博主是一名数据分析实习生,利用博客记录自己所学的知识,也希望能帮助到正在学习的同学们人的一生中会遇到各种各样的困难和折磨，逃避是解决不了问题的，唯有以乐观的精神去迎接生活的挑战少年易老学难成，一寸光阴不可轻。最喜欢的一句话:今日事,今日毕Hive安装HIVE的安装部署Derby版Hive直接使用：使用Mysql共享Hive元数据添加Hive环境变量安装Mysql修改hive的配置文件修改hive-env.sh修改hive-site.xml上传Mysql的lib驱动包HIVE的安装部.

HIVE的安装部署第一步:上传hive-1.1.0-cdh5.14.0.tar.gz第二步:进行解压cd /export/softwarestar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/安装方式mysql数据库的安装（使用yum源进行安装，强烈推荐）第一步：在线安装mysql相关的软件包yum install mys...

絮叨两句:博主是一名数据分析实习生,利用博客记录自己所学的知识,也希望能帮助到正在学习的同学们人的一生中会遇到各种各样的困难和折磨，逃避是解决不了问题的，唯有以乐观的精神去迎接生活的挑战少年易老学难成，一寸光阴不可轻。最喜欢的一句话:今日事,今日毕Hadoop分布式目标：搭建基于CDH的Hadoop分布式集群第一步：上传压缩包并解压第二步：查看Hadoop支持的压缩方式以及本地库第三步：修改配置文件修改core-site.xml修改hdfs-site.xml修改Hadoop-env.sh修改m.

安装各种组件链接【windows,Linux】超级详细Mysql及基本使用教程文章目录安装各种组件链接【windows,Linux】前言①下载Mysql前言         MySQL是一种开放源代码的关系型数据库管理系统（RDBMS），使用最常用的数据库管理语言--结构化查询语言（SQL）进行数据库管理。        &