superbeyone

Spark大数据学习笔记_第1篇_CentOS集群环境搭建 1. CentOS安装 1、下载镜像CentOS镜像。 2、创建虚拟机：打开Virtual Box，点击“新建”按钮；输入虚拟机名称为sparkproject1，选择操作系统为Linux，选择版本为Red Hat；分配1024MB内存；后面所有选项全部用默认的设置；注意，在Virtual disk file location a...

Spark大数据学习笔记_第2篇_CDH集群环境搭建 Spark大数据学习笔记_第2篇_CDH集群环境搭建 1. 安装hadoop包 2. 修改core-site.xml 3. 修改hdfs-site.xml 4. 修改mapred-site.xml 5. 修改yarn-site.xml 6. 修改slaves文件 7. 在另外两台机器上搭建hadoop 8. 启动hdfs集群 9. 启...

Spark大数据学习笔记_第3篇_Hive的安装 Spark大数据学习笔记_第3篇_Hive的安装 1. 安装hive包 2. 安装mysql 3. 配置hive-site.xml 4. 配置hive-env.sh和hive-config.sh 5. 验证hive是否安装成功 1. 安装hive包 1、将课程提供的hive-0.13.1-cdh5.3.6.t...

Spark大数据学习笔记_第5篇_kafka集群环境搭建 Spark大数据学习笔记_第5篇_kafka集群环境搭建 1. 安装Kafka包 2. 搭建kafka集群 3. 启动kafka集群 4. 测试kafka集群 1. 安装Kafka包 1、将kafka_2.9.2-0.8.1.tgz使用WinSCP拷贝到sparkproject1的/usr/local...

Spark大数据学习笔记_第4篇_zookeeper集群环境搭建 Spark大数据学习笔记_第4篇_zookeeper集群环境搭建 1. 安装ZooKeeper包 2. 配置zoo.cfg 3. 设置zk节点标识 4. 搭建zk集群 5. 启动ZooKeeper集群 1. 安装ZooKeeper包 1、将课程提供的zookeeper-3.4.5-cdh5.3.6...

Spark大数据学习笔记_第6篇_flume安装 Spark大数据学习笔记_第6篇_flume安装 1.安装flume 2.修改flume配置文件 3. 创建需要的文件夹 4.启动flume-agent 5.测试flume 1.安装flume 1、将flume-ng-1.5.0-cdh5.3.6.tar.gz使用WinSCP拷贝到sparkproject1的/u...