superbeyone

Spark大数据学习笔记_第1篇_CentOS集群环境搭建1. CentOS安装1、下载镜像CentOS镜像。 2、创建虚拟机：打开Virtual Box，点击“新建”按钮；输入虚拟机名称为sparkproject1，选择操作系统为Linux，选择版本为Red Hat；分配1024MB内存；后面所有选项全部用默认的设置；注意，在Virtual disk file location a...

Spark大数据学习笔记_第2篇_CDH集群环境搭建Spark大数据学习笔记_第2篇_CDH集群环境搭建1. 安装hadoop包2. 修改core-site.xml3. 修改hdfs-site.xml4. 修改mapred-site.xml5. 修改yarn-site.xml6. 修改slaves文件7. 在另外两台机器上搭建hadoop8. 启动hdfs集群9. 启...

Spark大数据学习笔记_第3篇_Hive的安装Spark大数据学习笔记_第3篇_Hive的安装1. 安装hive包2. 安装mysql3. 配置hive-site.xml4. 配置hive-env.sh和hive-config.sh5. 验证hive是否安装成功1. 安装hive包1、将课程提供的hive-0.13.1-cdh5.3.6.t...

Spark大数据学习笔记_第5篇_kafka集群环境搭建Spark大数据学习笔记_第5篇_kafka集群环境搭建1. 安装Kafka包2. 搭建kafka集群3. 启动kafka集群4. 测试kafka集群1. 安装Kafka包1、将kafka_2.9.2-0.8.1.tgz使用WinSCP拷贝到sparkproject1的/usr/local...

Spark大数据学习笔记_第4篇_zookeeper集群环境搭建Spark大数据学习笔记_第4篇_zookeeper集群环境搭建1. 安装ZooKeeper包2. 配置zoo.cfg3. 设置zk节点标识4. 搭建zk集群5. 启动ZooKeeper集群1. 安装ZooKeeper包1、将课程提供的zookeeper-3.4.5-cdh5.3.6...

Spark大数据学习笔记_第6篇_flume安装Spark大数据学习笔记_第6篇_flume安装1.安装flume2.修改flume配置文件3. 创建需要的文件夹4.启动flume-agent5.测试flume1.安装flume1、将flume-ng-1.5.0-cdh5.3.6.tar.gz使用WinSCP拷贝到sparkproject1的/u...