for_yayun的博客

1，选定版本和文件配置：用Kafka_2.11-0.8.2.1版本下载地址：https://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz解压： tar -zxf kafka_2.11-0.8.2.1.tgz -C /opt/modules/配置config下面的2个文件夹如下图：配置server 里面的要...

zookeeper 版本下载和安装我是下载和安装这个版本：zookeeper-3.4.5-cdh5.10.0.tar我在机器1里面进行了解压和安装在/opt/modules/解压后 cd zookeeper-3.4.5-cdh5.10.0创建一个 文件夹 mkdir -p zkdata然后检查 该文件所在的位置 pwd/opt/modules/zookeeper-3.4.5-cdh5...

接上一篇文章在上一篇文章中遗漏了一个core-site的配置文件这个是改默认的名字为自己需要的，其效果在如下：好了接下来 说接着上一篇文章写：开始 启动jobhistory命令： sbin/mr-jobhistory-daemon.sh start historyserver运行mapreduce创建一个输出目录命令：bin/hdfs dfs -mkdir -p /user/...

在第一篇的配置文件的 基础上，接下来想写一点比较明显的 安装步骤1准备好vmware 和 centos1.1准备了vmware15.x版本，和centos6.x 安装在Windows电脑上安装成功后是这样的图标2虚拟机克隆2.1在安装好虚拟机后对机器进行完整的克隆，成为一个虚拟机集群。克隆后的虚拟机，02和03都是克隆的01虚拟机2.2 配置克隆虚拟机的ip地址vi /etc/...

1、安装虚拟机VMware workstationCentOS 镜像安装Linux虚拟机：（在Windows10上）1）安装VMwareWorkstations（可修改配置）2）添加CentOS镜像（启动安装 ->配置网络）网络配置：NAT模式网络重启：service network restart关闭系统：shutdown -h now2、远程连接Xshell5Xft...

语言基础篇Java基础篇整个大数据开发技术栈我们从实时性的角度来看，主要包含了离线计算和实时计算两大部分，而整个大数据生态中的框架绝大部分都是用 Java 开发或者兼容了 Java 的 API 调用，那么作为基于 JVM 的第一语言 Java 就是我们绕不过去的坎，Java 语言的基础也是我们阅读源码和进行代码调优的基础。Java 基础主要包含以下部分：语言基础锁多线程并发包中常用的...

数据处理流程1）数据采集Flume： web日志写入到HDFS2）数据清洗脏数据Spark、Hive、MapReduce 或者是其他的一些分布式计算框架清洗完之后的数据可以存放在HDFS(Hive/Spark SQL)3）数据处理按照我们的需要进行相应业务的统计和分析Spark、Hive、MapReduce 或者是其他的一些分布式计算框架4）处理结果入库结果可以存放到RDBM...