上善若水的博客

日志收集框架–flume webServer(源端) –> flume –> hdfs(目的地) flume框架核心组件 source: 日志来源 channel: 渠道，数据处理管道 sink：存储目的地(要下落的地方) jdk下载安装 下载：jdk-8-linux-x64.tar.gz 上传：rz 解压：tar -zvxf jdk-8-lin

scala下载安装 版本：2.11.8 下载: http://www.scala-lang.org/download/2.11.8.html 解压 配置环境变量：vi ~/.bash_profile 生效环境变量文件：source ~/.bash_profile 检测 : scala -verison maven下载安装 版本：3.5.0（其

kafka架构 producer:生产者 comsumer:消费者 broker:中间人–经纪人 topic:主题、类别 kafka是基于zookeeper进行管理的，所以要先安装zookeeper zookeeper下载安装 下载：http://archive.cloudera.com/cdh5/cdh/5/ 版本：cdh5.7.

spark-submit的使用（生产环境使用） nc -lk 9999 :监听9999端口 spark-submit --master local[2] \ --class org.apache.spark.examples.streaming.NetworkWordCount \ --name NetworkWordCount \ /root/soft_install/spark-2.

flume采用架构 exec-source + memory-channel + avro-sink avro-source + memory-channel + kafka-sink kafka采用架构 启动zookeeper zkServer.sh start 启动kafka(启动一个“篮子”) kafka-server-start

第一种sparkStreaming 整合Flume flume采用 netcat-memory-avro架构 本地测试 1：本地启动sprakStreaming服务，（0.0.0.0 10000） 2. 服务器中启动flume agent 3. telnet往端口中输入数据，观察本地idea控制台输出数据

第二种sparkStreaming 整合Flume flume采用 netcat-memory-customer sink架构 本地测试 1：本地启动sprakStreaming服务，（192.168.145.128 10000） 2. 服务器中启动flume agent 3. telnet往端口中输入数据，观察本

版本：hadoop-2.6.0-cdh5.7.0.tar.gzhadoop下载安装 下载 : cdh5 解压 配置环境变量：vi ~/.bash_profile 生效环境变量文件：source ~/.bash_profile 检测 : $HADOOP_HOME 配置文件： 配置文件目录：cd etc/hadoop 1.hadoop-env.s