Carroll的学习博客

Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume的介绍请移步我的另外一个博客 http://blog.youkuaiyun.com/a5098726s/article/details/78657282单节点搭建为了方便测试和使用，这里采用flume单节点master节点apache-flume-1.7.0-

准备一些依赖包 hadoop-2.7.4-tar.gz zookeeper-3.4.6.tar.gz jdk-8u144-linux-x64.tar.gz虚拟机 centos-7 -86_64master 192.168.10.4 hadoop jdk master1 192.168.10.8 hadoop jdk slave1 192.168.10

Spark和hive配置较为简单，为了方便Spark对数据的使用与测试，因此在搭建Spark on Yarn模式的同时，也把Mysql + Hive一起搭建完成，并且配置Hive对Spark的支持，让Spark也能像Hive一样操作数据。前期准备scala-2.11.11.tgz spark-2.1.1-bin-hadoop2.7.tar.gz hive-1.2.1.tar.g