懵懂bigdata象

自己动手实现SparkStreaming+Kafka+flume实时处理日志信息并将结果写入到MySQL数据库

Flume安装操作一、Flume简介二、安装配置三、Flume入门基本操作一、Flume简介什么是Flume?Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。Flume的基础架构组件分析：AgentAgent是一个JVM进程，它以事件的形式将数据从源头送至目的。Agent主要有3个部分组成，Source、Channel、Sink。SourceSource是负责接收数据到Flume Agent

kafka集群安装一、安装包获取二、安装kafka本人是一名在校大三学生，所选专业大数据技术，为了毕业能有一份可观的工作，目前正在致力于努力学习中，在学习中的一些笔记和经验，希望可以通过写优快云博文记录并和同样正在努力中的你分享一、安装包获取 在Windows中在官网下载，然后上传到虚拟机链接:https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/ 在虚拟机中通过wget命令下载首先安装wget：yum -y install wget下