Flume

栈溢出 -->递归
栈内存溢出 -->给栈空间分配的内存不够(多线程,线程太多,导致内存不够分配)

内存分配:java虚拟机当有一个线程过来,就会分配一个栈内存

---

分布式集群

服务器的负载均衡

---

客户端负载均衡(客户端自己做负载均衡)
Zookeeper的作用就是注册中心,绑定地址

---

Flume:高可用,高可靠的海量日志数据采集(集合)框架,将数据发送给Hadoop,做统计分析

Tomcat又需要提供web服务,又需要向远程服务器发送用户数据,耦合性
解耦合,MVC设计模式,三层架构
Model1
JSP(页面),Servlet(java代码),JSTL
Model2->MVC
控制层
服务层
数据库访问层
OCP开发原则原则 Open Close
解耦合目的是提高扩展性,耦合性越低,扩展性越强

---

Flume定义
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集/聚合和传输的系统.Flume基于流式架构,灵活简单.
Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写入到HDFS.
事务:多个操作当成一个整体,要么完全成功,要么完成不成功.

Agent
Agent是一个JVM进程,它以事件的形式将数据从源头送至目的,是Flume数据传输的基本单位.
Agent主要有3个部分组成,Source/Channel/Sink.

Source
Source是负责接收数据到FlumeAgent的组件.Source组件可以处理各种类型/各种格式的日志数据,包括avro/thrift/exec/jms/spooling directory/netcat/sequence generator/syslog/http/legacy.

Channel
Channel是位于Source和Sink之间的缓冲区.因此,Channel允许Source和Sink运作在不同的速率上.Channel是线程安全的,可以同时处理几个Source的写入操作和几个Sink的读取操作.
Flume自带两种Channel:Memory Channel和File Channel.

• Memory Channel是内存中的队列.Memory Channel在不需要关心数据丢失的情景下适用.如果需要关心数据丢失,那么Memory Channel就不应该使用,因为程序死亡/机器宕机或者重启都会导致数据丢失.
• File Channel将所有事件写到磁盘.因此在程序关闭或机器宕机的情况下不会丢失数据.

Sink
Sink不断地轮询Channel中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统/或者被发送到一个Flume Agent.
Sink是完全事务性的.在从Channel批量删除数据之前,每个Sink用Channel启动一个事物.批量事件一旦成功写出到存储系统或下一个Flume Agent,Sink就利用Channel提交事务.事务一旦被提交,该Channel从自己的内部缓冲区删除事件.
Sink组件目的地包括hdfs/logger/avro/thrift/ipc/file/null/HBase/solr/自定义.

Event
传输单元,Flume数据传输的基本单元,以事件的形式将数据从源头送至目的地.

Put事务流程

• doPut将批数据先写入临时缓冲区putList
• doCommit检查channel内存队列是否足够合并.
• doRollbackchannel内存队列空间不足,回滚数据.

Take事务

• doTake先将数据取到临时缓冲区takeList
• doCommit如果数据全部发送成功,则清除临时缓冲区takeList
• doRollback数据发送过程中如果出现异常,rollback将临时缓冲区takeList中的数据归还给channel内存队列.

---

JSON:JavaScript Object Notation
{“username”:“zhangsan”}
XML

<user><username>zhangsan</username></user>

avro

---

JAVA_HOME=jre/jdk都可以(目的是运行起来)
JRE是java的运行环境
JDK的开发包,jdk包含jre
PATH(目的:运行方便)
CLASSPATH(类路径,比较重要).;XXXXX lib(官方的jar包) classes(自己的包) ext(扩展jar包)

网络中传的是字节码.

1．安装netcat工具
[pp@hadoop102 software]$ sudo yum install -y nc
2．判断44444端口是否被占用
[pp@hadoop102 flume-telnet]$ sudo netstat -tunlp | grep 44444
功能描述：netstat命令是一个监控TCP/IP网络的非常有用的工具，它可以显示路由表、实际的网络连接以及每一个网络接口设备的状态信息。

---

a1 = Agent {
Sources = new Mapt() { r1 = new Source() }
Sinks = new Map() {k1 = new Sink() }
Channnels = new Map() { c1 = new Channel}
}

class Source {
type = “”;
bind = “”;
port = “”;
List channels
}

class Sink {
type
Channel
}

a1.sources.r1.type =
a1.sinks.k1.type =
a1.channels.c1 =
a1.sources.r1.channels = c1
java的核心是跨平台,95年,windows的C语言在跨平台这方面做得非常差,需要在不同的芯片上移植我们的程序,移植我们的功能,因此以C语言为基础,创建了虚拟机,在虚拟机之上,创建了java语言,创建的目的是为了跨平台,后面吸收了C++的特性,逐渐形成了面向对象的语言,但不是真正的面向对象,它里面有基本类型.
HelloWorld

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

[pp@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file /opt/module/flume/job/flume_port_2_console.conf -Dflume.root.logger=INFO,console

[pp@hadoop102 ~]$ nc localhost 44444

发送数据,监听情况

---

实时读取本地文件到HDFS案例

1. 实时监控Hive日志,并上传到HDFS中
2. 需求分析:
3. 实现步骤:

• Flume要想将数据输出到HDFS，必须持有Hadoop相关jar包
  why
  flume 我们写的是配置文件,正真是java的class,要运行java Application
  ==> Hadoop
  A ==> B ==> C
  说以要让flume想办法找到Hadoop的jar包,不见的是拷贝过来,用别的方法也可以.
  将commons-configuration-1.6.jar、
  hadoop-auth-2.7.2.jar、
  hadoop-common-2.7.2.jar、
  hadoop-hdfs-2.7.2.jar、
  commons-io-2.4.jar、
  htrace-core-3.1.0-incubating.jar
  拷贝到/opt/module/flume/lib文件夹下。
• 创建flume-file-hdfs.conf文件
  创建文件
  [pp@hadoop102 job]$ touch flume-file-hdfs.conf
  (注:要想读取Linux系统中的文件,就得按照Linux命令的规则执行命令.由于Hive日志在Linux系统中所以读取文件的类型选择:exec即execute执行的意思.表示执行Linux命令来读取文件.
  [pp@hadoop102 job]$ vim flume-file-hdfs.conf

# Name the components on this agent
a2.sources = r2
a2.sinks = k2
a2.channels = c2

# Describe/configure the source
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /opt/module/hive/logs/hive.log
a2.sources.r2.shell = /bin/bash -c

# Describe the sink
a2.sinks.k2.type = hdfs
a2.sinks.k2.hdfs.path = hdfs://hadoop102:9000/flume/log/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k2.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a2.sinks.k2.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k2.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k2.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k2.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a2.sinks.k2.hdfs.batchSize = 1000
#设置文件类型，可支持压缩
a2.sinks.k2.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k2.hdfs.rollInterval = 60
#设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a2.sinks.k2.hdfs.rollCount = 0

# Use a channel which buffers events in memory
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2

注意：

1. 对于所有与时间相关的转义序列，Event Header中必须存在以 “timestamp”的key（除非hdfs.useLocalTimeStamp设置为true，此方法会使用TimestampInterceptor自动添加timestamp）。
   a3.sinks.k3.hdfs.useLocalTimeStamp = true
   

• 执行监控配置
  [pp@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a2 --conf-file job/flume-file-hdfs.conf
• 开启Hadoop和Hive并操作Hive产生日志
  [pp@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
  [pp@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

[pp@hadoop102 hive]$ bin/hive
hive (default)>

• 在HDFS上查看文件.

---