日志收集项目及kafka介绍

目前已经有监控了

日志架构图

logagent 具体的部署到每一个服务器上面

etcd目前是比较火的 配置中心等等 服务注册与发现

消息队列可以将直接的函数调用异步化
可以实现不同语言间的通信






partition表现就是一个个的文件夹的

follower是主动向leader中拉取数据的

图中表示有3个分区，每一个分区就对应于一个文件的
数据在每一个分区中数据是有序的

在记录消息的时候 同时回记录该消息的offset的大小的， 这是kafka查询块的原因








kafka的配置

到官网下载二进制的文件

先启动zookeeper 管理集群

现在启动kafka
先要更改配置文件，然后进行启动操作的

zookeeper的原理
分布式中需要有多个节点 但是在进行服务调用的时候 不知道都有哪个节点的
所以需要通过注册中心来进行管理的

没启动一个kafka都要连接一下zookeeper 进行登记一下的


go中的服务注册与发现 一般使用etcd的

读日志要使用tailf这个第三方的库

kafka发送成功后 会产生最上面的文件夹 进入文件夹

2个index后缀文件是索引文件 实际的数据放在log文件中的