qq_73924465的博客

main.goimport ("fmt"select {}//读取配置文件，获取配置信息if err!= nil {//初始化Kafkaif err!= nil {return//初始化etcdif err!= nil {return//拉取要收集日志文件的配置项if err!= nil {return//初始化tailif err!= nil {

在上一篇文章中，我们实现了通过etcd来同时指定多个不同的有关分区与日志文件的路径，但是锁着一次读取配置的增多，不可避免的出现了一个问题：我们如何来监控多个日志文件，这样原来的tailFile模块相对于当下场景就显得有些捉襟见肘了，所以对tialFile模块进行重构就成了我们必须要做的事情了。

在之前我们j基于saramatail还有go-iniwatch。

我们有关go简单操作etcd到此为止了，后面就是介绍如何在日志收集服务中使用了，我们下篇见！

etcd是基于Go语言开发的一个开源且高可用的分布式key-value存储系统，我们可以在上面实现配置共享与服务的注册与发现。和它比较相似的还有我们之间所提到的Zookeeper以及consul.(注:后面我们学习微服务的时候etcd和consul会有广泛的使用)

我们介绍了编写客户端的四个步骤，分别是：- 读取配置文件，寻找日志路径- 初始化服务- 根据日志路径l来收集日志- 将收集到的日志发送Kafka中

对读取配置文件就讲到这里了。下一篇文章我们就开始探寻如何初始化Kafka和tail的服务,以及介绍什么是etcd，以及它在项目中所起到的作用,下篇见！

go语言中tail包用于输出文件的最后几行。假设该档案有更新，tail会自己主动刷新，确保我们看到是最新的档案内容 ，在日志收集中可以实时的监测日志的变化。流程:首先定义Config结构体，初始化配置文件利用TailFile函数得到Tail结构体，Tail结构体中的Lines封装了拿到的信息循环遍历Tail.Lines，取出信息，可以实现实时监控。

由于1.19版本后添加了ztcd压缩算法，需要用到cgo，这里我们为了方便考虑选择下载。不过这个不能实现直接的消费，后续我们会对这个进行补充，这里制作介绍。今天我们所时机的内容需要用到go语言的第三方包。了,但是博主在做的时候发现，这样会直接清除掉。命令来安装第三方包，我们要使用/，所以这里我们不能直接使用。其实这是已经可以使用命令。等待命令运行完毕，打开。这时候再打开终端输入。

Kafka是Apache基金会的一个开源项目，是一个分布式的、可扩展的、高吞吐的、高可用的分布式数据流平台,既可以运行在单台服务器上,也可以在多台服务器上形成集群，我们既可以发送数据到集群中的任意一台服务器,也可以从集群中的任意一台服务器中读取数据。Kafka可以保证数据不丢失,并且可以做到高可用,类似与消息队列。

go并发编程的练手项目。