Docker日志管理

ELK

        Filebeat

                Filebeat 是 ELK 组件的新成员， 也是 Beat 成员之一。基于 Go 语言开发， 无任何依赖， 并且比 Logstash 更加轻量， 不会带来过高的资源占用， 非常适合安装在生产机器上。轻量意 味着简单，Filebeat 并没有集成和 Logstash 一样的正则处理功能， 而是将收集的日志原样输 出。

以下是 Filebeat 的工作流程：当开启 Filebeat 程序的时候，它会启动一个或多个检测进程 （prospectors） 找到指定的日志目录或文件。对于探测器找出的每一个日志文件，Filebeat 启 动读取进程（harvester）。每读取一个日志文件的新内容，便发送这些新的日志数据到处理程 序（spooler）。最后，Filebeat 会发送数据到指定的地点（比如 logstash、elasticserach）。

正是以上原因， 目前， Filebeat 已经完全替代了 Logstash 成为新一代的日志采集器。同 时，鉴于它的轻量、安全等特点，越来越多人开始使用它。

        Kafka

                Kafka:Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。 它最初由LinkedIn(领英)公司发布，使用Scala语言编写，与2010年12月份开源，成为Apache的顶级子项目。 它主要用于处理消费者规模网站中的所有动作流数据。动作指(网页浏览、搜索和其它用户行动所产生的数据)。

Kafka的增长是爆炸性的。财富500强企业中超过三分之一使用卡夫卡。这些公司包括十大旅游公司，十大银行中的七家，十大保险公司中的八家，十大电信公司中的九家，等等。LinkedIn，微软（Microsoft）和Netflix每天用Kafka处理一兆（1,000,000,000,000）的信息。Kafka用于实时数据流，收集大数据，或做实时分析（或两者兼而有之）。Kafka与内存中的微服务一起使用以提供耐用性，并且可以用于向CEP（复杂事件流式传输系统）和IoT / IFTTT式自动化系统提供事件

                作用：Kafka通常用于实时流式数据体系结构以提供实时分析。由于Kafka是一个快速，可扩展，耐用和容错的发布、订阅消息传递系统，Kafka被用于JMS，RabbitMQ和AMQP可能因为数量和响应速度而不被考虑的情况。Kafka具有更高的吞吐量，可靠性和复制特性，使其适用于跟踪服务呼叫（跟踪每个呼叫）或跟踪传统MOM可能不被考虑的物联网传感器数据

                特点：

                        高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作；