Vision

在微服务框架中，由于各个系统功能分离明确，需要大量的服务器对系统部署进行支持。每个生产系统都会产生大量的日志，数据分散且管理困难，一旦出现问题，查找日志需要寻找运维人员进行协助，但是可能出现查询日志速度较慢，无法准确定位，影响生产问题解决的情况。所以我们需要一套日志系统来收集各个服务器上的日志数据，并且能使用集中高效的web方式搜索查看日志，同时能对日志进行维度分析等。在此，我们选择ELK框架来实践

Logstash详细介绍下面我们将对ELK框架进行深入详细的了解，了解了其中的原理，才能选择更加高效可靠的配置方案。ElasticSearch的配置比较简单，主要性能瓶颈在于内存以及节点设置方面，Kibana的配置也较为简单，web应用无很大的优化改进空间，主要在于第三方插件的使用。下面我们主要介绍Logstash的方案设计。Logstash使用Ruby语言编写，它编写了自己的一套DSL。Logs

在实际生产环境中，除了框架本身的特性，还需要考虑更多符合自身硬件条件以及业务需求来进行大量的改造优化工作，而这一步往往是最重要。 下面是搭建生产环境过程中，可能遇到的问题以及解决方案：Logstash作为远程Agent，需要占用服务器太多资源，并且必须依赖Java环境。每增加一台服务器，部署成本相比较大。解决方案： 使用Filebeat作为远程agent，Filebeat使用当前流行高效率go

timestamp 用来标记事件的发生时间。因为这个字段涉及到Logstash的内部流转，所以必须是一个joda对象，如果你尝试自己给一个字符串字段重命名为@timestamp的话，Logstash会直接报错。所以，请使用 filter/date插件来管理这个字段。type 标记事情的唯一类型。host 标记事情发生在哪里。tags 标记事件的某方面属性。只是一个数组，一个时间可以有多个标签。