General_zy的博客

每当队列中的数据缓存到一定的大小或者超过了定时的时间（默认1s)，会被注册的client从队列中消费，发送至配置的后端。正常启动filebeat，一般确实只会占用3、40MB内存，但是偶发性的也会发现某些节点上的filebeat容器内存占用超过配置的pod limit限制（一般设置为200MB），并且不停的触发的OOM。所以，合理的配置日志文件的匹配规则，限制单行日志大小，根据实际情况配置memqueue缓存的个数，才能在实际使用中规避filebeat的内存占用过大的问题。

⼀个⽇志系统应该包含以下⼏点：（1） 收集[collect]：能够采集多种来源的⽇志数据（2） 传输[transform]：能够稳定的把⽇志数据解析过滤并传输到存储系统（3） 存储[store]：存储⽇志数据（4） 分析[analyze]：⽀持 UI 分析（5） 警告[warning]：能够提供错误报告，监控机制elasticsearch是⼀个分布式、⾼扩展、⾼实时的搜索与数据分析引擎，作为存储系统是整个ELK架构的 核⼼。⽤于全⽂检索、结构化搜索、分析。

在创建索引的时候，可以预先定义字段的类型及相关属性Es会根据Json数据源的基础类型，猜测你想要映射的字段，将输入的数据转变成可以搜索的索引项。Mapping是我们自己定义的字段数据类型，同时告诉es如何索引数据及是否可以被搜索作用：会让索引建立的更加细致和完善创建映射可以在索引刚创建的时候创建,也可以在索引创建完了之后再接着去创建,并且创建完了之后可以不停的追加映射,但是不能修改原有的映射映射操作有哪些？创建索引库：PUT /索引查询索引库：GET /索引删除索引库：DELETE /索引。

if err!= nil {return errreturn由于此方法是创建了一个全新的类型（但和time.Time可以互相转换），所以一些方法，如String()需要自己实现一遍，这个方法还有一个很大的优点就是不影响现有框架例如ORM框架在映射数据库日期类时对日期类的解析。针对某些特种结构体可以自己实现结构体的json接口，json序列化或反序列化会自动调用这些方法。