有个需求,每天创建一个索引,然后从日志文件中把一天的数据都存入索引中
要求:
每个索引存储0-24点的日志
如果fluentd宕机,重启后仍然能正常分析日志并按照日期对应的索引存储
配置
<filter test.elasticsearch.**>
@type record_transformer
enable_ruby true
<record>
# fluentd 不支持毫秒级的时间戳,因此需要将
# 毫秒级时间戳变成秒级
createTimeSecond ${record['createTime']/1000}
</record>
# remove_keys message
</filter>
<match test.elasticsearch.**>
@type elasticsearch
host 12