Zhang Phil

其中，if 判断语句中的 =~ 是正则匹配，即匹配左边的字符串是否包含右边的字符串内容，包含返回true，否则返回false。

但是，这种架构下，默认设置或者单独只配置metricbeat或logstash，在Kibana中看到的logstash节点传输地址即为127.0.0.1:9600，试想，如果监控的节点很多，都是127.0.0.1，完全不知道哪一个节点的情况，相当于没有监控，因此，合理的配置是每个节点通过IP地址区分，要达到这一目的，需要同时配置logstash和metricbeat。完成上述配置后，即可在Kibana中看到不同IP地址下，logstash的性能参数。...

1)首先假定已经启动logstash，Elasticsearch，Kibana。并且已经安装部署metricbeat，本文均基于8.3.3版本。提示：xpack.monitoring.collection.enabled is set to false。（a）logstash配置output输出到Elasticsearch，启动。总览，节点详情统计图表，数据上报流水线，均可点进去查看。（b）Elasticsearch启动。这一步，直接点进蓝色按钮。（c）Kibana启动。.........

Windows安装启动logstash(1)下载logstash，下载链接：Download Logstash Free | Get Started Now | Elastic（2）下载完成后，解压。自己写一个Windows环境下的配置文件，名字可自己定义，比如叫：my_logstash.conf，内容：注意my_logstash.conf的存放位置，这个配置文件需要放在“home”下，和logstash解压后形成的bin，config，jdk等目录文件夹同层级，否则后面启动会报找不到这个配置文件。...

logstash对外提供了一些监控自身运行状态的httpapi接口。当logstash启动运行后，通过http请求即可访问。

Logstash（data collector，数据收集器）不负责生产数据、不负责存储数据，只是数据的搬运工。一种实时的大数据采集组件，即插即用。通常，logstash做为数据泵，泵出日志数据，logstash本身可以实时的对数据做一定强度和复杂度的适配和封装（定制成格式化的JSON帧），即进行标准化工作。logstash是行业内老牌的数据采集器。logstash本身是JRuby实现的，JRuby跑在JVM之上，在logstash早期的版本中，由于JVM和logstash两者的原因，性能在长期连续运行

logstash清除sincedb_path上传记录，重传日志数据logstash通过一个名为 sincedb_path 下的记录文件记录当前logstash已经上传的日志文件的位置，如果指定为 null，则使用home默认的。清除这个sincedb_path 下的文件，将导致logstash丢失所有上传记录，那么logstash将重新上传所有监控文件（意味着如果原有数据已上传一部分，那么还会出现重复的日志文件）。不过有时候可以利用 sincedb_path 这一特性，指定sincedb_path 存储的文

logstash备份跟踪上报的数据记录logstash可以从被监测的文件上采集数据上报到指定的http服务器或者es等。有时候需要确认或者跟踪记录logstash到底成功上报的历史数据记录，可以在本地创建一个文件，用以记录、跟踪、备份上传成功的数据，在output里面的配置：logstash成功上报的数据都会备份存在history.txt文件里面。......

logstash运行时报错：如图： 发生以上错误的场景，是在启动logstash命令时候加入了 -r 参数：一般情况启动logstash不需要 -r 参数。加入 -r 参数的目的是指示logstash每当my_logstash.conf配置文件发生改动时候就重新加载。根因：input下面的stdin导致的。解决方案：在my_logstash.conf配置文件中，input下面的stdin{}代码块，删掉或者注释掉即可:.........

logstash部署后，前几次启动时间还算正常，但是越往后启动时间越长，甚至有时候感觉卡死了一样不动，解决方法之一，修改conf文件夹下面的jvm.options里面的两个值：Xms和Xmx，默认这两个值为1g，即内存大小（v8.2.3）。如果机器物理内存空间很大，那当然这两个值设置高些最好。一般机器，可以设置成2g、4g、6g、8g等，视机器自身物理内存大小而定：......

logstash丢弃没有精准匹配到文件名的日志数据一种场景，如果确定需要精准采集这一文件 f:\x\data\2022-05-27-231259\my.txt 里面的数据，不是这样形式的 data\yyyy-mm-dd-hhmmss\my.txt 文件，一律不采集日志数据。首先需要按照log.file.path的文件全路径匹配，匹配失败，增加一个 tag_failure标签，在if逻辑判断中如果检测到这个tag标签，就drop，这个drop将丢弃到采集的这行日志。......

logstash排除特定文件或文件夹不采集上报日志数据有时候，并不打算让logstash采集特定的文件（比如.apk，.zip等文件）或文件夹作为日志数据上报，可以用exclude剔除掉。在配置文件写：在file里面配置，上面代码首先排除D:/movie文件夹下面所有内容。然后把所有压缩文件、图片文件、视频文件、apk这些文件不作为日志采集对象。...

logstash启动的常规命令样式为：如果加上 -r 参数：表示一旦my.conf配置文件发生变动，logstash就自动加载重新修改后的my.conf文件。

logstash中ruby代码设置时间戳格式xxx_time即为在配置里面自定义的时间字段。上面代码将logstash自动生成的时间戳@timestamp转换为 2022-01-01 00:00:59，这样的形式，最终存到xxx_time里面。

在logstash启动过程中，发现会输出一条警告信息：这条警告信息不影响logstash的启动和运行，如果要解决、消解掉这条警告信息，则需要修改config下面的jvm.options文件中的属性定义字段，把-XX:+UseConcMarkSweepGC修改成：即可消解上述警告。......

logstash默认@timestamp时间戳时间与中国本地时间相差8小时解决：因为在ruby代码执行过程中，有一个临时中间变量timestamp，所有最后删掉这个timestamp变量，只保留@timestamp。

logstash中的timestamp时间戳时间由logtash在采集到日志时间时候自动设置，有些时候，需要把这个默认的timestamp时间修改为日志数据中提取到的时间，使两者一致。可以通过配置文件实现：上述配置的grok将匹配每一行日志中开始的[]里面的数据作为时间放入到logtime中，然后在date里面，将按照yyyy-MM-dd HH:mm:ss.SSS的日期时间格式把时间最终覆盖系统默认的timestamp中。也可以通过ruby代码实现把自己提取到的日志时间作为系统默认的时间戳：...

logstash时间戳转换为unix 纳秒nano second然后在配置中取出unix_nano_time即是：

logstash的grok提取中括号关键词后面的数据到指定字段比如，现在有一段数据，需要提取[TASKID:***] 里面的*数据，也即本例的 1a-2b_3c ,然后放到指定的字段task_id里面。在grok里面写正则：在grok debugger里面运行：总结：......

Windows安装启动logstash(1)下载logstash，下载链接：Download Logstash Free | Get Started Now | Elastic（2）下载完成后，解压。自己写一个Windows环境下的配置文件，名字可自己定义，比如叫：my_logstash.conf，内容：注意my_logstash.conf的存放位置，这个配置文件需要放在“home”下，和logstash解压后形成的bin，config，jdk等目录文件夹同层级，否则后面启动会报找不到这个配置文件。（