日志收集工具-Filebeat

提示：windows 环境下 Filebeat 的安装与使用

---

前言

Filebeat 一般用于日志采集，由两部分组成 ：Harvesters 和 prospector

1. Harvesters采集器：逐行读取单个文件的内容，并将内容发送到配置文件中的 output
2. Prospector查找器：管理 Harvesters，并找到所有要读取的文件来源。如果输入类型为日志，则查找器将查找路径匹配的所有文件，并为每个文件启动一个Harvester

Filebeat 作为日志收集工具之一，具有内存小，轻量，稳定的特点，但是过滤能力较弱，在实际场景中，Filebeat 和 Logstash 常被配合使用。Filebeat 负责采集日志文件，并将数据发送到 Logstash 进行进一步处理，再由 Logstash 输出到目标存储中。这种架构既保证了高效的数据采集，又满足了复杂的数据处理需求。

---

一、安装

1. 官网下载安装包：https://www.elastic.co/cn/downloads/beats/filebeat 选择64位压缩包：
   
2. filebeat 目录结构

   filebeat.yml  # 配置文件
   install-service-filebeat.ps1  # winservice 安装文件
   uninstall-service-filebeat.ps1 # winservice卸载文件
   

3. 部署服务为 winservice
   以管理员身份打开终端，进入下载的文件目录 执行 install-service-filebeat.ps1 文件，出现下图表示部署成功
   
   如果上面的脚本执行不成功，有权限的问题， 执行下面的试试（执行策略阻止了我们对fileBeat）我没验证是否可行

   PS D:\elk\filebeat-7.9.0-windows-x86_64> Get-ExecutionPolicy
   Restricted
   PS D:\elk\filebeat-7.9.0-windows-x86_64> Set-ExecutionPolicy UnRestricted
   

二、配置部署

编辑 filebeat.yml 文件：主要修改其中 inputs 和 output 指定其输入和输出。

filebeat.inputs:

- type: filestream # 如果有不同的配置， 就用多个- type: log， 但是如果只是多个目录， 一个- type: log 就够了
    
	# 也可以监控其他数据 （容器日志:container，网络数据：tcp/udp,标准输入：stdin，云平台日志：s3，JSON文件 等）这个地方配置log 可能会报错（Log input is deprecated. Use Filestream input instead. Follow our migration guide https://www.elastic.co/guide/en/beats/filebeat/current/migrate-to-filestream.html）
    
    id: my-filestream-id
    
    enabled: true  #启用 这个一定要改
    
    paths:
        - D:\project\elk\log\*  # 扫描的日志目录     
        - /var/log/*.log # 其他目录。。。。。可以配置多个目录
        - /var/log/*/*.log 从子目录获取
    
    fields: # 自定义的字段和值， 用于传给输出
        level: debug # 自定义字段1： 自定义字段的值1
        review: 1
    
    ps:​​​​​​​解决一个日志涉及到多行问题
    # Multiline options 多行配置选项  因为是逐行读取，有的换行日志会被分开识别，解决一条日志跨多行问题的配置
	multiline.pattern: ^\[   # 表示能够匹配一条日志的模式，默认配置的是以[开头的才认为是一条新的日志。  	
	multiline.negate: true   # 配置该模式是否生效，默认为false
	multiline.match: after   # 表示是否将未匹配到的行追加到上一日志，还是追加到下一个日志
    
    
output.elasticsearch: # 表示输出到 elasticsearch （也可以输出到：Logstash redis file Console）
   
  hosts: ["localhost:9200"] # elasticsearch 集群地址 默认FileBeat会将日志数据放入到名称为：filebeat-%filebeat版本号%-yyyy.MM.dd 的索引中

  preset: balanced

output.file:  # 我们这里测试输入和输出都是文件
  path: D:\project\elk\output # 指定了输出文件的目录
  filename: filebeat.log # 指定了输出文件的名称
  rotate_every_kb: 10000 # 用于控制日志文件的轮转策略，例如当文件达到10MB时，会轮转到新的文件，最多保留7个文件
  number_of_files: 7
  
  
filebeat.config.modules:
    reload.enabled: true # 需要改成true，否则会启动失败

``

三、启动测试

1. 写一个定时任务，往指定目录中每隔 5s 写一条日志；
2. 修改配置文件 input 和 output 为对应文件目录；
3. 启动服务：执行命令

   .\filebeat.exe  -e -c filebeat.yml
   

4. 在对应输出目录可以看到输出的 Json 文件，即完成了日志的采集

删除已同步的数据，重新采集，可以删除 filebeat\filebeat\data\registry 下文件，即可重新采集日志

参考：
日志收集组件—Flume、Logstash、Filebeat对比
windows下使用filebeat将本地log日志实时写入到ELK