基于AIX系统的应用日志采集-Logstash服务器端和客户端配置

1.服务端
1.1.需要文件(/opt/file):

logstash-forwarder.crt

logstash-forwarder.key

1.2. 执行命令生成密钥文件keystore.jks

cd /opt/file

keytool -importcert -trustcacerts -file logstash-forwarder.crt -alias ca -keystore keystore.jks

说明:

keytool:是java/bin命令

-alias ca ca指的是客户端AIX服务器域名

1.3.把keystore.jks复制到AIX服务器上

例如：scp keystore.jks 用户名@130.30.1.107.171://opt/目录

服务端logstash配置:

input{

       lumberjack {

       port => 5120//要跟客户端一致

       ssl_certificate => "/opt/file/logstash-forwarder.crt"

       ssl_key => "/opt/file/logstash-forwarder.key"

       type => "access"//要跟客户端一致，可以分类型处理。

    }

}

filter {  //可以不过滤，此段删除。

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }  

  }  

}  

output {

  elasticsearch {//支持es，亦可以删除

        index => "gzns_access"

        document_type => "access"

        hosts => ["GIT-003.hadoop:9200"]

        workers => 1

        flush_size => 100

        idle_flush_time => 10

  }

kafka{//支持kafka，内容后补（名称暂时，可选）

        index => "gzns_access"

        document_type => "access"

        hosts => ["GIT-003.hadoop:9200"]

        workers => 1

        flush_size => 100

        idle_flush_time => 10

  }

//输出控制台（可选）

  stdout{codec==>rubydebug}

}

解释说明:

port:同客户端输出端口一样;

ssl_certificate和ssl_key分别指向/opt/file/下两个文件

type:增加日志输出类型

修改配置文件

logstach.yml

放开node节点的注释，并修改服务器名。注意：后面一定要添加一个空格！

/usr/local/test/logstash

2.客户端(AIX)
2.1.需要文件(/home/was/logstash):

.logstash-forwarder-java

keystore.jks

logstash-forwarder-java-0.2.4.jar

test.conf

2.2.编辑记录文件(.logstash-forwarder-java)

该文件的目的是为了记录每个日志文件当前处理到第几行。

修改内容为{},花括号里没有[],否则进程启动会报空指针异常

清除里面原来的所有内容，留一个[]即可。

2.2.1.编辑配置文件test.conf

{

  "network": {

    "servers":["96.0.50.78:5120"],

    "ssl ca":"/home/was/logstash/keystore.jks",

    "timeout":5

  },

  "files": [

    {

      "paths": ["/backup/mondata/jxj.nmon"],

      "fields": {

        "type": "access"

      }

    }

  ]

}

解释说明:

Aix用的一般是gb2312，而其他服务器用的通常是utf-8.

servers:指向server端的IP和port

ssl ca:指向密钥文件keystore.jks