大数据组件Logstash日志采集和filebeat采集日志与数据库交互（1+x证书方向）

大数据组件Logstash日志采集和filebeat采集日志与数据库交互（1+x证书方向）

.

一、logstash的应用安装与部署

.

1.logstash的应用

  logstash作为日志采集，转换工具，是ETL的一部分，Logstash 的作用就
是一个数据收集器，将各种格式各种渠道的数据通过它收集解析之后格式化输
出到Elasticsearch ，最后再由Kibana 提供的比较友好的Web 界面进行
汇总、分析、搜索。

.

2.logstash的安装

首先准备logstash的压缩包：logstash-7.7.0.tar.gz
开始解压缩安装文件：

 tar zxvf logstash-7.7.0.tar.gz 

解压完成后重命名：

 mv logstash-7.7.0.tar.gz logstash

准备解压工作已经完成

.

3.安装logstash-output-jdbc组件

方法一(网络安装法)：进入 logstash的/bin目录，然后执行：

./logstash-plugin install logstash-output-jdbc

网络下载较慢，需等待5分钟左右，成功结果如下：

Validating logstash-output-jdbc
Installing logstash-output-jdbc
Installation successful

方法二(离线安装logstash-output-jdbc.zip组件)：

同样切换到logstash的bin目录下，使用命令：
注：我的logstash-output-jdbc.zip文件在桌面(file:后面是logstash-output-jdbc.zip的路径)

logstash-plugin install file:/root/Desktop/logstash-output-jdbc.zip

上述两种方法安装完后使用命令查看是否组件加载成功：

logstash-plugin list | grep jdbc

结果如下：

logstash-integration-jdbc
|__ logstash-input-jdbc
|__ logstash-filter-jdbc_streaming
|__ logstash-filter-jdbc_static
logstash-output-jdbc

.

4.配置conf文件启动logstash

切换到logstash的config目录下(当前处于logstash目录下)：

logstash]$ cd config/

创建打开一个conf文件1.conf：

使用命令查看是否安装完成：

```powershell
logstash-plugin list | grep jdbc

结果如下：

vim 1.conf

内容如下（按下 i 键即可插入文字）：

input{
   
   
  stdin{
   
   
  }
}
output{
   
   
  stdout{
   
   

  }
}

保存并退出（按下ESC键，并输入 :wq）

启动1.conf命令（当前处于logstash文件下）：

bin/logstash -f config/1.conf

出现如下提示并且不自动退出即为成功（若当前启动或后续其他conf文件在启动时直接自动退出，应当返回检查conf文件内容是否书写正确，格式是否错误）：

Successfully started Logstash API endpoint {
   
   :port=>9600}

输入Mary，出现如下所示信息即为成功：

.

5.配置mysql用于接收logstash输入的数据

打开命令窗口输入数据库命令：
password为自己数据库的root密码

mysql -uroot -ppassword

创建新数据库logstash：

create database logstash character set utf8;

创建新数据表logs：

use logstash;

create table logs(  
id bigint primary key auto_increment,  
message varchar(4000),  
host varchar(100),  
create_time timestamp default now());

创建完数据表后，安装配置数据库连接工具：
在logstash的vendor文件夹下新建一个名为jar的文件夹，再在jar下新建一个jdbc的文件夹
最后将插件mysql-connector-java-5.1.47.jar放在jdbc文件夹内：

[root@node1 jdbc]$ pwd
/root/Desktop/logstash/vendor/jar/jdbc
[root@node1 jdbc]$ ll
total 984
-rw-r--r-- 1 root root 1007502 6\u6708   4 15:08 mysql-connector-java-5.1.47.jar

切换到logstash的config文件夹下，新建配置文件2.conf：

vim 2.conf

内容如下（password为自己数据库root用户密码）：

input{
   
   
  stdin{
   
    }
}
output{
   
   
  jdbc{
   
   
    driver_class=>"com.mysql.jdbc.Driver"
    connection_string=>"jdbc:mysql://localhost:3306/logstash?characterEncoding=UTF-8"
    username=>"root"
    password=>"password"
    statement=>["insert into logs(message,host) values(?,?)","message","host"]
  }
}
output{
   
   
  stdout{
   
     }
}

保存并退出
切换到logstash的主目录下启动logstash配置2.conf：

bin/logstash -f config/2.conf

成功后输入一下测试（启动成功后依次输入Jack和Mary Rose）：

然后我们需要去数据库确认是否安装成功，启动命令进入logstash数据库：

select * from logs;

结果如下所示，即为插入成功：

+----+-----------+------------+---------------------+
| id | message   | host       | create_time         |
+----+-----------+------------+---------------------+
|  1