ELFK日志分析系统

已于 2023-06-14 15:09:10 修改
阅读量253 收藏
点赞数
分类专栏： 服务搭建 文章标签： elasticsearch java docker elk
于 2023-06-14 10:11:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43526338/article/details/131201798
版权

一、Docker部署（注意要统一版本）

启动顺序 ES、Kibana、Logstash、filebeat

1.1Elasticsearch

1.1.1创建映射文件

1）xxx/config、xxx/plugins、xxx/data

2）config下创建elasticsearch.yml文件：

#es的集群名称(填写对应集群名称)
cluster.name: "***"
# 0.0.0.0为不限制，生产环境请设置为固定IP
network.host: 0.0.0.0
# 开启x-pack安全验证 访问时需要密码
#xpack.security.enabled: true
# 关闭跨域验证（可以不开启）
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization,X-Requested-With,Content-Type,Content-Length
# 侦听端口
http.port: 9200
# 不在启动的时候锁定内存
bootstrap.memory_lock: false

1.1.2启动命令

docker run -d --name elasticsearch --network test  --restart=always  --privileged=true  -e TZ=Asia/Shanghai  -e "discovery.type=single-node" -p 9200:9200 -p 9300:9300 -v /xxx/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /xxx/data:/usr/share/elasticsearch/data -v /xxx/plugins:/usr/share/elasticsearch/plugins elasticsearch:7.17.7

注意：命令中 ‘xxx’为对应服务器文件位置，末尾elasticsearch:7.17.7根据实际镜像与版本调整。

1.1.3验证

浏览器输入 http://ip:9200/ ，显示如下信息，则ES启动成功。

{
  "name" : "fb672500ed6d",
  "cluster_name" : "test-cluster",
  "cluster_uuid" : "_w6PDMDdR0KUdUkNcSW6XQ",
  "version" : {
    "number" : "7.17.7",
    "build_flavor" : "default",
    "build_type" : "docker",
    "build_hash" : "78dcaaa8cee33438b91eca7f5c7f56a70fec9e80",
    "build_date" : "2022-10-17T15:29:54.167373105Z",
    "build_snapshot" : false,
    "lucene_version" : "8.11.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

1.2Kibana

1.2.1创建映射文件

1）xxx/config

2）config下创建kibana.yml文件：

server.name: kibana
server.host: "0"
#ES地址
elasticsearch.hosts: [ "http://ip:port" ]
#elasticsearch.username: elastic
#elasticsearch.password: 4BT5mSA2Weshq4zbNH1U
xpack.monitoring.ui.container.elasticsearch.enabled: true
#汉化
i18n.locale: "zh-CN"

1.2.2启动命令

docker run -d --name kibana --network test --restart=always --privileged=true -e TZ=Asia/Shanghai -p 5601:5601 -v /xxx/config/kibana.yml:/usr/share/kibana/config/kibana.yml kibana:7.17.7

注意：命令中 ‘xxx’为对应服务器文件位置，末尾kibana:7.17.7根据实际镜像与版本调整。

1.2.3验证

http://ip:5601/

1.3Logstash

1.3.1创建映射文件

1）xxx/config、xxx/pipeline

2）config下创建logstash.yml、pipelines.yml

############### logstash.yml ##############
#http.host: "0.0.0.0"
xpack.monitoring.enabled: true
#ES地址
xpack.monitoring.elasticsearch.hosts: [ "http://ip:port" ]
#path.config: /usr/share/logstash/conf.d/*.conf
#path.logs: /var/log/logstash/logs
config:
  reload:
    automatic: true
    interval: 3s
xpack:
  management.enabled: false
  monitoring.enabled: false

############### pipelines.yml ###############
- pipeline.id: test
  path.config: "/usr/share/logstash/pipeline/test.conf"
- pipeline.id: mysql
  path.config: "/usr/share/logstash/pipeline/mysql.conf"

3）pipeline下创建test.conf、mysql.conf，下载并放入mysql-connector-j-8.0.31.jar

###################### mysql.conf ######################
input {
        stdin {}
        jdbc {
                type => "jdbc"
                 # 数据库连接地址
                jdbc_connection_string => "jdbc:mysql://ip:port/db_log?useSSL=false&useUnicode=true&&characterEncoding=UTF-8&serverTimezone=GMT%2B8&allowMultiQueries=true"
                 # 数据库连接账号密码；
                jdbc_user => "XXX"
                jdbc_password => "XXX"
                 # MySQL依赖包路径；
                jdbc_driver_library => "/usr/share/logstash/pipeline/mysql-connector-j-8.0.31.jar"
                 # mysql 驱动
                jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
                 # 数据库重连尝试次数
                connection_retry_attempts => "3"
                 # 判断数据库连接是否可用，默认false不开启
                jdbc_validate_connection => "true"
                 # 数据库连接可用校验超时时间，默认3600S
                jdbc_validation_timeout => "3600"
                 # 开启分页查询（默认false不开启）；
                jdbc_paging_enabled => "true"
                 # 单次分页查询条数（默认100000,若字段较多且更新频率较高，建议调低此值）；
                jdbc_page_size => "500"
                 # statement为查询数据sql，如果sql较复杂，建议配通过statement_filepath配置sql文件的存放路径；
                 # sql_last_value为内置的变量，存放上次查询结果中最后一条数据tracking_column的值，此处即为create_time；
                 # statement_filepath => "mysql/jdbc.sql"
                statement => "select * from db_log.log_info WHERE create_time>= :sql_last_value order by create_time asc"
                 # 是否将字段名转换为小写，默认true（如果有数据序列化、反序列化需求，建议改为false）；
                lowercase_column_names => true
                 # 日志等级: fatal,error,warn,info,debug，默认info；
                sql_log_level => warn
                 # 是否记录上次执行结果，true表示会将上次执行结果的tracking_column字段的值保存到last_run_metadata_path指定的文件中；
                record_last_run => true
                 # 需要记录查询结果某字段的值时，此字段为true，否则默认tracking_column为timestamp的值；
                use_column_value => true
                 # 需要记录的字段，用于增量同步，需是数据库字段
                tracking_column => "create_time"
                 # 需要记录的字段的类型 Value can be any of: numeric,timestamp，Default value is "numeric"
                tracking_column_type => timestamp
                 # record_last_run上次数据存放位置；
                last_run_metadata_path => "mysql/last_id.txt"
                 # 是否清除last_run_metadata_path的记录，需要增量同步时此字段必须为false；
                clean_run => false
                 #
                 # 同步频率(分 时 天 月 年)，默认每分钟同步一次；
                schedule => "* * * * *"
        }
}
 
output {
  #ES地址
  elasticsearch {
  hosts => "http://ip:port"
  #索引名称
  index => "mysql_log"
  document_id => "%{id}"
  }
  stdout {
 #日志输出
        codec => json_lines
  }
}

#######################test.conf#######################
input {
        beats {
                # 监听5044端口
                port => "5044"
                # 关闭ssl验证
                ssl => false
                # 指定输入格式为json
                codec => json
        }
}
output {
        stdout {
        # 指定输出内容为ruby处理后的内容
        codec => rubydebug
    }
    	#ES地址、索引
        elasticsearch {
                hosts => [ "http://ip:port" ]
                index => "test"
        }
}

1.3.2启动命令

docker run -d --name logstash --network test--restart=always --privileged=true -e TZ=Asia/Shanghai -p 5044:5044 -p 9600:9600 -v /xxx/pipeline/:/usr/share/logstash/pipeline/  -v /xxx/config/:/usr/share/logstash/config/  logstash:7.17.7

注意：命令中 ‘xxx’为对应服务器文件位置，末尾logstash:7.17.7根据实际镜像与版本调整。

1.4Filebeat

1.4.1创建映射文件

1）xxx/config

2）config下创建filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  encoding: UTF-8
  paths:
    - /usr/share/filebeat/logs/*/*.log
  fields:
    logfrom: test
# logstash地址 
output.logstash:
  hosts: ["http://ip:port"]

1.4.2启动命令

docker run -d --name filebeat --network test--restart=always --privileged=true -e TZ=Asia/Shanghai -v /xxx/config/filebeat.yml:/usr/share/filebeat/filebeat.yml -v /xxx/:/usr/share/filebeat/logs/ elastic/filebeat:7.17.7

注意：命令中 ‘xxx’为对应服务器文件位置，末尾elastic/filebeat:7.17.7 根据实际镜像与版本调整。

-v /xxx/:/usr/share/filebeat/logs/中的xxx为项目日志文件位置。

二、tar.gz部署

1、Elasticsearch

1、解压tar包

tar -zxvf elasticsearch-xxx.tar.gz

2、进入安装目录：

cd /xxx/elasticsearch-xxx/

3、修改config/elasticsearch.yml

vim config/elasticsearch.yml

添加以下几项

http.port: 9200   #端口
http.cors.enabled: true   #设置跨域
http.cors.allow-origin: "*"  #设置访问

4、添加es用户

adduser es

5、给es用户赋权限

chown -R es /usr/local/elasticsearch

6、切换至es用户，启动ES

su es
./bin/elasticsearch -d

7、访问：

http://ip:9200

8、操作后切回root用户

2、Kibana

1、解压tar包

tar -zxvf kibana-xxx.tar.gz

2、修改配置文件：

vim ./config/kibana.yml
# 服务端口
server.port: 5601
# 服务器ip  本机
server.host: "0.0.0.0"
# Elasticsearch 服务地址
elasticsearch.hosts: ["http://ip:9200"]
# 设置语言为中文
i18n.locale: "zh-CN"

3、给 es 用户授予 kibana 目录的权限：

chown -R es /usr/local/kibana-xxx

4、启动

./bin/kibana &

5、访问地址

 http://ip:5601/

3、Logstash

1、解压tar包

tar -zxvf logstash-xxx.tar.gz

2、config同目录下创建以下目录结构

myconfig
    -mysql
        -mysql.conf
        -mysql-connector-j-8.0.31.jar(下载jar包放此处,版本与数据库匹配即可)
    -filebeat
        -filebeat.conf
### mysql.conf
input {
        stdin {}
        jdbc {
                type => "jdbc"
                 # 数据库连接地址
                jdbc_connection_string => "jdbc:mysql://ip:port/db_log?useSSL=false&useUnicode=true&&characterEncoding=UTF-8&serverTimezone=GMT%2B8&allowMultiQueries=true"
                 # 数据库连接账号密码；
                jdbc_user => "XXX"
                jdbc_password => "XXX"
                 # MySQL依赖包路径；
                jdbc_driver_library => "/xxx/mysql-connector-j-8.0.31.jar"
                 # mysql 驱动
                jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
                 # 数据库重连尝试次数
                connection_retry_attempts => "3"
                 # 判断数据库连接是否可用，默认false不开启
                jdbc_validate_connection => "true"
                 # 数据库连接可用校验超时时间，默认3600S
                jdbc_validation_timeout => "3600"
                 # 开启分页查询（默认false不开启）；
                jdbc_paging_enabled => "true"
                 # 单次分页查询条数（默认100000,若字段较多且更新频率较高，建议调低此值）；
                jdbc_page_size => "500"
                 # statement为查询数据sql，如果sql较复杂，建议配通过statement_filepath配置sql文件的存放路径；
                 # sql_last_value为内置的变量，存放上次查询结果中最后一条数据tracking_column的值，此处即为create_time；
                 # statement_filepath => "mysql/jdbc.sql"
                statement => "select * from db_log.log_info WHERE create_time>= :sql_last_value order by create_time asc"
                 # 是否将字段名转换为小写，默认true（如果有数据序列化、反序列化需求，建议改为false）；
                lowercase_column_names => true
                 # 日志等级: fatal,error,warn,info,debug，默认info；
                sql_log_level => warn
                 # 是否记录上次执行结果，true表示会将上次执行结果的tracking_column字段的值保存到last_run_metadata_path指定的文件中；
                record_last_run => true
                 # 需要记录查询结果某字段的值时，此字段为true，否则默认tracking_column为timestamp的值；
                use_column_value => true
                 # 需要记录的字段，用于增量同步，需是数据库字段
                tracking_column => "create_time"
                 # 需要记录的字段的类型 Value can be any of: numeric,timestamp，Default value is "numeric"
                tracking_column_type => timestamp
                 # record_last_run上次数据存放位置；
                last_run_metadata_path => "mysql/last_id.txt"
                 # 是否清除last_run_metadata_path的记录，需要增量同步时此字段必须为false；
                clean_run => false
                 #
                 # 同步频率(分 时 天 月 年)，默认每分钟同步一次；
                schedule => "* * * * *"
        }
}

output {
  #ES地址
  elasticsearch {
  hosts => "http://ip:port"
  #索引名称
  index => "mysql_log"
  document_id => "%{id}"
  }
  stdout {
 #日志输出
        codec => json_lines
  }
}
### filebeat.conf
input {
        beats {
                # 监听5044端口
                port => "5044"
                # 关闭ssl验证
                ssl => false
                # 指定输入格式为json
                codec => json
        }
}
output {
        stdout {
        # 指定输出内容为ruby处理后的内容
        codec => rubydebug
    }
        #ES地址、索引名称
        elasticsearch {
                hosts => [ "http://ip:port" ]
                index => "test"
        }
}

3、修改pipelines.yml

- pipeline.id: test
  pipeline.workers: 1
  path.config: "/xxx/myconfig/filebeat/filebeat.conf"

- pipeline.id: mysql
  pipeline.workers: 1
  path.config: "/xxx/myconfig/mysql/mysql.conf"

4、启动

nohup ./bin/logstash &

4、Filebeat

1、解压tar包

tar -zxvf filebeat-xxx.tar.gz

2、修改配置文件

vim /xxx/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  encoding: UTF-8
  # 日志路径
  paths:
    - /xxx/*/*.log
  fields:
    logfrom: test
# logstash地址
output.logstash:
  hosts: ["http://ip:port"]

3、启动：

- ./filebeat -e -c filebeat.yml
- ./filebeat &
Logstash配置文件语法详解
DevEnigma的博客
08-31 366
上述示例只是Logstash配置文件语法的一小部分，Logstash还提供了许多其他的输入、过滤和输出插件，以满足不同的数据处理需求。Logstash是一个开源的数据处理工具，用于收集、转换和发送数据。本文将详细介绍Logstash配置文件的语法，并提供相应的源代码示例。块用于指定数据的输出目的地，可以是文件、消息队列或其他数据存储系统。过滤器根据指定的模式对输入的消息进行解析，并提取出特定的字段。块用于指定数据的输入源，可以是文件、网络端口或其他数据源。插件监听5000端口，接收通过网络发送的数据。
ELK、ELFK 日志分析系统
最新发布
这里没有简介
05-24 1333
输入采用标准输入，输出采用标准输出（类似管道）#执行 ctrl+c 退出#使用 rubydebug 输出详细格式显示，codec 为一种编解码器#使用 Logstash 将信息写入 Elasticsearch 中结果不在标准输出显示，而是发送至 Elasticsearch 中，可浏览器访问 http://172.168.1.11:9100/ 查看索引信息和数据浏览。Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）。
安装 elk 7.17.0 详细流程
2303_77130572的博客
07-24 1080
详细讲了如何安装elk全过程
LogStash
Vision
11-10 1739
timestamp 用来标记事件的发生时间。因为这个字段涉及到Logstash的内部流转，所以必须是一个joda对象，如果你尝试自己给一个字符串字段重命名为@timestamp的话，Logstash会直接报错。所以，请使用 filter/date插件来管理这个字段。 type 标记事情的唯一类型。 host 标记事情发生在哪里。 tags 标记事件的某方面属性。只是一个数组，一个时间可以有多个标签。
ELK日志监控系统搭建
General_zy的博客
08-20 800
⼀个⽇志系统应该包含以下⼏点：（1） 收集[collect]：能够采集多种来源的⽇志数据（2） 传输[transform]：能够稳定的把⽇志数据解析过滤并传输到存储系统（3） 存储[store]：存储⽇志数据（4） 分析[analyze]：⽀持 UI 分析（5） 警告[warning]：能够提供错误报告，监控机制elasticsearch是⼀个分布式、⾼扩展、⾼实时的搜索与数据分析引擎，作为存储系统是整个ELK架构的 核⼼。⽤于全⽂检索、结构化搜索、分析。
Elasticsearch7.17 七 :Logstash与FileBeat详解以及ELK整合
huaxinzhang的博客
05-26 2342
Elasticsearch7.17 七 :Logstash与FileBeat详解以及ELK整合
ELK/ELFK日志分析系统部署
sjc090132的博客
10-12 1438
ELK/ELFK日志分析系统部署
实验模拟搭建 elfk 日志分析系统
wyq2070857323的博客
04-11 879
feilbeat + Logstash + Elasticsearch + Kibana模式这是一种更加完善和灵活的架构，适合处理复杂的日志数据。在这种模式下，filebeat (beats)负责收日志文件，并将其发送到Logstash进行处理。logstash可以对日志数据进行更多的过滤、转换和增强的操作，并将其发 送到Elasticsearch进行索引。kibana则可以用来查看和分析日志数据。
ELK、ELFK日志分析系统
m0_58076958的博客
08-06 1055
ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。Logstash 配置文件基本由三部分组成：input、output 以及 filter（可选，根据需要选择使用）input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等filter：表示数据处理层，包括对数据进行格式化处理、数据类型转换、数据过滤等，支持正则表达式。
centos7安装ELFK日志分析
qq_39788924的博客
05-21 1043
centos7 yum安装ELK8.X+filebeat环境版本一、ELK下载路径（一）下载地址：Elastic官网我下载的是rpm格式（二）Wget下载在ssh工具上，可以通过wget 命令将4个rpm包进行下载下载的包就放在/elfk下，如二、elasticsearch 安装配置（一）elasticsearch 安装使用yum localinstall 安装本地rpm包，执行代码如下（示例）：安装完成会生成默认密码，可以记录下，登录kibana时需要。
Logstash使用指南_logstash输出自定义，字节大数据开发面试必问
2401_84166497的博客
04-15 645
在这里，我们将group_id设置为“my_group”，auto_offset_reset设置为“earliest”，这意味着如果从Kafka中没有找到之前的消费记录，将从最早的消息开始消费。在上面的示例中，我们首先获取Logger对象，然后获取LoggerContext对象，通过LoggerContext获取Configuration对象，再通过Configuration获取Logstash的Appender对象和Layout对象。：在安装Logstash时，可能会遇到安装失败、插件冲突等问题。
Centos7快速安装Logstash 7.17.7并实现MySQL中数据导入Elasticsearch
u011197085的博客
05-03 1247
可以通过以下命令在线安装 Logstash 7.17.7。安装完成后，需要添加环境变量。
EFLK海量日志实时分析检索系统应用实践-1.logstash介绍配置
Angus博客
08-31 253
文件目录介绍 服务启动指令， input输入 stdin 控制台的意思，也就是控制台输入， output输出方式，也是控制台输出 启动报错，提示有一个进程启动了，，但是可以启动多个，启动多个进程需要指定path data路径 然后再启动时候加上路径 指定 再次启动，默认安装一次启动是不需要配置的，用的默认路径 启动后测试简单的输入输出 指令如果配置过多控制台编写不合适，，写一个配置文件 把指令放进去 ：X! 保存并退出指令 读取配置文...
logstash多个配置文件启动的问题
热门推荐
格物致知
08-11 3万+
场景描述 创建了一个config文件夹，并且里面建立两个配置文件，内容分别为 test1.conf:input{ stdin{} }output{ stdout{ # codec=>rubydebug } }test2.conf:input{ stdin{} }output{ stdout{ codec=>rubydebug } }用启动命令 b
linux 启动logstash_logstash 运行
weixin_39931101的博客
12-22 2614
logstash linux下启动如下(守护进程)./bin/logstash agent -f conf/paycenter.conf &logstash配置测试服务器的写法：业务日志文件格式如果是按天分隔:gwp.eyimi.com_80_access_2017-07-18.loggwp.eyimi.com_80_access_2017-07-19.loggwp.eyimi.com_8...
使用logstash 运行配置文件，出现you must change the "path.data" setting
sxf_123456的博客
12-21 1万+
Logstash could not be started because there is already another instance using the configured data directory.  If you wish to run multiple instances, you must change the "path.data" setting 将原先的命令： /
ELK之logstash长久运行
杜海的博客
09-05 6846
今天介绍一下关于logstash的启动方式，以前说的都是使用/usr/local/logstash -f /etc/logstash.conf方式启动，这样就有一个麻烦，当你关闭终端，或者ctrl+c时logstash就会退出。下面介绍几种长期运行的方式。 1、service方式 使用rpm方式安装的，都可以/etc/init.d/logstash启动，编译安装的就需要你自己写启动脚本
logstash多实例运行
u013958151的博客
02-23 987
本来想通过文件夹的方式实现，但是试了之后发现不符合预期，好像是要修改什么配置内容才可以。没有找到更好方法临时用多实例方式实现。 方法很简单，只需要在但文件运行的基础上，加一个配置参数--path.data=/xxxxx就行 比如 nohup bin/logstash -f config/app.conf --path.data=/data/logstash/app >app.log & ...
轻松安装ELFK：离线压缩包解压即用指南
10. ELFK的使用场景：ELFK广泛应用于系统日志管理、网络监控、安全分析、应用搜索、业务分析等多个场景。例如，它可以用于监控服务器的运行状况，分析网站的用户访问数据，或者是快速定位系统故障等。由于其高效的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值