小P聊技术

1 部署日志模块1.1 打包参考博文： ELK 日志采集框架（二）：日志模块开发下载源码，打包成jar包，上传到服务器的 /usr/local/1.2 部署[root@localhost software]# cd /usr/local[root@localhost local]# ll-rw-r--r--. 1 root root 252554263 3月 27 18:20 collector.jar1.3 启动[root@localhost local]# nohup j

1 资源资源信息版本号备注服务器Centos7IP: 192.168.51.4kibana7.4.2优快云 kibana下载：https://download.youkuaiyun.com/download/qq_15769939/16760256官网下载地址：https://www.elastic.co/cn/downloads/past-releases#kibana2 介绍Kibana 是一个为 Logstash 和 ElasticSearch 提供的日志分析

1 资源资源信息版本号备注服务器Centos7IP: 192.168.51.4elasticsearch7.4.2IP: 192.168.51.42 介绍Elasticsearch是一个基于Apache Lucene™的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。但是，Lucene只是一个库。想要发挥其强大的作用，你需使用Java并要将其集成到你的应用中。Lucene非常复杂，你需要深入的了解

1 资源资源信息版本号备注服务器Centos7IP: 192.168.51.4logstash7.4.2IP: 192.168.51.42 介绍Logstash 是一个数据流引擎：它是用于数据物流的开源流式 ETL（Extract-Transform-Load）引擎在几分钟内建立数据流管道具有水平可扩展及韧性且具有自适应缓冲不可知的数据源具有200多个集成和处理器的插件生态系统使用 Elastic Stack 监视和管理部署Logstash 几

1 资源资源信息版本号备注服务器Centos7IP: 192.168.51.4JRE1.8如果已安装请忽略kafka2.12-2.1.0IP: 192.168.51.4zookeeper3.4.10IP: 192.168.51.42 介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等

1 资源资源信息版本号备注服务器Centos7IP: 192.168.51.4Filebeat7.4.2优快云 filebeat下载：https://download.youkuaiyun.com/download/qq_15769939/167602302 介绍Filebeat是一个日志文件托运工具。可作为一个客户端安装在你的服务器上，Filebeat可以监控日志的目录或者指定的日志文件，实时读取文件，并将其上传到Elasticsearch或Logstash进行索引

1 资源资源信息版本号备注springboot2.1.5.RELEASEspringboot-elk-demo 源码 下载：https://download.youkuaiyun.com/download/qq_15769939/167566752 配置信息2.1 pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"

1 服务架构概述通过前文中对Kafka的安装介绍以及使用，本文将介绍Kakfa参与的一套 《海量日志收集框架》，从零开始实现一个高可用的单机版的日期采集分析框架。架构使用技术： log4j2 + filebeat + kafka + logstash + elasticsearch + kibana2 服务架构设计架构图如下：日志输出 – log4j2日志收集 – filebeat日志过滤 – logstash日志持久化 – elasticsearch日志可视化 – kibana3