hhkun0120的专栏

jenkins 流水线脚本详细解析Pipeline。

apache dolphin scheduler 的dolphinscheduler-daemon.sh详解

前言：在上面一节中，通过modules.d/kafka.yml的配置，完成了固定path下面日志文件读取到elasticsearch中并用kibana进行了搜索展示。而实际的应用过程中，流程是某个微服务应用程序把日志吐到kafka的某个topic中，filebeat以kafka的topic中数据作为输入，elasticsearch作为输出。这一节，我们就来实现这个过程。...

# Module: kafka# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.x/filebeat-module-kafka.html- module: kafka # All logs log: enabled: true # Set custom paths for Kafka. If left empty, # Filebeat will look under /opt. #var.ka.

前言：搭建一套elk用于日志的检索，版本选择的是7.0.0。搭建过程快速、简便。注意最好在虚拟机中搭建，不要在docker容器中搭建，要有服务器的root权限，遇到问题的时候有权限可以很好的缩短搭建时间。1、官方下载链接：kibanaelasticsearch logstash2、这个版本中的kibana还可以直接用root权限运行，只用新建一个es用户就行3、主要思路：logstash从文件和kafka 的topic读取数据进入到elasticsearch中，kibana做图形化检索。...

ipc.Client: Retrying connect to serverERROR [Thread-68] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Exception while unregistering java.lang.NullPointerException