镜水灵动

一.canal概述与安装1.1 简述canal模拟mysql slave交互协议，伪装成mysql一个从节点，向mysql master发送dump协议，mysql master收到dump请求之后，开始推送binary log 给slave。canal解析binary log对象即byte流。1.2 安装1.2.1 canal.deployer安装(1)开启mysql bi...

1 简介本文说明使用logstash来实现全量和增量将mysql数据导入到es中。每一分钟执行一次。有时效性高的要求可以提高频率。2.logstash同步mysql数据到elasticsearchlogstash-plugin install logstash-output-elasticsearchlogstash-plugin install logstash-input-jd...

环境说明：springBoot2.1.3，logback，es6.8.2当我们服务节点特别多的时候，我们就需要考虑将日志统一放到ELK中去高效查找定位日志，不用去服务器一个一个找。同时整合分布式链路追踪打印日志。这里提供两种springboot整合ELK的方式。1.第一种springboot-logstash环境搭建1.1 添加maven <dependenc...

elasticsearch 6 在 centos 6 上的安装问题ERROR: bootstrap checks failedmax file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]max number of threads [1024] for user...

原文地址：https://www.cnblogs.com/valor-xh/p/6293485.html?utm_source=itdadao&amp;utm_medium=referral5.0版本的ES跟之前的版本最大的不同之处就是多了很多环境的校验，比如jdk,max-files等等。设置内核参数vi /etc/sysctl.conf# 增加下面的内容fs.file-max=65536...

非root用户xxx启动elasticsearch，报错找不到java_home.原因：elasticsearch安装的根目录权限不是当前用户所拥有的权限。 sudo chown -R xxx:xxx elasticsearch-5.0.0/

1.ELK1.1ELK安装1.2ELK基础知识1.2.1概述​ ELasticsearch是一套分布式系统，可以处理大量数据。可以作为一个分布式数据存储系统。文档数据：es可以存储和操作json文档类型的数据，这也是es的核心数据结构。存储系统：es可以对json文档类型的数据进行存储，查询，创建，更新，删除等。1.2.2它隐藏了复杂的分布式机制。​ (一）分片机制...

在生产环境中，nginx日志格式往往使用的是自定义的格式，我们需要把logstash中的message结构化后再存储，方便kibana的搜索和统计，因此需要对message进行解析。logstash自带的grok正则中有Apache的标准日志格式：COMMONAPACHELOG %{IPORHOST:clientip} %{HTTPDUSER:ident} %{USER:auth} \[...