JineD的博客

在浏览器访问skywalking-ui界面。

Promtail 是负责收集日志发送给 loki 的代理程序，Promtail 默认通过一个文件进行配置，其中包含 Promtail 服务端信息、存储位置以及如何从文件中抓取日志等配置。要指定加载哪个配置文件，只需要在命令行下通过参数传递 YAML 配置文件即可。此外我们还可以通过在配置文件中使用环境变量引用来设置需要的配置，但是需要在命令行中配置。然后可以使用${VAR}来配置，其中VAR其中是在环境变量未定义的情况下要使用的默认值。默认的。

Promtail 是 Loki 官方支持的日志采集端，在需要采集日志的节点上运行采集代理，再统一发送到 Loki 进行处理。除了使用 Promtail，社区还有很多采集日志的组件，比如 fluentd、fluent bit 等，都是比较优秀的。但是 Promtail 是运行 Kubernetes 时的首选客户端，因为你可以将其配置为自动从 Promtail 运行的同一节点上运行的 Pod 中抓取日志。

简介由于ELK 开源版本不提供告警模块,网络异常日志只能通过ELK 过滤查看,无法实现告警实时推送,存在告警遗漏等问题！ 本着能用机器做的事情就不要人去介入的懒惰原则实现网络设备异常日志自动化监控告警。实现思路使用 logstash-output-zabbix 插件,将logstash收集到的数据过滤出异常日志输出到ZABBIX实现告警推送。安装logstash-output-zabbix插件/usr/share/logstash/bin/logstash-plugin inst

filebeat安装 # 下载filebeat包wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.4.2-linux-x86_64.tar.gz# 解压tar -xvf filebeat-7.4.2-linux-x86_64.tar.gz -C /datamv filebeat-7.4.2-linux-x86_64.tar.gz filebeatcd filebeat# 采集mysql慢日志..

详情见官网：https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-input-log.htmltype: log #input类型为logenable: true #表示是该log类型配置生效paths： #指定要监控的日志，目前按照Go语言的glob函数处理。没有对配置目录做递归处理，比如配置的如果是：- /var/log/* /*.log #则只会去/var/log目录的所有子目录中寻找以".log"结尾的文

为了保证应用日志数据的传输安全，我们可以使用SSL相互身份验证来保护Filebeat和Logstash之间的连接。 这可以确保Filebeat仅将加密数据发送到受信任的Logstash服务器，并确保Logstash服务器仅从受信任的Filebeat客户端接收数据。下面就讲述一下配置Filebeat与Logstash之间进行加密通信的方法。全文是在CentOS7上基于Elastic 7.5.0技术栈所验证的。需要一个自签的CA证书，以及使用该CA证书签署的两份数据证书。一份是给Logstash作为ser

使用和 elasticsearch 相同版本镜像 7.4.0（最好和es版本一样，免去一大堆麻烦，logstash的版本选择也一样）1、下载Kibana镜像# 下载Kibana镜像 docker pull kibana:7.4.0# 查看镜像docker images2、编辑kibana.yml配置文件kibana.yml配置文件放在宿主机/root/kibana/目录下，内容如下：#Default Kibana configuration for docker targe..

背景在ELK架构中，使用logstash收集服务器中的日志并写入到Elasticsearch中，有时候需要对日志中的字段mapping进行特殊的设置，此时可以通过自定义模板template解决，但是因为logstash默认会向Elasticsearch提交一个名为logstash的模板，所以在定义logstash配置文件时有一些关键点需要注意。本文基于logstash-5.6.4和elastcisearch-5.6.4对需要注意的关键点进行列举。logstash的默认模板默认的logstash模

参考： https://blog.51cto.com/12217124/2424209 CentOS7设置systemd管理Logstash服务遇到的坑 （因为端口小于1024需要用root用户造成的）Logstash官网最新版下载地址以及YUM源：https://www.elastic.co/cn/downloads/logstashLogstash最常见的运行方式即命令行运行 ./bin/logstash -f logstash....

概要今天在群里一个关于在 logstash 的配置目录存在多个配置文件时候如何处理的问题？我说是加载所有配置文件并合并为一个。lcy@lcy:~/ELK/logstash$ sudo /opt/logstash/bin/logstash --help[sudo] password for lcy:Usage:/bin/logstash agent [OPTIONS]Options:-f, --config CONFIG_PATH Load the logstash confi.

1. 安装 logstash安装过程很简单，直接参照官方文档： https://www.elastic.co/guide/en/logstash/current/installing-logstash.html# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch# vim /etc/yum.repos.d/logstash.repo[logstash-6.x]name=Elastic repository ..

$ ./bin/logstash -f ./temp/std_std.conf 错误提示：Sending Logstash logs to /usr/local/logstash/logstash-6.5.0/logs which is now configured via log4j2.properties[2018-11-20T12:23:45,931][WARN ][logstash.config.source.multilocal] Ignoring the 'pipeline..

参考了:https://blog.youkuaiyun.com/alan_liuyue/article/details/78361431 https://www.cnblogs.com/jstarseven/p/7707499.html步骤一、新建文件 template-es.json (名字可自定义)，内容如下：{ "template": "*", "version": 50001, "settings": { "index.ref...

#使用分层表单来设置管道的批处理大小和批处理延迟 pipeline: batch: size: 125 #管道批处理大小 delay: 5 #管道批处理延迟#若要表示与平面键相同的值： pipeline.batch.size: 125 pipeline.batch.delay: 5#节点名称，在集群中具备唯一性，默认为logstash主机的主机名node.name: logstast-node1#.

安装logstash-input-jdbc插件参考：https://blog.youkuaiyun.com/yeyuma/article/details/50240595#quote重点是要修改: /opt/logstash/Gemfile里面的source值为新的源的地址，源地址以‘/’结束#logstash的配置文件需要自己创建，一下是我自己的配置文件cat mysql_conf/mysql.confinput { stdin { } jdbc { #数据库地址

进入Centos7系统示例以Centos7系统为例若是windows系统则进入"命令提示符"做修改查看当前使用的源地址。◆输入：gemsources删除默认的源地址。◆输入：gemsources-rurl地址注：默认的url地址后必须有”/”,否则删不掉。添加淘 宝的源地址。◆输入：gemsources-aurl地址注：国内使用淘宝的源比较稳定，且安装或更新网速都比较快。更新源的缓存◆输入：gemsources-u更新源的缓存后即完成了...