
ELK
文章平均质量分 59
没枕头我咋睡觉
邮箱 pillowsleep@163.com
展开
-
【ELK】beats通过配置删除输出字段和通过源码控制输出字段
一、修改配置1、未设置前2、通过配置删除service,host,event,metricset字段processors: - drop_fields: fields: ["host","event","metricset","service"]3、设置后参考文档:Define processors | Filebeat Reference [8.1] | Elastic二、通过源码修改涉及文件:libbeat/outputs/codec/.原创 2022-03-22 14:03:06 · 413 阅读 · 0 评论 -
【ELK】metricbeat扩展自定义配置字段
一、增加config.go 在上文中创建的module中,在flow目录中增加config.go,代码示例:package flowtype config struct { NETCARD string `config:"flow.NETCARD"`}func defaultConfig() config { return config{ NETCARD: "ens33", }}二、...原创 2022-03-21 13:54:55 · 783 阅读 · 0 评论 -
【ELK】metricbeat 扩展module
一、下载源码: https://github.com/elastic/beats二、创建module 1、执行 make create-metricset 执行命令后过程如下: 依次输入module和metricset,输入完成后可以在metricbeat/module目录下可以看到新增加一个domain目录,并且domain目录下有个flow目录。 如果在执行...原创 2022-03-18 16:46:39 · 730 阅读 · 0 评论 -
【ELK】grok正则匹配
1、Grok简介: grok是logstash最重要的插件之一,主要用来通过正则匹配解析抓取到的日志 。2、Grok预设字段匹配 > 语法:%{SYNTAX:SEMANTIC} > 举例: > 预设字段参考网站 :https://github.com/garethr/logstash-patterns/blob/master/patterns/logstash3、Grok自定义字段 ...原创 2021-01-27 10:51:29 · 2180 阅读 · 0 评论 -
【ELK】filebeat连接kafka配置TLS/SSL连接
一、生成CA证书1 生成根证书的私钥openssl genrsa -out ./ca.key 2 利用私钥生成一个根证书的申请,一般证书的申请格式都是csr。所以私钥和csr一般需要保存好openssl req -new -key ca.key -out ca.csr 3 自签名的方式签发我们之前的申请的证书,生成的证书为ca.crtopenssl x509 -req -days 3650 -in ca.csr -signkey ca.key -out ca.crt4 为我们的原创 2021-01-08 16:37:13 · 3388 阅读 · 0 评论 -
【ELK】 ES开启安全密码认证后,es-head连接方式
一、elasticsearch.yml 配置http.cors.enabled: truehttp.cors.allow-origin: "*" http.cors.allow-headers: Authorization,X-Requested-With,Content-Type,Content-Length二、es-head连接方式 在web界面访问时,该框由原来的 https://192.168.244.140:9200 替换为https://192.168.244...原创 2021-01-05 20:58:09 · 2635 阅读 · 0 评论 -
【ELK】开启filebeat与ES之间TLS加密通信
一、测试环境 系统:ubantu16.04 filebeat版本:7.9.2 ES版本:7.9.2二、生成证书 1、生成ca根证书# 生成根证书的私钥openssl genrsa -out ./ca.key# 利用私钥生成一个根证书的申请,一般证书的申请格式都是csr。所以私钥和csr一般需要保存好openssl req -new -key ca.key -out ca.csr# 自签...原创 2021-01-05 19:39:32 · 1775 阅读 · 0 评论 -
【ELK】logstash通过配置文件对日志时间格式更改
input { file { #ModSecurity审计日志的存放位置,请根据实际情况进行修改 path => ["/var/log/modsec_audit.log"] start_position => "beginning" }}filter{ json{ source => "message" remove_field => ["message"] } #以下到filter节点结束的内容,是为了将ModSecurit.原创 2020-11-10 08:39:23 · 1052 阅读 · 0 评论 -
【ELK】es restful api常用方式
# 查看状态GET /_cat/health?v############### 查看索引GET /_cat/indices?v############### 增加文档PUT /index/type/id############### 查看文档GET /index/type/id############### 查询类型全部名称GET /index/type/_search############### 查询名字里面带有牙膏的文档,并且价格倒序GET /ecommer.原创 2020-11-02 10:53:41 · 180 阅读 · 0 评论 -
【ELK】logstash multiple piplines 配置方式
# 在config/pipelines.yml里加入如下配置- pipeline.id: my-pipeline_1 path.config: "/etc/path/to/p1.config" pipeline.workers: 3- pipeline.id: my-other-pipeline path.config: "/etc/different/path/p2.cfg" queue.type: persisted# 使用注意事项 1: 在...原创 2020-09-25 13:47:13 · 521 阅读 · 0 评论 -
【ELK】 本地搭建kafka环境
<一> 本地配置JAVA环境<二> kafka源码安装 1 解压源码 tar zxvfkafka_2.11-2.0.1.tgz 2 配置文件解析 kafka需要安装zookee使用,但kafka集成zookeeper,在单机搭建时可直接使用。使用需配置kafka_2.11-1.1.0/config 下的“zookeeper.properties” ...原创 2020-09-14 13:56:54 · 262 阅读 · 0 评论 -
【ELK】Filebeat使用ingest节点解析Nginx日志并导入elasticsearch
1 管道配置 在kibana上面通过Dev Tools 定义管道 举例如下:PUT _ingest/pipeline/pipeline-nginx-access{ "description" : "nginx access log", "processors": [ { "grok": { "field": "message", "patterns": ["%{IP:clientip} - - \\[%{DATA...原创 2020-09-03 17:58:54 · 829 阅读 · 1 评论 -
【ELK】FileBeat配置说明
Filebeat Configuration Example ############### Filebeat #############filebeat: # List of prospectors to fetch data. prospectors: - # paths指定要监控的日志 paths: - /var/log/*.log #指定被监控的文件的编码类型使用plain和utf-8都是可以处理中文日志.原创 2020-09-03 10:31:33 · 454 阅读 · 0 评论