qq_28808697的博客

Winlogbeat à kafka à logstash à elasticsearch1. WinlogbeatWinlogbeat 配置： output.kafka: # initial brokers for reading cluster metadata # Place your HELK IP(s) here (keep the port). # If you o...

报错：elasticsearch.exceptions.ConnectionTimeout: ConnectionTimeout caused by - ReadTimeoutError(HTTPConnectionPool(host='localhost', port=9200): Read timed out. (read timeout=10))mean the request didn't end in the specified time (by default, timeout=10)..

1、filter { # Perform hashing on NXLog differently than other logs else if [type] == "nxlog-winevent" { # 通过使用一个连续的hash来替换值来fingerprint 字段。 fingerprint { # source字段的名称，其内容将用于创建...

在 kibana的Lucene中使用ElasticSearch Query DSL时，要去掉ElasticSearch Query DSL中的 "query" 字样。例如：{ "constant_score": { "filter": { "bool": { "must": [ { ...

1、 搜索词周围的引号将启动词组搜索。 例如，message:"Quick brown fox"将在message字段中搜索短语 “quick brown fox”。 如果没有引号，您的查询将通过message字段的已配置分析器分解为token，并且将匹配包含这些token的文档，而不考虑其出现的顺序。 这意味着带有"quick brown fox"的文档将匹配，但是"quick fox...

1、docker 安装 elasticsearch 和kibana如果安装elastic官网指定的镜像地址，docker.elastic.co/elasticsearch/elasticsearch:7.5.2 ，会报错net/http: request canceled while waiting for connection可以在 docker-compose 文件中，将image...

例如：GET /_search{ "aggs" : { "genres" : { "terms" : { "field" : "genre" } } }}响应：{ ... "aggregations" : { "genres" : { "doc_co...

Timelion是时间序列数据可视化工具，使您可以在单个visualization中组合完全独立的数据源。 它由一种简单的表达语言所驱动，您可以使用该表达语言来检索时间序列数据，执行计算以找出复杂问题的答案并可视化结果。1、split函数的参数的值必须是一个字段名，后跟一个冒号，后跟一个数字值.例如：以下表达式显示了样本数据中前4个国家的流量：.es(split=country:...

在一个dashboard中，想要查明其中一个visualization是一个什么类型，例如：在User Investigation Dashboard该dashboard中想要知道Sysmon_Eventcount-per-host该visualization是什么类型。可以打开Visualization，输入Sysmon_Eventcount，会自动提示Sysmon_Eventco...

保存Discover search，可以将其用在visualizations和dashboards中1、在Discover页面， 编辑好search信息，点击Save2、跳出对话框Save search， 保存Discover search，可以将其用在visualizations和dashboards中。例如，在一个dashboard页面， 点击Edit-->Add...

先决条件：创建bank* 和 index pattern1、Pie chart使用饼形图深入了解银行帐户数据中的帐户余额。1）Visualize-->Create new visualization -->Pie -->Choose a source，选择bank* index pattern最初，饼形图包含单个“切片”。 这是因为默认搜索匹配所有文档。...

您拥有Global Flight dashboard的编辑权限，因此可以更改visualizations的外观和行为。 例如，您可能想查看哪个航空公司的平均票价最低。① 在侧面导航中，单击“Recently viewed”，然后打开“Global Flight Dashboard”②在菜单栏，点击Edit。每个visualization的右上角会出现一个齿轮图标③ 在Aver...

1、dashboarddashboard通常是实时显示，可视化，搜索和地图的集合。dashboard提供对数据的概览，使您能够深入了解数据的详细信息。使用dashboard， 可以：1）添加可视化，保存的搜索和地图以进行并排分析2）排列仪表板元素以准确显示所需要的3）自定义时间范围以仅显示所需的数据4）检查和编辑仪表板元素，以准确找出要显示的数据类型创建dashboar...

1、创建索引my_index，设置动态模板，该动态模板的作用是将所有integer数据类型的字段映射成integer而不是long类型，将所有string数据类型的字段映射成text和keyword类型。PUT my_index{ "mappings": { "dynamic_templates": [ { "integers": { ...

1、Index pattern 索引模式要在Kibana中可视化和浏览数据，必须创建索引模式。 索引模式告诉Kibana哪些Elasticsearch索引包含您要使用的数据。 索引模式可以匹配单个索引，多个索引和汇总索引。只需开始在Index pattern字段中输入，Kibana就会查找与您的输入匹配的Elasticsearch索引的名称。...

1、Mapping是定义文档及其包含的字段的存储和索引方式的过程。 例如，使用Mapping定义： 哪些字符串字段应视为full text字段。 哪些字段包含数字，日期或地理位置。 日期值的格式。 自定义规则来控制动态添加字段的映射。每个索引都有一个mapping type，该mapping type确定如何对文档建立索引。...

Dockerfile 记录单个镜像的构建过程， docker-compse.yml 记录一个项目(project, 一般是多个镜像)的构建过程参考：dockerfile 与 docker-compose的区别docker-compose在构建某个镜像时可以指定dockerfile来构建该镜像参考：docker-compose.yml模板文件...

一、安装elasticsearch安装java安装Oracle Java，不使用yum安装openjava安装elasticSearch下载elasticSearch压缩包从官网https://www.elastic.co/cn/downloads/elasticsearch，下载最新版安装包解压到/usr/local/tar -zxvf elasticsearch-7.5.0...

1、新建用户esadduser es2、给用户es 设置密码passwd es3、将es用户加入root用户组usermod -aG root es使用id es命令，查看es用户已经成功添加到root用户组4、查看目录elasticsearch-7.6.0的访问权限ls -ld elasticsearch-7.6.0该目录属于root用户和roo...

Since filters are evaluated in sequence, make sure that the geoip section is after the grok section of the configuration file and that both the grok and geoip sections are nested within the filter se...

报错："Caused by: java.io.IOException: failed to find metadata for existing index logs-endpoint-winevent-system-2019.12.01 [location: t43wxC1yQtOMOgiLSg7JoA, generation: 6]"解决办法： 不仅删除nodes/0，还要删除n...

logstash --version

term是代表完全匹配，即不进行分词器分析，文档中必须包含整个搜索的词汇match也能模糊匹配，并且不区分字段值的大小写。match模糊匹配，先对输入进行分词，对分词后的结果进行查询，文档只要包含match查询条件的一部分就会被返回。和match查询类似，match_phrase查询首先解析查询字符串来产生一个词条列表。然后会搜索所有的词条，但只保留包含了所有搜索词条的文档，并且词条...

1、安装es时，curl http://localhost:9200或者curl http://127.0.0.1:9200能成功，但是curl http://218.197.10.32:9200不能成功，用其他主机的浏览器输入访问也不能成功 因为 network.host: 192.168.10.32前面的#号没有去掉，被注释了，没有生效。还有一种解决办法： network....

1、elasticsearch基础知识以及创建索引2、ES（ElasticSearch） 索引创建3、Elasticsearch索引原理4、ElasticSearch学习（一）------建立索引库，设置索引规则5、初探 Elasticsearch Index Template（索引模板)6、索引模板 | Elasticsearch: 权威指南 | Elastic7、查看e...

1、观察ES集群状态：curl http://10.0.7.220:9200/_cluster/health?pretty2、观察集群内各索引状态：curl http://10.0.7.220:9200/_cat/indices参考：Eleastisearch6.0.0由单节点升级到多节点集群cluster时候出现的分片同步错误问题解3、ES 查询语句：curl -XGET ...