ElasticSearch
关注
分享
扫一扫
文章平均质量分 56
学完我的ELK/ELFK企业PB级日志系统实战在看完我的这个专栏。相信你有不错的收获
叱咤少帅（少帅）
技术成就梦想
展开
-
Elasticsearch 的索引优化常规项
Elasticsearch 的索引优化常规项原创 2024-04-03 00:10:14 · 876 阅读 · 0 评论 -
ElasticSearch的常用数据类型
ElasticSearch的数据类型原创 2024-04-02 23:33:54 · 1138 阅读 · 0 评论 -
ElasticSearch集群的备份和恢复
ElasticSearch集群的备份和恢复原创 2024-03-10 13:16:19 · 448 阅读 · 0 评论 -
ES架构原理分析
ES架构原理分析原创 2023-06-30 08:31:14 · 575 阅读 · 0 评论 -
基于DemonSet方式收集容器日志输出实践
基于DemonSet方式收集容器标准输出和应用日志实践原创 2023-02-05 14:04:44 · 574 阅读 · 0 评论 -
收集K8S容器的标准输出日志实践
收集K8S容器的标准输出日志实践原创 2023-02-03 21:35:22 · 3026 阅读 · 0 评论 -
ELK收集其他类型的日志
ELK收集其他类型的日志原创 2022-12-07 16:42:14 · 262 阅读 · 0 评论 -
ElasticSearch 7.10.1 集群搭建注意事项
ElasticSearch 7.10.1 集群搭建注意事项原创 2022-11-29 12:47:44 · 617 阅读 · 0 评论 -
Kibana中的Dev Tools常用语法
Kibana中的Dev Tools常用语法原创 2022-11-22 16:42:13 · 945 阅读 · 0 评论 -
K8S中安装ES集群
K8S中安装ES集群原创 2022-09-09 16:42:17 · 1419 阅读 · 0 评论 -
理解ElasticSearch中的倒排索引
理解倒排索引原创 2022-06-15 16:14:30 · 373 阅读 · 0 评论 -
业务ES常用运维命令
业务ES常用运维命令原创 2022-04-28 14:09:19 · 578 阅读 · 0 评论 -
Logstash output http
背景我们的elk架构是： filebeat ---> logstash --> kafka-->consumer--->elastic。由于日志很大，所以我们想对打印多的日志不进行采集。因为filebeat不支持output 到http。所以我们只能在logstash里控制了logstash 配置input { beats { port => "5044" }}filter {}output { h原创 2021-11-04 01:08:14 · 2680 阅读 · 0 评论 -
基于Filebeat的替代方案之Fluentd
背景目前我们的日志系统收集流为: Filbeat-->Logstash-->Python过滤器--->Kafka--->Consumer--->Kibana。因为FIlebeat不支持http层的output 所以只能依赖Logstash。所以我们决定替换FIlbeat 用Fluentd 的output 到http，减少流经过中间服务。Fluentd官网...原创 2021-11-15 09:40:45 · 5920 阅读 · 0 评论 -
es冷热数据分离
es冷热数据分离原创 2022-02-25 22:55:30 · 5262 阅读 · 0 评论 -
elasticsearch bulk
背景如果在数据量小的情况下，比如我们消费Kafka的数据到ElasticSearch，逐条消费和逐条写入，这样是没问题的。但是随着数据量越来越大的话，为了提高插入效率，我们就需要批量插入了。官网https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-bulk.html#docs-bulk-api-request实践vi requests.json{ "index": { "_index":原创 2022-02-11 13:58:06 · 1012 阅读 · 0 评论 -
Elasticsearch DSL语句
官网https://www.elastic.co/guide/cn/elasticsearch/guide/current/_search_lite.html轻量搜索查询指定文件路径的所有条目GET crm-daemon-2021.11.04/_search{ "query": { "match": { "log.file.path": "/home/data/logs/crm/crm_error.log" } }}更复杂的搜索多个字段匹配查询 GET原创 2021-11-04 22:23:12 · 921 阅读 · 0 评论 -
Caused by: org.elasticsearch.transport.RemoteTransportException: [es1][ip:9302][internal:
Caused by: org.elasticsearch.transport.RemoteTransportException: [es1][ip:9302][internal:原创 2020-10-15 16:57:47 · 4917 阅读 · 0 评论 -
Caused by: org.elasticsearch.common.breaker.CircuitBreakingException: [parent] Data too large, data
背景告警提示，ElasticSearch的集群状态为Red，于是看日志得到如下的异常：Caused by: org.elasticsearch.transport.RemoteTransportException: [es3][10.19.1.2:9300][internal:cluster/nodes/indices/shard/store[n]]Caused by: org.elasticsearch.common.breaker.CircuitBreakingException: [par原创 2020-10-06 14:46:19 · 3646 阅读 · 0 评论 -
ELK 的ES常用的运维命令
elk之es操作相关原创 2020-08-12 15:06:57 · 2012 阅读 · 0 评论 -
Kibana查询语法总结
速查(1) 全文搜索在搜索栏输入xxoo，会返回所有字段值中包含xxoo的文档，使用双引号包起来作为一个短语搜索。"xxoo" 或者 xxoo（2）字段查询原创 2020-05-16 17:11:39 · 11430 阅读 · 0 评论 -
Filebeat 根据type配置将数据直接送到的es的不同索引
Filebeat 根据type配置将数据直接送到的es的不同索引原创 2020-04-27 09:10:50 · 12930 阅读 · 0 评论 -
修改默认ElasticSearch集群的分片数限制
背景收到一个学员的问题，在创建索引的时候，提示如下报错：原因分析:如果不去更改es的默认配置，es集群的默认分片数是1000，所以你需要调大ElasticSearch的默认分片数。解决：使用Head插件或者Kiabana的Dev Tools 执行如下命令：PUT /_cluster/settings{ "transient": { "cluster": ...原创 2020-04-23 14:40:53 · 22842 阅读 · 3 评论 -
Filebeat modules 你真正理解了吗？
需求比如我们有这样一个需求，我们需要把 Nginx的 access 日志采集到ElasticSearch，并且能细粒度化的控制。换句话说 我们需要切分Nginx的日志，比如remote_addr，upstream_response_time 等需要切成JSON格式。分析对于这个需求，我们自然想到如下几个方案:(1)把 Access日志 定义成logstash_json，...原创 2020-04-09 16:22:37 · 6359 阅读 · 4 评论 -
Grok常用表达式
grok默认表达式Logstash 内置了120种默认表达式，可以查看patterns，里面对表达式做了分组，每个文件为一组，文件内部有对应的表达式模式。下面只是部分常用的。常用表达式 表达式标识 名称 详情 匹配例子 USERNAME 或 USER 用户名 ...转载 2020-03-19 16:27:28 · 2342 阅读 · 0 评论 -
Logstash Grok详解
介绍Logstash的Grok 可以使蹩脚的、无结构的日志内容结构化需要注意的地方grok 模式是正则表达式，因此这个插件的性能受到正则表达式引擎严重影响，效率并不高。如果通过给定的匹配格式匹配不上会Kibana查询的时候打上tag 为 grok failed 的标签语法详解grok模式的语法如下：%{SYNTAX:SEMANTIC}SYNTAX：代表匹配值的类型,例如3.44可以...原创 2020-03-18 21:45:41 · 11791 阅读 · 4 评论 -
ElasticSearch master报 but this cluster currently has [3620]/[3000] maximum shards open
背景:今天打开Kibana发现没有数据，并且Stack Monitor 打开没有东西于是查看ElasticSearch的日志。报错如下：分析：ElasticSearch 7.x 如果没有配置 cluster.max_shards_per_node ，默认的分片数是1000，从上图可以看出，是分片数限制不足导致的。解决通过请求ELasticSearch的接口，增大分片数限制curl ...原创 2020-03-10 13:01:55 · 5046 阅读 · 0 评论 -
ELFK集群更改ElasticSearch的GC收集器的一般步骤
变更步骤：1.停机消费进程2.ES关闭分片均衡curl -XPUT http://xxoo:9200/_cluster/settings -d '{"transient" : {"cluster.routing.allocation.enable" : "none"}}'3.ES关闭目前日志索引4.替换GC配置并重启5.重新启动集群6.开启ES分片均衡curl -...原创 2020-03-10 11:37:47 · 672 阅读 · 0 评论 -
ElasticSearch 日志which is larger than the limit of...
背景最近几天一直受到ElasticSearch 的master的cpu标高的情况，Elastsearch的健康状态为yellow，而且登录Kibana一直在打转转于是我登录服务器查看日志到底发生了什么。登录服务器查看日志日志如下:分析：从这个字母意思可以看出，日志太大了超过了系统的限制.通过google得出结论是：jvm 堆内存不够当前查询加载数据所以会报 data too la...原创 2020-03-07 11:15:24 · 6411 阅读 · 0 评论 -
从ELK到ELFK的转变，满足企业PB级日志系统的实践之路
从ELK到ELFK的转变，满足企业PB级日志系统的实践之路原创 2020-04-29 14:05:32 · 6255 阅读 · 1 评论 -
Kibana中提示 No cached mapping for this field,Refresh field list from the Management的解决方法
打开Kibana查数据提示如下:原因是，更改filed 没有匹配 只需要使用如下方法解决：Management—>Index patterns再次查看:正常显示原创 2020-01-02 15:25:48 · 3500 阅读 · 1 评论 -
ElasticSearch命令总结
ElasticSearch常用运维命令原创 2019-12-24 18:07:41 · 770 阅读 · 1 评论