
elasticsearch、prometheus、日志/监控
文章平均质量分 60
包括搜索引擎相关的,ELK
qq_23204557
这个作者很懒,什么都没留下…
展开
-
一些es的基本操作
好像直接删除是不支持的。给名为population_portrait_hash_seven的索引增加了一个text类型的字段。再删除原始索引,最后将将新索引重命名为原始索引的名称。给这个接口增加了一个keyword类型的字段。原创 2024-01-24 20:11:47 · 656 阅读 · 0 评论 -
一些es查询的资料
每个字段都可以包含零个或多个值,但是所有值必须具有相同的数据类型。聚合后,每一个聚合Bucket里面仅返回指定顺序的前N条数据。一种chrome es查询插件:Elasticvue。:不要连续使用多个withQuery,会会覆盖。记录在此,暂不继续深入。原创 2023-12-04 14:42:39 · 1165 阅读 · 0 评论 -
某公司的应用打点 - 基于 graphite/statsite/grafana
常见的指标收集框架有 graphite + statsd/statsite,prometheus,influxDB 等。Leyan使用 graphite + statsite 作为应用内指标打点和收集方案,使用 grafana 展示收集到的指标。● 每个服务器上运行多个应用和一个 statsite (statsd 的 C 实现版,遵循 statsd 的协议)● 每个应用调用 statsd-client 的 API,通过 statsd 协议将指标发送到 statsite。● 每个集群内有多个服务器。转载 2021-10-18 11:48:43 · 79 阅读 · 0 评论 -
光汇石油面试(部分)
有个相关扩展问题:为什么es增加副本的个数可以增加搜索的吞吐量?我原来觉得多副本只能增加系统可用性,想不通为什么也能增加搜索吞吐量。(注意对应的中文版文档翻译得有歧义,让人误以为协调节点将查询请求转发到索引的每个主分片和副本分片)时,多个请求会分发到不同的副本上去,从而减轻那分片的压力。一个请求时只会选取一个副本分片去做查询,但是有。原创 2023-06-16 22:19:52 · 1993 阅读 · 0 评论 -
同花顺面试(部分)
ES写入数据是先把数据写进内存,再写入 filesystem cache,最后再写入硬盘。在第二步(写入filesystem cache形成新的segment,这一步也被称为。)后,新数据就可以被搜索到了。refresh默认一秒执行一次(其实官网原文还有个条件,就是过去30秒有收到查询请求的index)。又没录上,只能凭零星记忆来记录了。原创 2023-02-24 02:11:44 · 318 阅读 · 0 评论 -
《专题五 容器化微服务》之《第二章【补充资料】-Docker》之《第五节 网易Docker最佳实践》
文章目录《2.5.1 容器监控》《2.5.2 日志监控》《2.5.3 资源管理》《2.5.4 快速扩容》《2.5.1 容器监控》docker stats容器监控方案选择:CAdvisorInfluxDB :Grafana :CAdvisor + InfluxDB + Grafana :《2.5.2 日志监控》2 40 Graylog《2.5.3 资源管理》Docker Swarm :18 35+ 图形化管理工具Portainer《2.5.4 快速扩容》0原创 2021-05-24 22:30:43 · 345 阅读 · 1 评论 -
容器监控系统架构
我总结的总体架构:采集数据(如CAdvisor)+ 存进时序数据库(如prometheus/influxDB/graphite)+ 分析和展示时序数据(如Grafana)原创 2023-01-21 20:51:04 · 186 阅读 · 0 评论 -
乐言双11保障工作
来源:2021双11乐言告淘系商家白皮书技术保障● 成立双11项保障工程师团队,配合阿里进行极端压力测试● 服务器全面升级,部署比平时高 4-6 倍的服务器资源,应对咨询峰值● 提供兜底回复方案,保障双11期间激增问题的回复率● 部分功能限流、调整,最大程度保障问答、营销等核心功能的正常运行点此查看功能降级详情 https://leyan.yuque.com/docs/share/2b5b73fe-4dfa-462f-98f0-2e3a8b56abeb?#数据保障● 创建大促期间数据库监控面转载 2021-11-12 16:13:36 · 102 阅读 · 0 评论 -
性能分析工具Arthas
功能一:火焰图Arthas 使用 async-profiler 生成 CPU/堆内存火焰图进行性能分析。使用 async-profiler 可以做下面几个方面的分析:CPU cyclesHardware and Software performance counters like cache misses, branch misses, page faults, context switches etc.Allocations in Java HeapContented lock attemp原创 2021-10-21 16:17:40 · 788 阅读 · 0 评论 -
es的一些Query DSL语法
Match phrase prefix queryexample:{ "query": { "match_phrase_prefix": { "message": { "query": "quick brown f" } } }}原创 2021-07-13 14:53:59 · 143 阅读 · 0 评论 -
《专题五 容器化微服务》之《第三章 云原生DevOps》之《第三节 日志》
文章目录《3.3.1 prometheus入门》《3.3.2 prometheus深入》《3.3.3 alertmanager-grafana》《3.3.1 prometheus入门》1 10+ 时序与时序数据库:6 44+ Prometheus介绍与架构:12 14+ Prometheus部署《3.3.2 prometheus深入》0 29+ Kubernetes集群监控3 6 Metric server5 45+ Prometheus核心进阶数据模型:目标源:原创 2021-05-31 00:04:47 · 177 阅读 · 0 评论 -
《专题五 容器化微服务》之《第三章 云原生DevOps》之《第二节 监控》
我:es的index类似kafka的topic, es的shard类似kafka的partition,副本类似kafka的副本(除了es当有多个请求需要访问同一个index时,各shard的多副本上可并行搜索;相比之下,kafka的partition只能分配给一个消费者组里的一个消费者)20:40 filebeat对k8s的支持:通过监听k8s事件,自动采集容器的标准输出。10 30+ 容器与Kubernetes里的日志,与传统主机模式下的日志有较大区别。13 55+ Filebeat采集容器化日志。原创 2021-05-30 22:25:50 · 340 阅读 · 0 评论 -
《专题三分布式系统》之《第四章 拓展进阶(二)——搜索引擎ES》
文章目录《4.12.1 搜索引擎核心理论思想视频》《4.12.1 搜索引擎核心理论思想视频》10 45 数据库适合结构化数据的精确查询,不适合半结构化、非结构化数据的模糊查询及灵活搜索inverted index 反向索引(倒排索引)22分 中文分词器:26 17 在反向索引中包含词出现的次数及位置:30 40 搜索的步骤:对搜索的输入分词度量相关性视频中提出的度量相关性方案:统计词语在文档中出现的次数(可对在标题中出现的给予更高权重)应该还有其它方案,比如余弦相似性:htt原创 2020-12-21 15:25:57 · 281 阅读 · 0 评论