- 博客(32)
- 收藏
- 关注
原创 Logstash 实战指南:从入门到生产级日志处理
Logstash 是 Elastic 公司推出的开源数据处理管道工具,广泛应用于日志采集、转换与传输场景。它能够从多种来源(如文件、网络、消息队列等)采集数据,经过丰富的过滤器(Filter)处理后,输出到 Elasticsearch、Kafka、Redis 等目标存储系统。本文将带你从零搭建 Logstash 环境,并通过多个实战案例掌握其核心组件的使用方法。
2025-08-15 16:23:17
495
原创 Filebeat 轻量级日志采集实践:安装、配置、多行合并、JSON 解析与字段处理
在现代分布式架构中,日志集中采集至关重要。Filebeat作为ELK轻量级采集器,广泛用于生产环境。本文基于8.2.2版本,系统讲解安装部署与核心配置,涵盖单行/多行日志采集、JSON解析、字段增强、日志过滤等实战场景,附完整示例,助力ELK新手与运维开发者高效构建日志体系。
2025-08-15 16:19:47
722
原创 部署 Kibana 8.2.2 可视化管理 Elasticsearch 8.2.2 集群
Kibana 8.2.2 的 RPM 与二进制两种部署方式,涵盖配置、启动与基础使用。强调版本匹配与基础网络配置,适用于连接 Elasticsearch 8.2.2 集群进行数据可视化分析。注意:生产环境需启用 HTTPS 安全连接。
2025-08-04 17:58:27
851
原创 倒排索引:Elasticsearch 搜索背后的底层原理
倒排索引是 Elasticsearch 高效搜索的核心。它将“文档→词语”反转为“词语→文档”,通过预构建的词典和倒排表,实现关键词到文档的快速定位,避免全表扫描。每个分片底层是一个 Lucene 索引,独立维护倒排结构,支持亿级数据毫秒检索。结合分词、评分与分布式架构,倒排索引奠定了现代搜索引擎的性能基石。
2025-08-04 17:53:13
704
原创 Elasticsearch IK 中文分词器指南:从安装、配置到自定义词典
本文讲解 Elasticsearch 中文分词的核心解决方案——IK 分词器。从 standard 分词器处理中文的局限性切入,详细演示 IK 分词器的安装、配置与验证全过程。重点介绍 ik_max_word 与 ik_smart 两种分词模式的适用场景,并通过实战案例展示如何创建自定义词典,添加“量子计算”、“区块链技术”、“元宇宙”等专业术语,显著提升中文搜索的准确性和召回率。附带完整命令、配置文件与分词结果对比,助你彻底掌握 IK 分词器,打造高性能中文搜索系统。
2025-08-01 14:46:09
853
原创 Elasticsearch 集群管理核心 API 指南:健康、状态、分片诊断与运维实战
本文系统梳理 Elasticsearch 集群管理的核心 REST API,涵盖 _cluster/health(健康检查)、_cluster/state(元数据诊断)、_cluster/stats(资源统计)、_cluster/allocation/explain(分片未分配根因分析)和 _cluster/reroute(手动分片重路由)等关键接口。结合真实场景与 JSON 响应解析,深入讲解每个 API 的用途、关键字段与使用注意事项。还有 _cat/nodes、_cat/indices 等实用运维命令
2025-08-01 09:24:54
1205
原创 Elasticsearch DSL 核心语法大全:match、bool、range、聚合查询实战解析
本文系统讲解 Elasticsearch 的核心查询语言——Query DSL。从创建索引、导入测试数据开始,逐步演示 match 全文检索、term 精确匹配、bool 复合查询、range 范围查询、分页、高亮、排序等核心功能,并深入解析 must/should/must_not 逻辑组合与 boost 权重提升技巧。最后通过聚合(Aggregations)实现数据统计分析。全文基于真实商品数据场景,代码可直接运行,助你快速掌握 ES 搜索与分析能力。
2025-07-31 16:19:52
672
原创 JSON 快速入门指南
本文讲解 JSON(JavaScript Object Notation)这一轻量级数据交换格式的核心知识。从基本语法、六大数据类型,到嵌套对象、数组结构,再到常见错误避坑指南,配合场景示例(如 API 响应、配置文件、localStorage),快速上手。
2025-07-31 16:15:32
644
原创 Elasticsearch 文档操作管理:从增删改查到批量操作与数据类型
本文讲解 Elasticsearch 文档管理的核心技能。从文档的创建、查看、更新与删除(CRUD)基础操作,到高效的批量处理(Bulk API),再到关键数据类型如 IP 地址和日期(Date)的实战应用,提供详尽的 API 示例与操作说明。无论您是初学者还是希望巩固知识的开发者,都能通过本指南掌握 Elasticsearch 文档管理的精髓,为高效的数据存储与检索打下坚实基础。
2025-07-30 16:28:19
638
原创 Elasticsearch 索引管理 API 实战:涵盖创建、查看、修改、删除及别名
本文是关于Elasticsearch索引管理API的全面实战指南,涵盖了索引创建、查看、修改、模板设置以及别名管理等多个方面。通过详细的步骤说明和实际操作案例,读者将能够深入了解如何有效地使用这些API来管理和优化Elasticsearch中的索引。无论你是初学者还是有一定经验的开发者,本文都将为你提供宝贵的实践经验和实用技巧,帮助你更好地掌握Elasticsearch索引管理的核心技能。
2025-07-30 15:39:53
895
原创 Elasticsearch 从入门到精通:术语、索引、分片、读写流程与面试高频题一文搞懂
本文系统梳理了 Elasticsearch 的核心概念与工作原理,涵盖索引(Index)、分片(Shard)、主副本机制、集群健康状态等基础术语,并深入剖析了文档的完整写入流程(Indexing)与读取流程(Get/Search)。通过图文级详解,带你理解数据如何路由、Translog 与 Refresh 机制、副本一致性策略(quorum)、以及高可用集群为何推荐奇数节点。最后附上面试高频题解析与生产最佳实践,助你从入门到深入掌握 ES 核心机制。
2025-07-29 14:54:17
224
原创 ElasticStack技术栈概述及Elasticsearch8.2.2集群部署并更换JDK版本为openjdk-17
ElasticStack是一套开源的数据处理技术栈,包含Elasticsearch(搜索引擎)、Logstash(数据处理)、Kibana(可视化)等核心组件。文章详细介绍了EFK、ELFK及引入Kafka的ELFKK三种架构方案,分析了各自的优势与适用场景。在部署部分,提供了Elasticsearch集群的详细配置指南,包括节点规划、免密设置、软件安装、JDK环境配置以及systemctl服务管理等内容。该技术栈适用于日志分析、指标监控、应用性能管理等多个领域,特别适合大规模数据处理场景。
2025-07-29 11:41:08
983
原创 Shell 编程从入门到实践
在当今的运维、开发和自动化工作中,Shell 脚本已经成为不可或缺的工具之一。无论你是系统管理员、DevOps 工程师,还是后端开发者,掌握 Shell 编程都将大大提升你的工作效率,让你轻松应对日志分析、定时任务、批量处理、环境部署等常见场景。
2025-07-01 09:55:29
644
原创 DevOps之gitlab入门篇
本文深入介绍了GitLab作为一站式DevOps平台的核心功能和优势。从代码托管与版本控制、CI/CD集成到项目管理和安全合规性,全面解析了GitLab在软件开发生命周期中的应用。文章详细描述了Linux原生安装和Docker快速部署的方法,并通过创建用户组、用户及推送代码的小案例演示,帮助读者快速上手。此外,还涵盖了备份恢复策略、迁移升级指南以及HTTPS配置与性能优化等内容,为运维人员提供了一套完整的GitLab使用指南
2025-04-28 11:04:45
1689
原创 快速入门 Docker:了解其优势与局限
你是否对 Docker 感兴趣但不知道从哪里开始?在这篇文章中,我们将带你了解 Docker 是什么,它如何工作,以及为什么越来越多的开发者选择使用 Docker 来部署他们的应用程序。我们将探讨 Docker 的主要优点,如更简单的设置过程、更快的开发速度,以及更容易在不同环境中运行应用。
2025-04-22 10:50:26
762
原创 Git 力量 awakening:从零开始你的版本控制原力之旅
掌握 Git 是每位开发者的基础技能,也是实现高效运维的关键。本文将从零开始介绍 Git 的核心概念与常用命令,帮助读者理解如何利用 Git 高效管理代码变更,从而提升团队开发效率,为应用的稳定上线奠定坚实基础。
2025-04-18 17:24:49
902
原创 kubernetes概述简介
kubernetes是可移植、可扩展、开源的容器管理平台,是谷歌Borg的开源版本,简称k8s,它可以创建应用、更新应用、回滚应用,也可实现应用的扩容缩容,做到故障自恢复。可以对容器自动化部署、自动化扩缩容、跨主机管理等;可以对代码进行灰度发布、金丝雀发布、蓝绿发布、滚动更新等;具有完整的监控系统和日志收集平台,具有故障自恢复的能力。
2024-07-16 18:31:09
730
原创 记一场由OOM引发的环境“雪崩”
docker限制内存,非常重要!方法一:静态修改 -m-m参数:限制docker容器最大使用内存上面的 docker run 命令中通过 -m 选项限制容器使用的内存上限为 300M。同时设置 memory-swap 值为 -1,它表示容器程序使用内存的受限,而可以使用的 swap 空间使用不受限制(宿主机有多少 swap 容器就可以使用多少)。方法二:动态修改 docker updatedocker update 动态修改docker容器内存。
2024-02-21 14:30:36
612
1
原创 Redis服务概述介绍
Redis是数百万开发人员使用的开源内存数据存储服务,经常被用于数据库、缓存、数据流引擎、以及消息中间件;简单理解:Redis 是完全开源的,遵守BSD协议,是一个高性能的 key-value 数据库;Redis服务属于NoSQL数据库产品系列,早期出现在网站架构中,主要是配合关系型数据库(RDBMS)完成某些工作任务的;对于关系型数据库主要负责核心业务数据的存储和查询;对于非关系性数据库主要作为配合数据库存储和查询的缓存业务;
2023-10-25 22:39:07
210
1
原创 helm私库
创建一个chart#修改chart的values.yaml文件#查看修改后的文件#修改tag标签#查看tag: v1#对这个chart 进行打包#会生成一个.taz结尾的文件#给当前目录下的这个包建立索引文件,并指定私有仓库地址:#把当前目录下index.yaml 和后缀为tgz 的包全部拷贝10.0.0.101:80的/mycharts 目录下总用量 8-rw-r--r-- 1 root root 440 8月 30 21:07 index.yaml。
2023-09-25 22:08:01
140
1
原创 数据库服务主从复制原理
MySQL数据库服务从3.23版本就开始提供复制的功能,复制是指将主数据库的DDL和DML操作语句通过二进制日志传到复制服务器上;然后在从库上(复制服务器)对这些日志重新执行(也叫重做),从而使得从库和主库的数据保持同步;MySQL支持一台主库同时向多台从库进行复制,从库同时也可以作为其他服务器的主库,实现链状的复制;MySQL复制的优点主要包含以下3个方面:如果主库出现问题,可以快速切换到从库提供服务;可以在从库上执行查询操作,降低主库的访问压力;
2023-09-25 21:45:01
83
1
原创 DevOps相关知识点
DevOps是一种将开发(Development)团队和运维(Operations)团队进行合作和沟通的文化和实践。它旨在提高软件交付的速度和质量,并通过自动化、协作和持续反馈来实现软件开发和运维的高效性。Jenkins是一个开源的持续集成和持续交付工具,用于自动化软件构建、测试和部署。它提供了一个易于使用的Web界面,并支持各种插件和集成,使得构建和部署流程更加灵活和可定制。回答这个问题时,可以提及自己是否曾经使用过Jenkins,并简要解释你的经验和使用场景。
2023-08-18 09:27:04
147
1
原创 Java基础
启动docker命令:service docker start查看docker是否启动成功命令:ps -ef|grep docker进入mysql容器,并登陆mysql命令:docker exec -it mysqlserver bash命令:mysql -uroot -p使用docker安装mysql1、查询mysql命令:docker search mysql2、安装mysql命令:docker pull mysql3、查看镜像命令:docker
2023-04-23 15:32:16
92
1
原创 Docker基础命令
Docker概念 Docker是一个开源的应用容器引擎 诞生于2013年初,基于G语言实现,dotCloud公司出品(后改名为Docker lnc) Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的Linux机器上。 容器是完全使用沙箱机制,相互隔离 容器性能能开销极低 安装Docker Docker可以运行在MAC、Windows、CentOS、UBUNTU等操作系统上Docker。官网: Empo
2021-12-31 10:36:26
115
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人