- 博客(33)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 一款比ELK更强大，更好用的日志收集分析告警系统
部署丝滑，管理方便，有web后台管理。比起传统的elk更加灵活，而且还集成了日志分析和告警。除了按配置好的目录收集日志还提供了api接口实时调用。可以给所有程序使用，具备通用性。性能强大，分布式。
2024-08-16 15:33:45
3637
原创 elasticsearch 安装 repository-oss 插件
注意：版本号需要与 Elasticsearch 版本一致。这里以 7.16.2 为例，如果你使用的是其他版本，请替换对应的版本号。进入 Elasticsearch 安装目录，例如 /usr/share/elasticsearch。下载对应版本的 repository-oss 插件。安装完成后，重启 Elasticsearch 节点。安装插件并重启 Elasticsearch 节点。应该能看到 repository-oss。
2025-11-12 16:07:04
379
原创 Elasticsearch的快照生命周期管理（SLM）与索引生命周期管理（ILM）功能
该方案利用Elasticsearch的SLM（快照生命周期管理）和ILM（索引生命周期管理）功能，实现日志数据自动备份至阿里云OSS并清理ES数据。通过ILM策略定义索引从热到冷再到删除的完整生命周期，当索引进入冷阶段时触发SLM创建快照备份至OSS，最后删除ES中的索引。应用层记录备份状态，提供可视化管理和恢复能力。方案优化了首次全量备份和后续增量备份的性能，建议在业务低峰期执行，并通过合理配置chunk_size平衡网络与内存压力，实现高效稳定的自动化数据管理。
2025-11-12 16:03:45
881
原创 从被日志搞崩溃到自研 LCA：一个运维程序员的自救之路
程序员创业记：从被日志逼疯到开发日志工具 一位程序员转型架构师后，因频繁被日志问题折磨（如日志爆盘、分散难查），尝试市面工具（ELK、云日志服务）均不满意，索性自己开发了轻量级日志系统LCA。最初仅为自救，意外获得开发者青睐并开源，逐步迭代为企业级产品。这个故事揭示：技术创业往往源于解决自身痛点，粗糙但实用的工具可能正击中市场空白。
2025-09-28 14:06:24
481
原创 前端只需 5 行代码，就能把日志写入远程日志管理系统，快速定位故障，实时报警！
摘要： 本文介绍了一种极简前端日志上报方案，只需20行代码即可实现远程日志记录。通过fetch + URLSearchParams发送POST请求，支持分类标记（如错误、用户行为）、全局异常捕获，并能结合告警系统实时监控。方案优势包括轻量接入、跨平台兼容、秒级上报，有效解决线上问题复现难、排查慢的痛点。开发者可快速封装工具函数，添加用户上下文信息，实现低成本高收益的前端监控。（148字）
2025-09-25 17:42:03
400
原创 yum 安装 supervisorctl
摘要：本文介绍在基于 yum 的 Linux 系统（如 CentOS、Alibaba Cloud Linux）上安装和配置 Supervisor 进程管理工具的方法。主要步骤包括：通过 yum 安装 Supervisor（需先启用 EPEL 仓库）、验证安装、启动服务、基本使用命令（如 status/start/stop）、配置文件说明（主配置和子服务配置），以及常见问题解决方案。最后提供一键安装命令，方便快速部署。适用于需要管理守护进程的用户。
2025-09-01 14:49:23
366
原创 上线 LCA 一年，我为公司每年省下 5 万元
作为运维负责人，我在一年前引入了 LCA 日志收集智能分析系统，通过“日志本地归档 + 智能压缩 + 替代云存储”三步走策略，成功将日志管理成本从每月 4000+ 降至近乎为零。一年下来，直接节省硬件与云服务成本超 5 万元。本文分享我的落地思路与技术细节。
2025-08-21 14:20:59
892
原创 解决Docker 无法连接到官方镜像仓库
摘要：Docker无法连接官方镜像仓库时，通常由国内网络问题导致。推荐配置阿里云镜像加速器作为首要解决方案，可大幅提升拉取速度。其他方案包括使用公共镜像源、检查DNS设置、配置代理或重启Docker服务。避免使用无效调试方法如ping测试或手动下载镜像。通过运行测试镜像可验证修复效果，国内用户应优先采用镜像加速方案确保稳定访问。（149字）
2025-08-20 18:12:25
6470
1
原创 编译安装 Nginx
本文详细介绍了在Linux系统上编译安装Nginx的完整步骤。主要内容包括：安装依赖包、下载源码、配置编译选项、创建用户和目录、设置systemd服务、防火墙配置等关键环节。特别提供了常用模块的编译参数说明、服务管理命令以及HTTPS配置方法。通过这12个步骤，用户可以完成Nginx的定制化安装，并实现开机自启、日志管理等功能，最终部署一个高性能的Web服务器。文中还包含测试验证方法和常用命令速查表，便于用户快速掌握Nginx的基本运维操作。
2025-08-20 16:34:13
506
原创 MySQL执行流程5步走：从SQL输入到结果返回的全过程解析
MySQL查询执行全流程解析：从客户端请求到结果返回。一条SQL语句需经历5个关键步骤：客户端请求发送（半双工协议）、查询缓存检查（哈希匹配）、SQL解析预处理（语法树构建）、优化器生成执行计划（基于成本优化），最后通过存储引擎执行并返回结果。性能优化建议包括避免SELECT *、合理使用LIMIT，以及写密集场景关闭查询缓存。整个过程展现了MySQL高效处理SQL请求的底层机制。
2025-08-15 17:41:38
152
原创 告别ELK,LCA是成千上万的运维和开发的首选
LCA日志收集智能分析系统助力企业高效管理海量日志 面对数字化转型中的日志管理痛点，LCA系统提供一站式解决方案：支持多源日志快速采集与集中处理，内置过滤、聚合等高级功能；通过可视化仪表盘呈现关键指标，并配备智能告警机制（支持企业微信/邮件通知）；同时提供API实时接入、私有化部署及安全管控，满足企业高效运维与合规需求。系统部署简便，支持灵活日志路径配置（含日期占位符）和自动清理策略，显著降低运维成本，提升业务稳定性。
2025-08-15 14:14:33
778
原创 拓展面试题之-kafka
Kafka主要组件包括主题(Topic)、生产者(Producer)、消费者(Consumer)和经纪人(Broker)。Rebalance是消费者组内分区重新分配的过程，触发条件包括消费者数量、订阅主题数或分区数的变化。消费者组(Consumer Group)是Kafka实现消息模型的核心机制，通过组内消费者协调消费实现单播或广播。Kafka的高性能源于其分区机制、顺序写入、零拷贝等技术，支持三种ACK机制(0、1、-1)确保不同级别的可靠性。虽然Kafka采用主写主读模式，但从2.4版本开始已支持有限度
2025-07-20 15:30:46
390
原创 拓展面试题之-rabbitmq面试题
本文总结了RabbitMQ常见面试题，主要包含以下内容：RabbitMQ的使用场景（解耦、异步、削峰等）；如何保证消息可靠性（发送方/接收方确认机制、持久化）；高可用方案（镜像集群）；消息顺序性保证；提高消费速率的方法；四种路由方式；虚拟主机（vhost）作用；信道传输机制；死信队列和延迟队列实现；集群模式（普通/镜像）及节点类型；消息幂等性解决方案；重要组件介绍；消息持久化实现方式等。同时还解答了重复消费、消息丢失防护、自动删除过期消息等实际问题，全面覆盖了RabbitMQ的核心知识点。
2025-07-20 15:27:37
544
原创 一款比ELK更强大，更好用的日志收集分析告警系统 2.0版本重磅来袭
LCA日志收集智能分析系统是一款部署便捷、功能强大的日志管理工具。系统支持多源数据采集（服务器/应用/网络设备日志），提供灵活的数据处理能力（过滤/聚合/关联）和API实时调用接口，相比传统ELK方案更具优势。其特点包括：可视化仪表盘展示、智能告警机制、安全访问控制，以及高性能吞吐能力。部署时需修改配置文件（数据库、Redis、ETCD、Elasticsearch等连接参数），通过Nginx配置前端访问和后端API代理。系统采用前后端分离架构，支持Vue Router的history模式，并提供完善的日志记
2025-07-16 12:06:35
608
原创 深入理解MySQL结构与执行流程
本文详细介绍了MySQL的逻辑架构、主要组件及其查询执行流程。MySQL架构分为客户端层、核心服务层和存储引擎层，各层协同工作以处理数据存储和查询。主要组件包括连接池、SQL接口、查询分析器、优化器等，这些组件共同确保查询的高效执行。查询执行流程涉及查询缓存、解析、优化和执行计划生成等步骤。文章还提供了优化策略，如合理使用查询缓存、索引优化和表结构设计，以提升数据库性能。通过深入理解MySQL的结构和执行流程，用户可以更好地进行数据库设计和性能优化。
2025-05-20 16:32:38
372
原创 日均上亿访问，5000QPS的系统如何架构
本文介绍了一个日均上亿访问、5000 QPS的高性能系统架构设计与实现。系统架构包括负载均衡器（DDoS防护）、API网关、应用服务器集群、数据库和缓存、消息队列（RocketMQ）、对象存储以及监控和报警系统。负载均衡器负责分发请求并提供DDoS防护，API网关处理路由、鉴权和限流，应用服务器集群提高并发处理能力和容错性，数据库和缓存优化数据读写效率，消息队列实现异步处理和解耦合，对象存储减轻服务器压力，监控系统确保系统稳定运行。设计要点包括高并发处理、数据一致性保障和系统扩展性，通过多级缓存、分布式事务
2025-05-20 12:23:19
1138
原创 日志收集分析和告警在故障排查中的重要性
通过实施上述建议，开发团队不仅可以有效应对突发事件，还能不断提升自身的应急处理能力，从而确保服务的稳定性和可靠性。：通过实时收集和分析日志，开发团队可以及时发现系统中的异常行为，有助于在故障发生初期就进行干预。：通过对日志的分析，可以发现系统的瓶颈所在，进而进行优化以提高系统的稳定性和性能。：随着业务的发展和技术的进步，持续优化日志收集和告警机制，确保其能够适应新的挑战。：对于一些常见的问题，告警系统可以触发自动化的修复流程，减轻开发人员的工作负担。等成熟的日志管理系统，可以更高效地收集、存储和分析日志。
2024-08-21 11:26:47
945
原创 解决 Could not connect to deb.debian.org:80 (151.101.110.132), connection timed out
当你遇到错误 “Could not connect to deb.debian.org:80 (151.101.110.132), connection timed out” 时，这通常意味着你的系统无法连接到 Debian 的软件仓库。这可能是由于网络问题、DNS 解析问题或服务器暂时不可用等原因造成的。
2024-08-20 15:36:50
1506
原创 关于mysql8.0 用户授予权限时遇到错误解决办法
当你在尝试为 MySQL 用户授予权限时遇到错误 `ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'IDENTIFIED BY 'max2024' WITH GRANT OPTION' at line 1`，这通常是因为 SQL 语法错误。
2024-08-19 18:23:04
688
原创 Etcd：分布式键值存储的基石
Etcd 是一个强大而灵活的分布式键值存储系统，通过在实战中可以快速掌握其精髓。etcd实战一款比ELK更强大，更好用的日志收集分析告警系统。
2024-08-18 10:44:35
474
原创 无法编辑 /etc/cron.d/root 的解决办法
当你在 Linux 系统中使用 lsattr 命令查看文件属性时，如果文件显示为 -----a-------e-- root，这意味着该文件具有特殊属性 a 和 e。当你被病毒入侵发现被修改了 /etc/cron.d/root 这个文件，定时任务一直在执行，无论怎么样都删除不了，可以使用 lsattr 命令查看文件属性。
2024-08-18 10:29:22
581
原创 Go RPC 和 gRPC 技术详解
RPC 是一种协议，它允许客户端程序调用远程服务器上的函数或方法，而无需了解底层网络细节。通常，客户端和服务器通过网络通信，并且需要一种方式来序列化和反序列化数据。
2024-08-17 11:14:48
726
原创 Go Channel 详解
在 Go 语言中，channel是一种用于在 goroutine 之间传递数据的机制。它提供了同步和通信的能力，使得并发编程变得更加简单和安全。Channel 在 Go 语言中的设计是类型安全的，并且支持发送和接收两种操作。通道是 Go 语言中实现 goroutine 间通信的基础工具。它们提供了简单的同步机制，让并发编程变得直观且容易管理。通过合理的设计和使用，通道可以极大地简化程序的复杂度，并提高程序的性能和可靠性。
2024-08-17 11:06:43
592
原创 TCC型分布式事务处理
在此之后，拥堵在网络上的一阶段 Try 数据包被 TCC 服务收到，出现二阶段 Cancel 请求比一阶段 Try 请求先执行的情况，此 TCC 服务在执行晚到的 Try 之后，将永远不会再收到二阶段的 Confirm 或者 Cancel，造成 TCC 服务悬挂。但是在接入 TCC 之后，需要考虑如何将其分成两个阶段完成：把资源的检查和预留放在一阶段的 Try 操作中进行，把真正的业务操作的执行放在二阶段的 Confirm 操作中进行。业务活动管理器控制业务活动的一致性，它登记业务活动中的操作， 并在。
2024-07-24 12:03:36
2846
原创 深入理解 Kafka
Kafka的复制机制既不是完全的同步复制，也不是单纯的异步复制。完全同步复制要求All Alive Follower都复制完，这条消息才会被认为commit，这种复制方式极大的影响了吞吐率。而异步复制方式下，Follower异步的从Leader复制数据，数据只要被Leader写入log就被认为已经commit，这种情况下，如果leader挂掉，会丢失数据，kafka使用ISR的方式很好的均衡了确保数据不丢失以及吞吐率。Follower可以批量的从Leader复制数据，而且Leader充分利用磁盘顺序读以
2024-07-23 18:42:54
790
原创 Nginx 结合 consul 实现动态负载均衡
nginx-upsync-module 提供了动态的负载均衡，动态更新上游的服务器不需要 reload nginx ，它的功能是拉取 consul 的后端 server 的列表，并更新Nginx 的路由信息。此模块不依赖于任何第三方模块。 consul 作为 Nginx 的 db，利用 consul 的 KV 服务，每个 Nginx work 进程独立的去拉取各个upstream 的配置，并更新各自的路由。挂了第三方模块无法结束进程或者是当前进程尚未结束
2024-07-20 11:59:24
1783
原创 nginx负载均衡
当我们的应用单例不能支撑用户请求时，此时就需要扩容，从一台服务器扩容到两台、几十台、几百台，我们需要一个入口，将客户端请求均衡分布在后台的多个服务器上。负载均衡在服务端开发中算是一个比较重要的特性， nginx 提供的负载均衡可以实现上游服务器的负载均衡、故障转移、失败重试、容错、健康检查，当某些上游服务器出现问题时，可以将请求转到其它的上游服务器从而保障高可用。
2024-07-20 11:26:37
735
原创 Elasticsearch 最全调优，最佳实践（二）
基于 word2vec 和 Elasticsearch 实现个性化搜索基于 word2vec、Elasticsearch 和自定义的脚本插件，我们就实现了一个个性化的搜索服务，相对于原有的实现，新版的点击率和转化率都有大幅的提升；基于 word2vec 的商品向量还有一个可用之处，就是可以用来实现相似商品的推荐；使用 word2vec 来实现个性化搜索或个性化推荐是有一定局限性的，因为它只能处理用户点击历史这样的时序数据，而无法全面的去考虑用户偏好，这个还是有很大的改进和提升的空间
2024-07-19 11:20:25
1457
原创 Elasticsearch 最全调优，最佳实践（一）
、设计阶段调优根据业务增量需求，采取基于日期模板创建索引，通过roll over API 滚动索引；使用别名进行索引管理；每天凌晨定时对索引做force_merge 操作，以释放空间；采取冷热分离机制，热数据存储到SSD，提高检索效率；冷数据定期进行 shrink 操作，以缩减存储；采取curator 进行索引的生命周期管理；仅针对需要分词的字段，合理的设置分词器；Mapping 阶段充分结合各个字段的属性，是否需要检索、是否需要存储等。
2024-07-19 11:01:59
1067
原创 PB级强大日志收集智能分析系统-LCA
强大的日志收集分析系统，可实时收集常用的软件的日志，比如nginx，当每次添加一个需要收集的日志文件时可以实时进行收集，还可以实时收集指定目录下所有按时间切分的日志，可以通过api调用主动推送日志到日志分析系统，4. 可以对收集的日志进行分析，智能分析，然后按规则告警（nginx状态不是200，php文件报错），5. 实现如阿里sls一般查询日志
2024-07-17 11:00:50
2997
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人