- 博客(63)
- 收藏
- 关注
RSS订阅原创 kafka-关于ISR-概述
ISR 是指与 Leader 副本保持同步的 Follower 副本集合。ISR 机制的核心是确保数据在多个副本之间的一致性和可靠性，同时在 Leader 副本出现故障时能够快速进行故障转移，保证服务的可用性。
2025-02-27 21:46:22
897
原创 kafka-web管理工具cmak
日常运维工作中，采用cli的方式进行kafka集群的管理，还是比较繁琐的(指令复杂？)。为方便管理，可以选择一些开源的webui工具。 推荐使用cmak。
2025-02-27 17:33:16
525
原创 kafka-leader -1问题解决
在 Kafka 中，leader -1 通常表示分区的领导者副本尚未被选举出来，或者在获取领导者信息时出现了问题。
2025-02-26 10:40:32
737
原创 kafka-集群缩容
一个 broker 下线，它上面的所有 partition 都会处于副本不足的状态，并且 Kafka 集群不会在其它的 broker 上生成这些副本，因此，在将一个 broker 从集群中移除之前，需要将这个 broker 上的 partition 副本都转移到最终会保留的 10 台机器上，怎么实现这个呢？在重分区过程中，很耗节点资源的(cpu，内存，IO)，所以如果数据量大，需要按批次进行多次操作。可以看到 broker list，broker id 分别为 141，142，145，146 ....
2025-02-21 15:15:58
978
原创 jenkins-基于role的权限管理
jenkins自带了一些全局性的安全配置。 但无法通过job等相对细粒度的来控制使用者的权限。但它可以借助相关的插件实现细颗粒的权限控制。
2025-01-23 10:47:59
347
原创 jenkins-k8s pod方式动态生成slave节点
使用 Jenkins 和 Kubernetes (k8s) 动态生成 Slave 节点是一种高效且灵活的方式来管理 CI/CD 流水线。通过这种方式，Jenkins 可以根据需要在 Kubernetes 集群中创建和销毁 Pod 来执行任务，从而充分利用集群资源并实现更好的隔离性和安全性。
2025-01-23 10:42:54
1218
原创 jenkins-api操作
jenkins有一个比较方便的UI， 但很多团队还是喜欢集中式管理， 将发布功能(仅仅把jenkins作为一个发布组件使用)嵌入运维管理平台。当然，对于这种需求， 强大的jenkins也为我们提供的相应的接口(api)支持。
2025-01-20 21:03:39
766
原创 Jenkins-pipeline Jenkinsfile说明
jenkins的pipeline目前支持两种语法： Declarative（在Pipeline 2.5中引入）和Scripted Pipeline。两者都支持建立连续输送Pipeline。两者都可以用于在Web UI或者a中定义一个流水线Jenkinsfile。
2025-01-19 22:02:51
782
原创 Jenkins-pipeline语法说明
Jenkins Pipeline 是一种持续集成和持续交付（CI/CD）工具，它允许用户通过代码定义构建、测试和部署流程。
2025-01-19 21:58:45
1331
原创 Jenkins-Pipeline简述
pipeline在jenkins中是一套插件，主要功能在于，将原本独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂发布流程。Pipeline的实现方式是一套Groovy DSL，任何发布流程都可以表述为一段Groovy脚本(jenkinsfile)，并且Jenkins支持从代码库直接读取脚本。
2025-01-18 21:30:18
1053
原创 Jenkins-基于Role的鉴权机制
jenkins自带了一些全局性的安全配置。 但无法通过job等相对细粒度的来控制使用者的权限。但它可以借助相关的插件实现细颗粒的权限控制。
2025-01-18 21:23:54
626
原创 jenkins-node节点配置
Jenkins有一个很强大的功能： 即：支持分布式构建(jenkins配置中叫节点(node),也被称为slave)。分布式构建通常是用来吸收额外的负载。通过动态添加额外的机器应对构建作业中的高峰期，或在特定操作系统或环境运行特定的构建作业。 这项功能在大中型企业(微服务化)环境中是很重要的。
2025-01-16 17:27:20
1470
原创 jenkins-视图管理
jenkins默认只有一个All的view， 在我们线上环境中(测试、预发布、线上、端、语言环境等)，显然是不合理的(放在一个view中不编译管理)。我们可以通过一个dashboard view的插件来进行多个view(按环境，业务等分隔均可)管理。
2025-01-16 17:17:58
941
原创 nginx -请求周期变量ngx.ctx
ngx.ctx 是一个表，所以我们可以对他添加、修改。它用来存储基于请求的 Lua 环境数据，其生存周期与当前请求相同 (类似 Nginx 变量)。它有一个最重要的特性：单个请求内的 rewrite (重写)，access (访问)，和 content (内容) 等各处理阶段是保持一致的。
2025-01-14 22:31:03
434
原创 nginx-lua缓存机制
缓存是一个大型系统中非常重要的一个组成部分。在硬件层面，大部分的计算机硬件都会用缓存来提高速度，比如CPU会有多级缓存、RAID卡也有读写缓存。在软件层面，我们用的数据库就是一个缓存设计非常好的例子，在SQL语句的优化、索引设计、磁盘读写的各个地方，都有缓存。一个生产环境的缓存系统，需要根据自己的业务场景和系统瓶颈，来找出最好的方案，这是一门平衡的艺术。
2025-01-14 22:27:57
1005
原创 nginx-lua模块处理流程
nginx的模块化设计使得每一个http模块可以只专注于完成一个独立的，简单的功能。一个请求的完整处理过程可以由多个http模块共同协作完成，这种设计具有简单性，测试性，扩展性，灵活性。
2025-01-13 20:43:30
870
原创 nginx-lua模块安装
安装 Nginx 的 Lua 模块（通常指的是 ngx_lua 模块）可以显著增强 Nginx 的功能，使其能够执行 Lua 脚本。这使得 Nginx 可以处理更复杂的逻辑和动态内容生成。
2025-01-13 20:20:13
572
原创 linux-rsyncd服务配置
rsync 是一个快速、多功能且非常灵活的命令行工具，用于在不同位置之间复制和同步文件。当使用守护进程模式时，rsync 服务器会在指定端口监听来自客户端的连接请求，并根据配置提供文件同步服务。
2025-01-12 11:44:41
319
原创 linux-ssh + google authenticator双因子认证
随着业务的发展， 人员的增多，一套合理的权限管理方案是必不可少的，通常情况下，为了安全，便于管理，我们都会配置一组跳板机作为登录入口。这里简单聊聊登录跳板机的方式。在业界，不同的公司，可能使用不同的跳板机认证方式，通常有以下几种： ssh(key/pass)、kerberos、ldap、自己开发pam模块等。4. 安装谷歌身份验证器，通过google auth 的key生成 实时的6位数验证码。根据实际环境，我们采用了ssh-key + google auth组合的方案。
2025-01-12 11:07:56
608
原创 linux-yum源构建
公司内部需要定制自己的rpm包，比较成熟的方案之一就是通过yum仓库的方式管理， 当然，可以自行通过程序来实现， 不过比较费劲。
2025-01-11 12:01:34
250
原创 linux-supervisor(进程控制系统)
Supervisor是一个进程控制系统. 它允许用户去监控和控制在类UNIX系统的进程. 它的目标与launchd, daemontools和runit有些相似, 但是与它们不一样的是, 它不是作为init(进程号pid是1)运行. 它是被用来控制进程, 启动方式和一般程序一样.
2025-01-11 11:56:02
510
原创 linux-定制化rpm(rpmbuild)
目前比较常用的rpm打包方式分别为rpmbuild和fpm(在rpmbuild基础上使用ruby做了封装)。
2025-01-09 21:34:23
794
AirSLAM是一种高效的视觉SLAM系统，旨在应对短期和长期的照明挑战 使用C++和NVIDIA TensorRT部署和加速特征检测和匹配网络
2024-12-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人