- 博客(7)
- 收藏
- 关注
RSS订阅原创 redis info命令详解
为了方便对redis进行监控管理，一些公司会自己开发监控，或在已有的系统中添加功能。对redis info信息的获取是必须要处理的。Redis Info信息包括Server,Clients,Memory,Persistence,Stats,Replication,CPU,Commandstats,Cluster,Keyspace等，下边我们详细介绍各部分对应信息。
2023-05-29 16:50:35
575
1
原创 kafka指定broker副本自动分配，高级分配策略
背景：kafka在无预期的爆发式流量增长，会造成集群机器的高负载、io打满等情况，此时副本同步严重滞后，无法增速，扩容broker的情况下，副本也没法迁移，新扩分区也是默认分配分区到所有的broker上，不会明显减轻流量压力进行分摊，此时陷入了死循环，无法解决问题。但是通过我们指定broker进行新扩分区的副本分配，可以使得新分区全部分配在新的broker上，既不需要迁移数据，也可以分摊流量，可以完美的解决这个问题。
2022-09-26 13:35:06
862
原创 【kafka-exporter监控模板修改】
背景：kafka的jmx指标数据要展示到监控需要prometheus的java agent来采集，jmx指标直接展示不太友好，还需要通过python或java api展示出来，在通过prometheus或其他手段上报到监控，比较麻烦，好在有开源的jmx_exporter可以直接使用，有延时等详细的指标，但是yml模板比较粗糙需要了解jmx的指标含义并知道具体格式然后了解yml中规则配置然后进行改写，如下是我的改写可以采集一些详细的需要信息，jmx的指标含义可以参考kafka官网。
2022-09-10 17:47:47
1167
原创 【kafka消费同步提交和异步提交方式（kafka-python）
自动提交同步提交异步提交异步加同步提交几种方式的优缺点介绍和代码示例-可以设置自动提交时间间隔，每间隔固定时间提交一次当前消费最大offset，但无法确保提交成功，不知道消费状态1.2 同步提交-同步提交可以自定义拉取数据多少以及fetch的数据offset等元数据信息，回阻塞直到提交成功，也可以计算出每次消费的时间，消费状态等，每次处理完了才会进行下一次，遇到异常可以自己进行处理记录等1.3 异步提交加回调函数- 异步提交是通过单独线程异步进行提交，有可能提交成功有可能提交失败，可以通过回
2022-06-23 17:41:01
2731
原创 kafka生产同步发送和异步发送
kafka-python实现生产同步和异步发送发送并忘记同步发送异步发送加回调函数acks=0, 表示消息发送之后就不管了，无论消息是否写成功acks=1，表示消息发送后并写成功kafka的topic对应分区的leader节点就返回成功acks=-1/all，表示消息发送并写成功topic对应分区的leader节点，所有副本follow来同步数据成功，返回给leader节点，leader节点在一起返回确认给生产侧才表示写成功那么下面就来看一下具体三种生产方式对应的代码：-此方式只管发送，不关心消息
2022-06-22 12:20:07
3395
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人