- 博客(4)
- 收藏
- 关注
RSS订阅原创 docker 启动redis
docker run -itd -p6379:6379 --name redis redis redis-server --requirepass "test_password" --appendonly yes
2021-11-29 14:56:07
868
1
原创 kafka 扩容
现在在用kafka集群有3个节点，即zk1、zk2、zk3，现需要将broker节点扩容至4个，以提供更高的数据处理能力。 1.1 新扩容1个broker节点zk4 ，并部署kafka应用程序；我是虚拟机，全部在一台上跑的测试，只启用了一个zookeeper服务没启用zookeeper集群，但是和实际应用差不多。 cat ../config/server1.properties num.network.threads=3 num.io.threads=8 socket.send.buffer.byt
2021-11-29 14:50:28
3604
1
原创 kafka 调整offset
背景说明 kafka客户端程序异常导致消费积压，再恢复时遗留的历史消息太多，而追赶到最新消息需费时太久，无法贴合业务使用场景； 和业务部门协商确定: 可以丢弃中间未消费的数据，将指定offset(指定消费组消费topic)调整到最新值； 【kafka-消费堆积】 告警时间: 2020.04.02 10:52:22 主机名称: slhd1.op-paas.kafka001 [主题] : heartbeat_sync_pdd_game 消费组: heart-consumer 触发器: >20000
2021-11-29 14:43:13
4963
原创 kafka 基础知识
kafka 的消息通过主题(类似文件夹)进行分类，消息以追加的方式写入分区（类似文件） 分区消息：由于一个主题一般包含几个分区，因为无法在主题范围保证消息的顺序，但可以保证消息在单个分区内的顺序 生产者：默认情况下生产者发送的消息会被均衡分布到所有分区，不过特殊情况下也会把消息写到特定分区 消费者：消费者通过检查消息的偏移量来区分已经读取过的消息，并将最后读取的偏移量保存在zk 或者kafka 上、每个分区只能被一个消费者使用，支持多个消费者互不影响的从一个单独的消息流上读取消息 broker ：接
2021-11-29 14:29:31
1728
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人