- 博客(5)
- 收藏
- 关注
RSS订阅原创 Flume与Kafka集成（对接）
1）配置flume(flume-kafka.conf)在/opt/setup/flume-1.8/（Flume的安装目录）下创建jobs文件夹，创建conf文件vim flume-kafka.conf，添加内容：#definea1.sources = r1a1.sinks = k1a1.channels = c1#sourcea1.sources.r1.type = execa1...
2020-01-20 21:40:34
765
原创 Kafka集群部署以及常用命令
kafka集群部署1、下载安装包http://kafka.apache.org/downloads或者在linux中使用wget命令下载安装包wget http://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz2、解压安装包tar -zxvf/export/software/kafka_2.11-1.1.0.t...
2020-01-20 21:24:53
311
原创 Kafka消息数据积压问题
（1）如果是Kafka消费能力不足，则可以考虑增加 topic 的 partition 的个数，同时提升消费者组的消费者数量，消费数 = 分区数 （二者缺一不可）（2）若是下游数据处理不及时，则提高每批次拉取的数量。批次拉取数量过少（拉取数据/处理时间 < 生产速度），使处理的数据小于生产的数据，也会造成数据积压。...
2020-01-20 21:12:24
5517
原创 Kafka Producer的Ack机制
Kafka Producer的Ack机制Kafka的Ack机制指producer的消息发送确认机制，其影响kafka集群的吞吐量和消息可靠性。Ack=0，相当于异步发送，意味着producer不等待broker同步完成，消息发送完毕继续发送下一批信息。提供了最低延迟，但持久性最弱，当服务器发生故障时很可能发生数据丢失。如果leader死亡，producer继续发送消息，broker接收不到数据...
2020-01-20 20:21:51
2692
原创 序列化
Spark对接Hbase存入数据的序列化问题java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytesWritable原因： ImmutableBytesWritable不能进行序列化（在Java中，如果类需要序列化需要实现Serializable）而文件在经过网络传输时需要序列化（网络传输是二进制传输...
2019-12-11 22:22:36
151
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人