
kafka
泰格数据
我们不生产数据,我们只是数据的搬运工
我们不仅是数据搬运工,我们也是数据价值创造者
展开
-
KAFKA-使用代理进行跨网络访问采坑记录
问题背景:client机器是在内网的,无法直接访问到kafka的机器,所以需要走个代理机器,代理服务器可以同时被内网和外网访问。在外网中,kafka集群都已经搭建好,生产者、消费者都可以正常运行。问题来了:内网的client机器通过nginx代理访问kafka时候查看topic列表正常:kafka-topics.sh --zookeeper localhost:2181 --list创建topic正常:kafka-topics.sh --zookeeper localhost:2181原创 2020-05-22 00:05:14 · 6190 阅读 · 0 评论 -
SPARK生产者写入KAFKA消息-代码及踩坑记录
背景是: 项目通过大数据spark做模型的评估,评估代码为scala,评估的结果需要通过kafka消息队列进行中转,于是需要通过spark去连接kakfa队列,作为生产者像kafka队列中传送消息。 直接先上代码:kafka生产者代码:package com.tigerimport java.util.Propertiesimport org.apache.kafka.clients.producer.{KafkaProducer, ProducerConfig,...原创 2020-05-17 23:09:10 · 1237 阅读 · 1 评论