EMQTT + kafka

从Mosca到EMQTT

之前MQTT是通过mosca搭建的,mosca是用nodejs实现的一个mqtt broker,但是有一个问题,在集群部署上,mosca的压力会比较大,参考以下链接:https://yaoguais.github.io/article/app/im.html

 

所以决定以emqtt来测试是否可行,因为emqtt有专门的公司以解决方案的形式进行商业活动,那这个开源项目会比较有保证,另外配套的工具也非常多,但是开源版本是不提供将消息转发至kafka 的插件,需要自己实现

参考以下博客

https://www.jianshu.com/p/b978ef3774c6

Maxwell、Kafka、Flink与CDH组件可以集成使用,以实现数据的实时采集、传输和处理。 Maxwell是一个用于捕获MySQL数据库变更的工具,可将数据库的变更数据以JSON格式输出。在配置Maxwell时,可修改其配置文件,如将配置文件路径切换到`/kkb/install/maxwell - 1.21.1`,通过`vim config.properties`命令编辑配置文件,设置`producer_partition_by=primary_key`、`kafka_partition_hash=murmur3`、`kafka_topic=flink_house`等参数,使其将捕获的数据发送到Kafka指定的主题中[^1]。 Kafka是一个分布式流处理平台,具有发布&订阅、存储和处理等特点。可以作为数据的存储和传输枢纽,接收来自Maxwell的数据,并将数据提供给下游的处理组件。Kafka后面可接实时计算框架,如Spark和Flink。在Kafka 2.4版本中,Producer重试参数`retries`默认设置为`Integer.MAX_VALUE`,同时增加了`delivery.timeout.ms`参数设置,默认的交付超时时间为2分钟[^2][^3]。 Flink是一个开源的流处理框架,可从Kafka中消费数据并进行实时处理。Flink可以与CDH集成,在CDH环境中运行Flink作业,实现对Kafka中数据的实时分析和处理。 CDH是Cloudera公司提供的Hadoop发行版,包含了众多大数据相关的组件。可以将Maxwell、Kafka和Flink集成到CDH环境中,利用CDH提供的管理和监控工具,方便地对这些组件进行部署、配置和管理。 以下是一个简单的Flink从Kafka消费数据的示例代码: ```java import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer; import java.util.Properties; public class FlinkKafkaExample { public static void main(String[] args) throws Exception { // 创建执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 配置Kafka连接属性 Properties properties = new Properties(); properties.setProperty("bootstrap.servers", "localhost:9092"); properties.setProperty("group.id", "flink-group"); // 创建Kafka消费者 FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<>("flink_house", new SimpleStringSchema(), properties); // 添加Kafka数据源 DataStream<String> stream = env.addSource(consumer); // 打印数据 stream.print(); // 执行作业 env.execute("Flink Kafka Example"); } } ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值