小小鱼

文章目录1、简单的连接查询2、过滤查询3、插入数据4、Kafka to MongoDB5、使用java读取MongoDB的消费pom依赖<!-- https://mvnrepository.com/artifact/org.mongodb/mongo-java-driver --><dependency> <groupId>org.mongodb</groupId> <artifactId>mongo-java-driver</

文章目录flink读取kafka数据对数据进行清洗，然后再重新写入kafka1、流水写法2、OOP写法2.1、抽象接口读、写、数据处理2.2、开发人员实现数据源添加和写入某数据平台2.3、用户方针对不同数据实现的特质2.4、执行器，混入特质2.5、动态混入用户的方法，执行flink读取kafka数据对数据进行清洗，然后再重新写入kafka1、流水写法读：设置kafka消费者为flink数据源transform写：设置kafka生产者为flink数据源object FlinkReadWrite

文章目录1、先把消费者组的游标重置，防止该消费者组消费过数据无法再消费(执行操作前做就可以)2、创建HBase表3、模板模式批量消费kafka插入hbase3.1、接口层读和写3.2、工具类：读写之前，需要分别创建消费者对象和hbase的连接connection，创建连接需要配置。3.3、读kafka的实现类3.4、写HBase的实现类3.5、简单工厂模式创建连接执行器4、检验数据导入是否正确1、先把消费者组的游标重置，防止该消费者组消费过数据无法再消费(执行操作前做就可以)# 消费者组的游标重置ka

在上文中，我们使用sparkStreaming对kafka中某topic数据进行数据处理后再重新写入kafka，其实整套逻辑思路并不复杂，但全都写在一个类里面，只能一次性使用，修改时要修改类主体的内容，扩展性很差，安全性也得不到保障。因此本文把该类主体内容拆解，抽出各个部分，便于管理和扩展文章目录1、思路分析：1.1、从逻辑上抽出第一层概念：1.2、通过核心动作抽出第二层概念1.3、把可以替换的属性方法抽出来，得到：2、代码实现：2.1、顶级接口功能设计2.1.1、读2.1.2、写2.1.3、数据处理2

文章目录1、需求：2、知识点：3、方法1：4、方法2：4.1、伴生类创建KafkaProducer包装器4.2、SparkStreaming消费kafka并写入kafka1、需求：使用sparkStreaming对kafka中某topic数据进行数据处理后再重新写入kafka2、知识点：广播变量SparkStreaming连接kafka进行消费rdd算子写入kafka懒加载伴生类与伴生对象的使用producerRecord手动序列化3、方法1：KafkaProducer不可序

文章目录1、主要思路：2、实现步骤2.1、消息接口 Dbinfo2.2、KafkaConnector2.3、CustomkafkaProducer2.4、测试类App1、主要思路：把producer配置信息进行封装使用LineNumberReader获取文件总行数和对应行的起始字节位置，并存入map里，方便不同线程从不同行读取和写入kafka继承Thread类，重写run方法并执行2、实现步骤2.1、消息接口 Dbinfokafka消息对象 KafkaConfiguration

文章目录1、kafka是什么？2、kafka特点3、kafka为什么这么快？4、kafka核心组件5、消费者组的意义是什么？6、consumer加入或离开？7、kafka文件存储基本结构8、为什么要划分为多个segment?9、isr副本同步列表和acks应答机制简介10、不清洁选举unclean.clean.election.enable，默认为false11、怎么保证kafka消费者消费数据是全局有序的12、数据丢失参数设置13、异步发送消息时消息丢失怎么解决？14、避免消息丢失最佳实践：15、消息重复

文章目录一、KafkaAPI代码思路二、依赖三、JavaAPI1、kafka-producer2、kafka-consumer四、ScalaAPI1、kafka-producer2、kafka-consumer五、输出如下：一、KafkaAPI代码思路1、producer设置kafka集群，acks策略配置，K、V序列化创建生产者对象创建生产者信息记录（topic,key,value）,然后发送参考文章：Kafka之Producer2、consumer配置集群端口号，消费者组，K、V反

Java实现观察者模式观察者模式，简单来说就是一对多的依赖，并且把观察者和被观察者对象分开松耦合当某个对象的状态发生更新时，所有依赖的观察者都会收到更新，而断掉依赖的则不在收到代码实现：主题：售楼处的某位员工向有兴趣的用户群发房源降价的消息1、创建观察者接口Observerpublic interface Observer {//观察者接口 void update(String msg);}2、创建被观察者接口public interface Subject {//被观察者的

1、 kafka如何保证数据不丢失Kafka是一种高吞吐量的分布式发布订阅消息系统。在使用过程中如果使用不当，经常会出现消息丢失的情况，这是业务系统不能容忍的，消息系统最重要的是保证数据不丢失。本文主要记录kafka是如何保证数据不丢失的，主要从三方面来介绍，消息发送端保证数据不丢失，kafka服务保证消息不丢失，消费者保证消息不丢失。1.1 基础知识kafka 可以保证分区消息的顺序，同一个分区，先发送到kafka分区的消息，会被先消费掉。kafka 是通过一个集群对外提供服务，只要是集群中多个

文章目录1、Kafka 依赖2、Producer API：3、Consumer API4、Consumer Offset API 偏移1、Kafka 依赖创建Maven工程，导入kafka依赖： <!--kafka--> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId&gt

kafka常用命令#查看主题kafka-topics.sh --zookeeper master01:2181/kafka --list#创建主题“first”，分区数为3，备份因子为2kafka-topics.sh --zookeeper master01:2181/kafka --create --topic first --partitions 3 --replication-factor 2#查看主题“first”的结构描述信息kafka-topics.sh --zookeeper ma