yyoc97的专栏

本地链接远程Kafka异常 远程机器fp-bd13搭建最新版Kafka （自带zookeeper），按照文档默认配置启动。远程新建producer和costumer一切正常。 本地spark链接： JavaPairReceiverInputDStream<String, String> kafkaStream =KafkaUtils ...

streaming读取kafka数据的分区和主题 0.10.0 or higher 导入pom。 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-10_2.11</ar...

文章目录前言概述详解KafkaProduct初始化send()Sender线程run()方法结尾 前言 描述版本 0.10.1.1 ，1.x之后版本一些类会有相应的调整优化。 文章学习自《Apache Kafka源码剖析》和实际源码。 概述 整体流程 初始化-》序列化-》路由分配策略-》写入缓存-》异步发送 流程图 消息发送过程中，会涉及两个线程协同工作，主线程将业务数据封装成Produc...

文章目录前言pom依赖版本Dome 前言 网上有部分案例是关于手动设置kafka中offset的，不过大多采用的是0.8的kafka版本，采用scala的编写，kafka-0.10版本的鲜有提及，或者都不完整。0.10版本是可以兼容之前的，但是新版本的api确实要更简洁易用。找不到可以直接拿来就用的，所以这里抽时间看官网api，写个较为完整的JAVA测试用例，希望对大家有帮助。 pom依赖版本 ...