
kafka
风是外衣衣衣
这个作者很懒,什么都没留下…
展开
-
SparkStreaming整合KafkaCDH6.3.2版本(Offset保存在zookeeper上,Spark2.4 + kafka0.10.X)
依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target>转载 2020-08-25 11:41:43 · 599 阅读 · 0 评论 -
streaming读取kafka数据再保存到es7.7.0代码及踩过的坑
代码import org.apache.kafka.clients.consumer.ConsumerConfigimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.sql.SparkSessionimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.st原创 2020-05-26 10:58:13 · 532 阅读 · 0 评论 -
kafka详解
转载请注明出处 : http://blog.youkuaiyun.com/suifeng3051/article/details/480539651.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战:如何收集这些巨大的信息如何分析它如何及时做到如上两点以上几个挑战形成了一个业务需求模型,即生产者生产(produce)各种信息,消...转载 2018-03-11 19:26:56 · 241 阅读 · 0 评论 -
kafka 容器报内存不足异常(failed; error='Cannot allocate memory' (errno=12))
原路径https://blog.youkuaiyun.com/womenrendeme/article/details/76855490异常:OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error='Cannot allocate memory'...转载 2018-08-02 17:18:54 · 1296 阅读 · 2 评论