programmerDingl的博客

input { jdbc { jdbc_connection_string => "jdbc:mysql://ip:PORT/database?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf8&useSSL=false&allowMultiQueries=true&zeroDateTimeBehavior=convertToNull"

报错 ：[logstash.outputs.kafka ] Sending batch to Kafka failed. Will retry after a delay. {:batch_size=>1, :failures=>1, :sleep=>0.1}原因： logstash 日志报错生产数据到 kafka 失败解决办法： 查看kafka配置，默认单条消息最大为1M，当单条消息长度超过1M时，就会出现发送到broker失败，从而导致消息在producer的队列中一直累

中间件Kafka+Flume配置a1.sources = s1a1.sinks =sk1a1.channels = c1a1.sources.s1.type = avroa1.sources.s1.channels = c1a1.sources.s1.bind = CentOSa1.sources.s1.port = 44444a1.sources.s1.interceptor...

Kafka Streaming概述Kafka Streams是一个用于构建应用程序和微服务的客户端库，其中的输入和输出数据存储在Kafka集群中。它结合了在客户端编写和部署标准Java和Scala应用程序的简单性，以及Kafka服务器端集群技术的优点。特点弹性、高可扩展、容错可以部署在容器、虚拟机、单独、云环境中同样适用于小型、中型和大型用例集成Kafka Security写标准的...

Kafka笔记一、概述http://kafka.apache.org/Apache Kafka® is a distributed streaming platform——分布式的流数据平台Kafka具备三项关键能力：发布订阅记录流（Record），类似于消息队列（MQ）或者企业级消息系统存储记录流，以一种容错持久化方式实时处理加工流数据Kafka的应用场景：构建实时的流...