写bug的码农

注：本人初次接触Flink，其优点以及优化细节有待后续研究，直接上手业务。简单业务逻辑： 将kafka多个topic数据由Flink读取写入到Es不同index中。1.其中topic中数据使用自定义avro格式压缩,前4个字节为数据schemaID，后续数据字节为具体avro格式的二进制数据2.schema定义以文件形式存储在zookeeper中，文件名为schemaId。3.to...

文档https://mp.youkuaiyun.com/postedit/81179811 记录简单读取kakfa数据，因公司业务数据为特定格式数据，因此需要自定义schema类读取，也就是截取前4个字节获取schemaId，然后根据schemaId读取schema定义的字符串，进而还原存储在topic中的网络日志数据。直接代码：从zk中读取所有的schema配置package com.matthe...

前期成功将数据以json形式从kafka中读取出来，此片文档记录数据根据需求录入Es。需求： index名字： YYYYMMDD-http,YYYYMMDD-dns 其中索引根据数据中的recv_time、log_type字段确定思路flink类似Flume，数据处理由Source、Sink作为输入输出，因此Es逻辑在自定义的EsSink中实现即可。参考网页： https://ci.a...