- 博客(3)
- 收藏
- 关注
RSS订阅原创 0.3 Flink--Kafka2Es之写入Es
前期成功将数据以json形式从kafka中读取出来，此片文档记录数据根据需求录入Es。 需求： index名字： YYYYMMDD-http,YYYYMMDD-dns 其中索引根据数据中的recv_time、log_type字段确定 思路flink类似Flume，数据处理由Source、Sink作为输入输出，因此Es逻辑在自定义的EsSink中实现即可。 参考网页： https://ci.a...
2018-07-24 11:32:36
3162
2
原创 0.2 Flink--Kafka2Es之kakfa数据自定义Schema类，打包上传到本地flink单机运行
文档https://mp.youkuaiyun.com/postedit/81179811 记录简单读取kakfa数据，因公司业务数据为特定格式数据，因此需要自定义schema类读取，也就是截取前4个字节获取schemaId，然后根据schemaId读取schema定义的字符串，进而还原存储在topic中的网络日志数据。 直接代码：从zk中读取所有的schema配置 package com.matthe...
2018-07-24 11:20:46
2820
1
原创 0.1 Flink--Kafka2Es之读取kakfa数据
注：本人初次接触Flink，其优点以及优化细节有待后续研究，直接上手业务。 简单业务逻辑： 将kafka多个topic数据由Flink读取写入到Es不同index中。 1.其中topic中数据使用自定义avro格式压缩,前4个字节为数据schemaID，后续数据字节为具体avro格式的二进制数据 2.schema定义以文件形式存储在zookeeper中，文件名为schemaId。 3.to...
2018-07-24 10:55:25
1449
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人