Maynor的博客

近两年， KUDU 在大数据平台的应用越来越广泛，在 阿里、小米、网易 等公司的大数据架构中，KUDU 都有着不可替代的地位。

1、完善业务数据（物流系统和CRM）ETL转换 对51张表数据进行转换POJO对象2、将ETL后数据，保存“save”到Kudu表 insert 插入更新数据 update delete 删除数据

​ 无论是OGG采集数据还是Canal采集数据，JSON数据各式字段，基本一致，所以定义JavaBean，分别解析封装数据到JavaBean对象1）、OGG采集JSON数据：7个字段2）、Canal采集JSON数据：12个字段1）、定义 Bean 对象基类table，因此将该属性作为公共属性进行提取，抽象成基类。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zmcLPflD-1652014600916)(1616053553019.)]/**

Kudu 存储引擎，类似HBase数据库，存储数据，诞生目的：取代HDFS和HBase，既能够实现随机读写数据，又能够批量加载.

存储引擎`Kudu`，类似HBase数据库，由Cloudera公司开发，目的取代HDFS和HBase框架，

以上便是Kudu底层数据模型图，愿你读过之后有自己的收获,如果有收获不妨一键三连一下~

Logistics_Day10：主题及指标开发​ 主要讲解：实时ETL转换开发，编写结构化流（StructuredStreaming）程序，实时从Kafka消费数据，进行ETL转换处理，最终保存到Ku.