u012447842的博客

本地电脑联调spark任务入门级

flink 采用批量 async io 方式写入hbase    一条一条数据写入hbase太慢了，故采用批量的方式，每2000条数据一个批量写入hbase，提高写入性能    设置一个三秒的翻滚窗口， 将数据聚合在一起， 然后批量的方式， Async IO 异步写入hbaseval RunDataDS: DataStream[FdcData[RunData]] = getDatas() /** *

flink 1.12批量读写hive基础教程

简述：1： 通过隐式转换，程序员可以在编写Scala程序时故意漏掉一些信息，让编译器去尝试在编译期间自动推导出这些信息来，这种特性减少代码量，忽略那些冗长的代码。2： 我们经常引入第三方库，但当我们想要扩展新功能的时候通常是很不方便的，因为我们不能直接修改其代码。scala提供了隐式转换机制和隐式参数帮我们解决诸如这样的问题。Scala中的隐式转换是一种非常强大的代码查找机制。当函数、构造器调用缺少参数或者某一实例调用了其他类型的方法导致编译不通过时，编译器会尝试搜索一些特定的区域，尝试使编译

什么是JacksonJackson是一个简单的基于Java的库，用于将Java对象序列化为JSON，也可以把JSON转换为Java对象。Jackons的特征 易于使用：-Jackson API提供了高级外观，以简化常用使用。 无需创建映射：Jackson API为大多数序列化的对象提供了默认映射。 性能：Jackson轻便快速，内存占用少，适用于大型对象图或系统。 干净的JSON：Jackson创建了简洁的JSON，易于阅读。 没有依赖关系：Jackso