黑狗偶高-优快云博客

原创 flink sql 连接kafka avro序列化异常 Malformed data. Length is negative: -25

反序列化 avro格式时候遇到如下问题，原因是flink sql 的数据源DDL的字段定义要和avro的schema定义一致，字段数量，字段类型都要一致。错误的sql正确的写法

2022-07-06 00:30:00 1963

原创 flink sql 连接kafka avro序列化异常 Failed to deserialize Avro record ArrayIndexOutOfBoundsException

在使用flinksql 解析复杂avro格式时候，遇到ArrayIndexOutOfBoundsException报错。问题的原因是所有非空字段都需要显示 not null,注意是每个层级的字段。正确写法

2022-07-05 19:50:41 2270 1

原创阿里云 flink sql 异常 java.lang.NoSuchMethodError: org.apache.avro.Schema.isNullable()Z

使用kafka Connectors 时候，序列化方式选择avro时候报java.lang.NoSuchMethodError: org.apache.avro.Schema.isNullable()Z解决方式：修改高级配置的引擎版本vvr-4.0.13-flink-1.13修改为vvr-4.0.8-flink-1.13

2022-06-10 18:01:52 727

原创 ClassLoader 双亲委派机制

看了挺多双亲委派机制的博客，但是看完就容易忘掉，所以自己调试一下类加载的过程，并记录调试过程和结果。1.定位类加载的方法，并打断点记录观察加载类SampleTomcatApplication.class（自己随意找一个类观察）的加载过程。当前是AppClassLoader来加载这个SampleTomcatApplication.class。<1> 查找当前类加载器是否已加载过此SampleTomcatApplication.class。<2> 如果有父类加载器，调用父类

2022-03-29 22:31:20 454

原创官方 Nacos Docker 异常 Error response from daemon: manifest for nacos/nacos-server:V2.0.4 not found

Error response from daemon: manifest for nacos/nacos-server:V2.0.4 not found: manifest unknown: manifest unknown

2022-03-21 15:54:03 5361

原创设计模式模板模式和策略模式

模板模式和策略模式，有相识的地方，都是通过对钩子方法的调用，来实现一个业务的完整逻辑。所以这里我将两种模式放在一起介绍，比较容易加深对这两种模式的理解。模板模式在模板模式（Template Pattern）中，一个抽象类公开定义了执行它的方法的方式/模板。它的子类可以按需要重写方法实现，但调用将以抽象类中定义的方式进行。这种类型的设计模式属于行为型模式。例子假设我们需要设计两款游戏，他登录账号的方式是一样的，然后开始游戏和结束游戏的行为是不一样的，那么我们可以用模板模式来实现这个逻辑。类图

2022-03-19 21:26:29 4194

原创 flink官方示例分析-基于 DataStream API 实现欺诈检测

看到这篇文章，应该都是看过flink官网的官方示例，这里就不作详细解释，只对其中的代码细节补充个人理解。如果还没看过，可以先看官方示例。官方示例apipom文件 <properties> <java.version>1.8</java.version> <flink.version>1.12.0</flink.version> <scala.binary.version>2.

2022-03-09 21:54:49 3263

原创设计模式工厂方法模式

定义Define an interface for creating an object,but let subclasses decide which class to instantiate.Factory Method lets a class defer instantiation to subclasses.（定义一个创建对象的接口，但让子类决定实例化哪个类。工厂方法允许类将实例化延迟到子类。）我们就以mybatis的sqlsessionFactory为例来讲解类图工厂相关类定义一个

2022-03-05 08:00:00 142

原创设计模式单例模式

解释确保一个类只有一个实例，并且自己实例化唯一的一个对象场景当一个对象没有成员变量时候（无状态对象），可以通过单例模式创建当一个对象需要产生较多资源开销的时候，可以用单例模式创建一个对象，让他永久驻留内存最简单的单例模式，可能存在并发问题public class Singleton { private static Singleton singleton = null; //构造函数设置为私有的，限制通过构造函数创建对象 private Singleton() {

2022-03-04 19:00:00 115

原创 easyexcel excel多个title 读取不到第一行数据

问题描述要读取的excel有一行标题+2行记录，读取的结果只读取到第二行记录，第一行记录没有读取到，也没有进入到 onException断点跟踪invokeHeadMap（解析头数据）这个方法进来了两次，把第一行的记录也解析成标题行，触发条件excel 存在多个title解决方法添加 headRowNumber(1)，指定标题行的行数...

2022-01-13 19:00:00 3875

原创 Stream 分组 groupby 后多个聚合字段 groupby mapping reducing

假设有一张学生表班级姓名性别年龄 1 李敏女 16 1 李明男 15 1 李铭女 14 2 李民男 14 需要统计每个班级男生和女生的数量,以及平均年龄班级男生数量女生数量平均年龄 1 1 2 15 2 1 0 14 定义两个类,一个是原始数据表类,另一个是分组后的类public class Sourc

2022-01-13 10:25:33 2475

原创记录一次spring项目的性能优化(mybatis 一级缓存 ,BeanUtils 导致) 辅助工具 arthas

想了解arthas的访问这个网站https://arthas.aliyun.com/doc/1 通过arthas 的 trace 命令监控接口调用链路上性能开销发现是366行查询poaList接口一次请求需要5398毫秒。再次监控poaList链路信息后发现是BeanCopyUtils时候进行克隆时候消耗时间比较长(这里有2w多条数据进行克隆)。接着继续监控BeanCopyUtils 之后得出结论,是apach BeanUtils 的克隆较低,后面换成cglib 的 BeanCopi.

2021-09-02 15:02:37 316

原创 mybatisPlus 自定义sqlSessionFactory sql注入器失效 Invalid bound statement (not found): insertBatchSomeColumn

这是重写后的sqlsessionFactory @Bean("sqlSessionFactory") public SqlSessionFactory sqlSessionFactory() throws Exception { MybatisSqlSessionFactoryBean sqlSessionFactory = new MybatisSqlSessionFactoryBean(); sqlSessionFactory.setDataSource(mul

2021-07-09 17:05:29 5344 3

朝小佐_的博客