开发esSink组件二阶段

二阶段新增功能：

1. 实现基于事件时间的动态index
2. 实现事件时间添加时间戳
3. 实现权限控制

遇到的困难：

1. 在完成事件时间index时，无法确定上游传下来的日期格式，所以不知道该如何格式化，后面经过讨论，决定由用户在前端表单中提交这种日期格式，然后我拿到这个日期格式去格式化数据中的时间字段，如果格式不符合则放弃写入，由脏数据日志收集。
2. 在完成事件时间时间戳时，也是在时间格式上出了问题，es在解析数据时，有一个默认时间模板，如果数据中某个字段符合这个模板，那么这个字段就会被划定成date格式存入es，其他的字段则都当以text类型存入。如果es中已经是date类型，再插入一个其他类型的数据，则response会报错。这个问题最后也是强制定一个日期格式，只有时间日期符合这个格式的才能当作时间戳，并且在这里要加一个try/catch，不知道为什么这个地方如果抛异常，整个flink job会停下来。
3. 实现权限控制，这个地方一直有一个问题还没有被解决，当初设置xpack时，用的时auto方式设置的密码，不知道为啥每次重启服务，这个密码就会被改掉，导致使用的时候，需要重新起一个superuser来重置超级用户的密码。设置了xpack之后，代码里连接es也需要相应的改变，在clientBuilder里面设置一些内容即可连接

小结：

这次应该是真的差不多完成一段落了，昨天听了聪哥的flink培训讲座，感觉是不是应该也要有一个基于事件大小的index，比如满一万条就换一个index输出数据，以后再说吧。
– 2021-04-09