开发前期:
- 学习es框架,根据自己需要的功能,重点研究某些模块。
- 学习flink框架,尤其是flink-connector应该怎么写,怎么自定义的sink和source
- 了解版本差异,了解flink-connector-es中对es和flink的版本要求
开发过程中:
开发过程还是很精彩的,从年前开始写了一个简单的demo,当时还仅仅是用es提供的Java api向es中写入数据,等年假回来,在强哥和战哥的的引导下开始使用flink-connector-es写了一个稍微高级一点的demo。再后来,要求把这个demo改成一个标准的能运行的sink组件,这个点花的时间就比较多一些,开始深入了解pa中组件开发的规范和标准,慢慢的,自己写出来了组件的前端表单展示方法,而且再后来的持续开发过程中,需要经常性的丰富和改动前端表单,现在对前端表单方法的使用已经比较熟悉,有较大的收获。完成了基础的输出功能之后,又继续研究,完成了失败重试和批量策略。然后跟导师讨论,服务端增加了es模块,添加了es服务注册功能,优化了es前端表单,去掉了es中的type,加上了基于时间的动态index和添加时间戳的功能。
开发结束:
用alibaba的代码规约插件检查了自己的语法问题,优化了多处代码,然后现在总结开发过程中印象较深的问题和收获。
问题:
- 编写前端表单方法时,不清楚下拉框隐藏form的value值该怎么用。
- 前端label标签中不能出现小数点
- git提交推送的冲突解决问题
- 实现时间戳功能时,获取节点数据的key和value的匹配问题
- es自动添加时间戳功能
收获:
- 熟悉了pa2.x中流程运行的全程
- 学会了使用日志
- 熟悉了git的使用
- 当脑子不够用的时候,用笔和草稿纸
- flink的功能强大
- es的使用