开发EsSink组件总结

开发前期:

  1. 学习es框架,根据自己需要的功能,重点研究某些模块。
  2. 学习flink框架,尤其是flink-connector应该怎么写,怎么自定义的sink和source
  3. 了解版本差异,了解flink-connector-es中对es和flink的版本要求

开发过程中:

开发过程还是很精彩的,从年前开始写了一个简单的demo,当时还仅仅是用es提供的Java api向es中写入数据,等年假回来,在强哥和战哥的的引导下开始使用flink-connector-es写了一个稍微高级一点的demo。再后来,要求把这个demo改成一个标准的能运行的sink组件,这个点花的时间就比较多一些,开始深入了解pa中组件开发的规范和标准,慢慢的,自己写出来了组件的前端表单展示方法,而且再后来的持续开发过程中,需要经常性的丰富和改动前端表单,现在对前端表单方法的使用已经比较熟悉,有较大的收获。完成了基础的输出功能之后,又继续研究,完成了失败重试和批量策略。然后跟导师讨论,服务端增加了es模块,添加了es服务注册功能,优化了es前端表单,去掉了es中的type,加上了基于时间的动态index和添加时间戳的功能。

开发结束:

用alibaba的代码规约插件检查了自己的语法问题,优化了多处代码,然后现在总结开发过程中印象较深的问题和收获。

问题:

  1. 编写前端表单方法时,不清楚下拉框隐藏form的value值该怎么用。
  2. 前端label标签中不能出现小数点
  3. git提交推送的冲突解决问题
  4. 实现时间戳功能时,获取节点数据的key和value的匹配问题
  5. es自动添加时间戳功能

收获:

  1. 熟悉了pa2.x中流程运行的全程
  2. 学会了使用日志
  3. 熟悉了git的使用
  4. 当脑子不够用的时候,用笔和草稿纸
  5. flink的功能强大
  6. es的使用
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值