工作心得
- 聚宝数聚平台的使用:仪表盘、低代码页面(superpage)、数据模型加工(自定义,从源获取,优化已有模型,在旧模型上添加新功能)、执行计划、权限设置 。
- 通过数据库链接查询相关数据以及涉及到的对数据库的优化操作(对特定字段加索引以及分区的使用)。
- 对财政业务的了解,相关字段等涉及到字符串截断、指标信息代码与原指标信息代码不一致、业务表字段值不在基础数据表中、数据业务的逻辑问题、不符合规范的问题,旧数据字段不按规范和新数据重新定义旧字段的问题等,通过DMsql、DLSQL(oracle)回流库查询排查具体问题,对应相关码表集修改规范相关数据字段。
按阶段总结
- 仪表盘结合低代码页面(superpage)搭建常州项目的主页面,在低代码页面(superpage)内嵌仪表盘;
- 自定义相关数据模型,使用windows_sum等开窗函数;
- 使用仪表板搭建相关页面(子页面)最后在总页面以页签的形式展现;
- 使用低代码页面(superpage)搭建活动式卡片(浮动面板);
- 使用低代码页面(superpage)搭建表格页面;
- 对泰州项目的三公两费模型添加单位代码字段,优化模型的处理是把表拉宽减少查询记录数;
- 淮安项目从oracle回流库到ods、std、dwd、dws、ads的数据模型克隆迁移(按照已有的市本级模型);
- 处理std、dw层的字符串截断问题;
- 对照页面数据(ads模型)核对std或oracle回流库的数据是否一致,并查找不一致的原因,有些数据的22,23年定义的字段后来修改的导致业务表字段值不在基础数据表中,有些是之前没按规范后来按规范了导致有些字段数据不符合标准。(财政一体化规范)
- 制作报表,有向下浮动3层的报表等。
按项目总结
-
常州项目:
通过实习期考核,主要的工作内容有:
使用低代码页面(superpage)搭建相关表格页面;
仪表盘结合低代码页面(superpage)搭建常州项目的主页面,在低代码页面(superpage)内嵌仪表盘;
自定义相关数据模型,使用windows_sum等开窗函数; -
泰州项目:
对泰州项目的三公两费模型添加单位代码字段,优化模型的处理是把表拉宽减少查询记录数;
使用低代码页面(superpage)搭建表格页面; -
淮安项目:
使用仪表板搭建相关页面(子页面)最后在总页面以页签的形式展现;–财政支出
使用低代码页面(superpage)搭建活动式卡片(浮动面板);
从oracle回流库到ods、std、dwd、dws、ads的数据模型克隆迁移(按照已有的市本级模型);
处理std、dw层的字符串截断问题;
对照页面数据(ads模型)核对std或oracle回流库的数据是否一致,并查找不一致的原因,有些数据的22,23年定义的字段后来修改的导致业务表字段值不在基础数据表中,有些是之前没按规范后来按规范了导致有些字段数据不符合标准。(财政一体化规范);
制作报表,有向下浮动3层的报表等。
进公司以来的工作成果
- 常州项目:
使用低代码页面(superpage)搭建了一些表格页面,实现了相关的功能;
使用低代码页面(superpage)搭建常州项目的主页面,在低代码页面(superpage)内嵌仪表盘;
后端的数据模型加工,使得前端的展示数据为真实所需的数据状态。 - 泰州项目:
对泰州项目的三公两费模型添加了单位代码字段,优化模型的处理是把表拉宽减少查询记录数;
使用低代码页面(superpage)搭建了一些表格页面,实现了相关的功能; - 淮安项目:
使用仪表板搭建财政支出相关的页面(子页面)最后在总页面以页签的形式展现;
使用低代码页面(superpage)搭建活动式卡片(浮动面板);
将oracle回流库到ods、std、dwd、dws、ads的数据模型克隆迁移(按照已有的市本级模型);
处理std、dw层的字符串截断问题,并将修改过的字符串长度的字段记录到文档;
对照页面数据(ads模型)核对std或oracle回流库的数据是否一致,并查找不一致的原因,有些数据的22,23年定义的字段后来修改的导致业务表字段值不在基础数据表中,有些是之前没按财政一体化规范后来按规范了导致有些字段数据不符合标准,对于这些字段,最后和回流库方协商并做好约定,我们对这些字段做修改。
制作报表,有向下浮动3层的报表等。
目前掌握的技能
- 对聚宝数聚平台的使用,包括前端低代码页面表格,页面布局设计,仪表盘各种图表的使用(自定义地图,在原有地图基础上挖新区域或下钻到乡镇的地图,上传json文件补充或修改json即可),权限设置等;后端数据模型的加工使用,包括各种加工的方法,模型的提取,计划执行,以及核对数据的sql语句和DMsql、DLSQL(oracle)等可视化工具的使用。
- 熟悉c、c++、c#、python、js、ts、java语言,但只有c#、python有一些项目经验,使用c#实现过继电器、电机的接口,使用过python的Django框架参与过文旅线上商城的项目,实现过其中的登录滑动验证,支付宝的支付接口,表单的crud等工作。
- 前端基础html,css,js和vue3框架,但没怎么参与过项目。
- python用于数据分析的numpy,pandas库,可视化相关的库(python数据分析的大部分用法在聚宝数据平台的数据加工都已经实现),数据分析算法knn算法等预测与检验未来值的准确性。
个人未来的发展方向
先从技术中了解业务,再在业务中改进设计开发技术。
我的想法是能多接触技术开发相关的工作,能多参与项目做一些后端的工作,在后端工作中了解一部分业务知识,如果有需要也参与一些前端的工作,后端的话在公司这边的项目主要用的是java,我目前也在学习java相关的知识和框架。关于数据分析我想要学习相关的机器学习算法和预测对数据的未来发展有个合理的预测。等技术栈积累到一定程度,去实践中、和客户的交流中积累行业业务,然后再回头做开发设计可能会更上一个台阶。就是想先将主要精力放在积累项目产品开发的经验上,后面再积累行业业务经验,然后带着这些业务经验再去做项目产品或工具的设计和开发。