外部数据查询整合投产过程 日记一则

如何实现多源异构系统数据整合? 在信息化建设过程中,由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素等因素影响,导致企业在发展过程中积累了大量采用不同存储方式的业务数据,包括采用的数据管理系统也大不相同,从简单的文件数据库到复杂的网络数据库,它们构成了的多源的异构数据,当企业为完成一项工作,可能需要访问分布在网络不同位置上的多个数据管理系统中的数据,从而对企业对未来规划造成困扰。... 阅读详情

 今天写一个日记。

 最近一周是广发数据中心的外部数据查询整合项目 7月版的投产阶段,需要做的工作有各种接口的调通,问题和bug的解决、投产前支持文档的编写。还要做9月版的概要设计。

 对于联调,问题产生于沟通费力耗时、效率不高,各方人员容易产生情绪。这引发了我对项目经理应该要有的技能的思考。

项目过程管理已经有很系统等理论知识和很多前人的实践、论述,包括了9大知识领域,质量管理、进度时间管理、成本管理、风险管理、配置管理、沟通管理等,而IT领域的信息系统项目管理在其基础上也有所延伸和发展。这些都是可以从书本中得到的。

然而,在这段时间里,作为外部数据查询项目的项目经理,在协调各方的时候,我更多体会到项目经理更需要情绪控制、沟通、表达、受压、条理处事的能力。所以有些人适合做管理,有些人适合做技术。而没有这些要素的人,即使通过了项目管理资质的考试也不一定能做好,所以有些人拿着信管高级的证书本本,公司也并没有给他带项目。这里的因果关系真值得细细品味。

这里做个简单的分析。

外部数据查询整合项目,涉及的干系人众多,包括联通、移动、电信三大运营商,还有百融公司、浙江爱信诺、中国人寿这些外部的公司。所谓外部数据,就是从这些公司的数据库中连一条水管,把水放倒广发数据中心的池子中。当然这是由行内的征信项目组、卡核心项目组和第三方对接的,但产生的沟通就特别的延迟,沟通传递过程中语义也会不准确。而大数据在联调过程就是和征信项目组、信用卡信审无纸化项目组、卡核心项目组的联合调试。如此多的干系部门和干系人,其沟通难度对于开发者而言无疑的巨大的,对项目经理无疑也是费力费神的。

例如某个接口的某个码值,三大运营商给出的码值是不一样的,需要归一和标准化。如果标准化出了问题就引起三方的互相质疑,项目经理需要条例分析问题,整理原因,让开发者舒舒服服的debug。避免多方的开发者在微信群中互吐口水浪费时间。这个过程,多方的互相指责会导致开发组内闹情绪,项目经理在处理过程,千万不要也有情绪尤其是负面情绪,淡定处事才能引导大家积极解决问题。当然项目经理还会受到巨大压力,这是源于来自多方的质问和领导对项目进度的监控的压力。

这里必须提一下,项目过程的问题追踪机制的确必须。其中有些问题,其实已经解决过了,有应对方案了。但其中一些干系人还是会提出来,因为他没有收到问题解决的消息;还有就是,问题一再重现,因为某些干系人不知道已经出现的解决方法。而开发者也会十分烦恼,明明白白解决的问题,怎么还一再重现,是不是自己的解决方案不够彻底。一再的思虑和摸排debug,最后仅仅是源头没有按要求进行改正导致的浪费时间和精神。

 好吧,写到这里。

我是ALLEN x f long ,扣扣1749671388。欢迎聊技术,加我请注明:聊技术 聊管理。



跨项目组项目开发之错误码设计 跨项目组项目开发,错误码设计 引言 当项目还是大单体的时候,当项目还是一个项目组开发的时候,当项目还是自给自足不需要对外提供服务接口的时候,当项目还不涉及多个业务部门甚至部门是跨国的部门的时候,你也许都不需要考虑错误和故障的快速定位,你的服务接口中甚至不存在错误码。 那么在银行,当这些情况都发生了,你要怎么做? 以广发行的贷中业务需求为例,在进行已有卡信贷过程的风险控制,数据流就经历了5个... 阅读详情

相关推荐

中软国际PM认证(分享PPT和自述录音)

已经拿到信息系统项目管理师(高级)好多年了。 已经作为PM并且带项目也多年了。 这次参加中软的PM认证,是对自己进行项目过程管理的一个总结,一个回顾。这次认证不比考证容易。 PM能力自述,这个是实打实考察个人的沟通能力和表达能力。因为PM就要求参与各种调研讨论会议、项目过程中的沟通会议,参加各种评审,引导组员进行周会等。没有表达能力,PM就是空谈。 自述完毕后,有公司的专家组来提问,6位专...

DeveloperX的博客 2768

金融科技&大数据产品推荐:百融信贷决策审批系统

百融信贷决策审批系统,作为集成式、一站式的风控服务平台,基于百融金服的大数据和风控云等技术理念,结合机器学习和人工智能算法的新科学,从数据规则、审贷规则集、风控模型等不同层面帮助客户实现包括贷前审核、贷中监控和贷后管理的整个全生命周期的风险管控,降低风险运营成本,提高批贷资产质量,为客户保驾护航。 官网 | www.datayuan.cn 微信公众号ID | datayua

数据猿 4677

基于大数据分析平台现状 规划和划分微服务粒

一、微服务架构的定义 微服务(MSA)是一种架构风格,旨在通过将功能分解到各个离散的服务中以实现对解决方案的解耦。它有如下几个特征: l   小,且只干一件事情。 l   独立部署和生命周期管理。 l   异构性 l   轻量级通信,RPC或者Restful。 快速回顾一下Martin Folwer对微服务的定义   一、   广发银行大数据平台微服务的边界与拆

DeveloperX的博客 2660

外部数据源

产生背景概述目标操作parquet文件数据操作hive数据操作mysql数据统一产生背景每一个spark都是以加载数据开始,经过一系列处理,最后存储到其他地方;不同格式,不同压缩格式,不同存储接口,用户肯定希望从不同数据源收集数据方便、快速从不同数据源()经过混合处理(json直接和parqent jion)再将结果以特定格式写回到指定系统上去sparksql 1.2====》外部数据源api问题...

qq_32720539的博客 1143

mall 电商项目完整部署---实战

mall 后端 SpringBoot,mall‑admin‑web 后台管理 Vue 前端,mall‑app‑sc 移动端 uni‑app 前端;修改数据库、redis、minio、logstash 地址,容器之间 link 别名:mysql 容器别名。🔔排坑:登录报跨域 / 接口报错,检查 prod.env.js 地址,确认 8080 后端服务正常运行。能打开页面,接口列表展示出来,后端部署完成。,所以打包的时候会自动构建镜像,很慢而且你暂时不需要。,容器数据持久化,删除容器数据不会丢失。

qq_63196465的博客 346

ESP32连接PDM麦克风操作指南:新手入门必看

手把手教你如何将ESP32与PDM麦克风连接,采集音频数据并用于音频分类应用。内容涵盖硬件接线、代码配置及实际调试技巧,适合初学者快速上手esp32在声音识别场景中的使用。

weixin_42590539的博客 1329

广发行外部数据整合应用7月投产问题及应对方案

7月投产问题及应对方案 投产过程常常受到重视。投产时间紧迫不应该也不允许产生错误。如果产生故障就会受到各方的巨大压力。这种情况下必须重视因低级错误或疏忽导致的生产故障。 问题列表及分析 情况汇总 1,投产过程受到云平台不稳定、设置参数不明确等因素影响,而拖延了投产时间、甚至中断,内存溢出并且保错等。 2,由于负责数据处理的同事的疏忽,没有进行生产主键的逻辑进行校验,导致Es的ID没...

DeveloperX的博客 616

百度智能云训练图像分割模型+python调用模型并分割图像

目录 训练模型阶段 发布图像分割API 调用图像分割API 创建应用后显示以下两个代码 在pycharm中可以调用API mask解码 依赖库pycocotools安装步骤: 依赖库urllib2的安装 源码下载: 最近上课听老师介绍了一个训练图像分割模型的网站,把数据集上传之后做图像标注,然后进行训练就能得到准确率等指标。 训练模型阶段 图像分割:https://ai.baidu.com/easydl/vision/ 图像分割-->创建模型-->上传数据--&gt

icecreamdinner的博客 1389

基于服务的多源异构数据整合平台解决方案

摘要:在跟很多客户的沟通过程中,用户常常提出这样的问题:目前我们的数据库中已经存储了大量的数据,包括结构化的和非结构化的,但是分布在不同的系统,各个业务系统从这些数据库中取数据的需求和情况越来越多,已经形成了难以维护管理的“蜘蛛网”,需要建立统一的数据管理和访问平台,便于统一维护和管理,提供“一站式”的数据访问服务。 业务场景 上面说到的业务系统和数据具有以下特

liukai31415926的专栏 2万+

安卓设备通过USB串口与STM32单片机通讯之一

这里写自定义目录标题欢迎使用Markdown编辑器`在这里插入代码片`新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器在这里插入代码片 你好下Markdown的基本语法知识。 新的改变 我们对

JGB联合商务组的博客 7246

一文读懂无人机AI识别算法,原理、技术、应用

本文详细介绍了无人机识别算法的工作原理、技术优势以及在多个行业的应用前景,展现了其在提升安全监控、资源管理和应急响应中的关键作用。尽管无人机识别算法在多个领域展现出巨大潜力,但仍面临技术挑战,如算法的准确性、数据的实时处理能力以及对复杂环境的适应性。4. 消防与城市管理: 无人机识别算法在消防和城市管理中的应用,为相关部门提供了及时的信息支持,提升了应急处置能力和城市管理水平。1. 公安监控: 无人机识别算法在公安领域的应用,可以实时识别犯罪嫌疑人和违法行为,有效提升城市治安管理的智能化水平。

foiadrone的博客 1849

从一次需求调研会议看项目经理的能力

本篇随笔说一说从一次需求调研会议看项目经理的能力,需求调研的内容是银行名单库系统的红、白、灰、黑名单定义、判断和处理规则、应用场景。但由于行内多个系统已经有名单库且各个系统的定义和应用场景不一,这些名单被迁移至数据中心就产生了归一、去重、标准化的需求,使得调研过程变长变复杂。   本次调研要做几件事,琐碎与不琐碎的:   首先是找人,这个事一点都不容易。项目的干系人(干系人不一定是个人,也

DeveloperX的博客 1790

集成电路设计学习笔记(二)基于IC617反相器设计之原理图绘制

博主的博客网站 欢迎大家访问! ccbirds.cn ccbirds.github.io 本文主要记录在IC617中原理图的绘制和schematic的使用方法。 新建library 要画设计自己的集成电路,需要建一个自己的库,方便对自己设计文件的管理。 打开library manager,file 下NEW下Library 选择库的保存路径,一般默认即可,并在name中填入自己库的名字。...

ccbirds 7377

如何做出一套账面漂亮的进度安排

如何做出一套账面漂亮的进度安排 排进度是项目管理过程中经常要做的事,然而这件事却又因涉及到方方面面的利益而变得不容易做好。 一方面,进度安排直接控制着项目完成时间节点,是否如期完成直接关系到项目的收益和资源损耗,直接关系到在项目验收时甲方是否会发难而乙方是否能够成功顺利回款。 另一方面,进度安排是否得当,直接关系到做具体开发、测试、实施的兄弟们的感受。安排得当,兄弟们在适当的时间做适当的事,

DeveloperX的博客 1179

UE5Could not be compiled. Try rebuilding from source manually.

UE5Could not be compiled. Try rebuilding from source manually.

weixin_45417260的博客 2771

海洋浮游生物识海洋浮游生物识别系统:基于YOLOv10的显微图像自动检测与UI别系统:基于海洋浮游生物识别系统:基于YOLOv10的显微图像自动检测与UI展示YOLOv10的显微图像自动检测与UI展示

本文介绍了如何利用YOLOv10模型进行海洋浮游生物的自动识别,旨在提高传统显微镜观测的效率与准确性。研究背景强调了浮游生物在海洋生态系统中的重要性,并指出传统方法的局限性。数据集选用WHOI-Plankton,包含70多种浮游生物的20000多张带标签图像。文章详细描述了YOLOv10模型的安装、数据集配置、训练与测试步骤,并提供了基于PyQt5的图形化检测界面代码。结果显示,模型在精度、召回率和mAP@0.5等指标上表现优异,推理速度达到约30 FPS。最后,文章提出了部署建议和未来优化方向,如集成摄像

YOLO 377

在广发行执行项目管理-关于进度安排的理解

在广发行执行项目过程管理,要预防和应对进度延误。从需求调研、进行概要设计、进行详细设计、执行开发任务、测试、联合调试、SIT测试到生产环境部署,每个环节每个里程碑都存在大大小小的延误。 项目管理的九大知识领域,就有系统的论述了进度管理。还有关键路径等理论作为项目的进度安排的依据。项目经理应该要能负重若轻的对待这些问题。 能不能如期完成项目,项目经理负有重大责任。对于项目进度的把控,无外乎三种情...

DeveloperX的博客 756

基于自适应小波阈值算法的图像去噪

自适应小波阈值算法是一种基于小波变换的方法,它相对于传统的小波阈值去噪方法具有更好的性能和鲁棒性。该算法首先对图像进行小波变换,然后根据小波系数的大小确定一个自适应的阈值,将小波系数与阈值进行比较,大于阈值的系数被保留,小于阈值的系数被置零。在上述代码中,首先选取了小波函数sym4进行小波分解,然后根据标准差计算出阈值,使用wthresh函数进行阈值处理,最后进行反变换得到处理后的图像。该GUI界面与前面的自适应小波阈值算法代码结合,实现了图像的去噪,并提供了可视化的效果。

与其临渊羡鱼,不如退而结网 559

ElasticSearch(一)API的使用

elasticsearch的API使用

qq_40358025的博客 222

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

企业如何同时管理用电安全、电能质量和节能降碳?从异常溯源看施耐德电气EEO的协同管理价值

通过整合电力运行信息,并结合EEO资产健康模块、EEO电能质量模块与EEO能碳管理模块,企业可以围绕设备、回路和负荷建立更连续的分析流程,使不同专业人员能够基于相互关联的数据开展判断。企业需要进一步核对异常出现的时间、涉及的配电回路、生产负荷变化以及设备运行状态,才能判断问题来自正常的生产调整、设备运行异常,还是需要采取措施的电能质量问题。从关键回路的异常排查入手,逐步完善设备数据、专业分析和治理验证流程,企业可以让用电安全、电能质量与节能降碳从分散的管理任务,转变为相互关联的日常运营工作。

科技,技术,行业类博主 186

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

京东 Apache Doris 湖仓查询优化实践:从多引擎统一到百万级查询

京东基于 Apache Doris 构建统一湖仓查询引擎,支撑日均百万级查询与 PB 级数据扫描。深入解析 Presto、StarRocks 迁移、分区裁剪、Split 调度、向量化执行及 AI Agent 混合负载优化实践。

SelectDB 430

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Day3 - Flink 窗口与时间语义:从滚动窗口到迟到数据处理

水位线是一个特殊的时间戳,代表"小于这个时间戳的数据都已经到齐了比如水位线推进到 10:00:05,就告诉 Flink:10:00:05 之前的数据应该都到了,如果还有晚于这个时间到达但时间戳小于 10:00:05 的数据,就是"迟到数据"。窗口大小固定,窗口之间不重叠,数据只属于一个窗口。时间线: 0 10 20 30 40 50 60窗口1: [--------)窗口2: [--------)窗口3: [--------)窗口4: [--------)

YEEMOLY的博客 271

智能问诊的流程

本文介绍基于FastAPI构建的医疗多Agent系统MediAgent,通过症状分析、诊断推理与治疗建议等模块协同,实现从问诊到报告生成的完整工作流。系统采用前后端分离架构,结合MySQL、RabbitMQ与Docker实现工程化部署,支持异步化验结果接入。虽当前状态暂存于内存,但已具备可扩展性,未来可通过Redis持久化、消息队列联动及医疗安全机制完善,应用于慢病管理、辅助决策等场景,推动AI在医疗流程中的落地应用。

Joey 的工作空间~ 785

大数据与审计专业哪些证书企业比较认可?

大数据与审计专业选证书,首先要明确就业方向:是进入会计师事务所做财务审计,还是进入企业从事内部审计、风险控制,或向数据审计、信息系统审计发展。不同岗位看重的专业能力不同,证书的价值也应放在具体招聘要求中判断。面向2027年的求职与备考规划,值得重点考虑的有六类:初级会计专业技术资格、注册会计师、审计专业技术资格、CDA数据分析师、国际注册内部审计师和国际注册信息系统审计师。选择时,宜采用“财审基础+数据能力+岗位专长”的组合,而不是单纯追求持证数量。

YangYang9YangYan的博客 312
上一篇: 如何做出一套账面漂亮的进度安排
下一篇: 广发行外部数据整合应用7月投产问题及应对方案
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值