关于大数据导入流程引擎ccflow的方案

文章讨论了如何处理数百万条已运行流程的数据导入到ccflow流程引擎的问题。建议在原有数据上添加导入标记字段,并采用多线程分批执行,每次处理未标记的数据,以解决大数据量导入的实际困难。

问题:
1. 现在的流程系统里有几百万条已经运行的流程其它的流程架构上
2. 需要把这样的数据导入到ccflow流程引擎里面去。

数据结构分析:
1. ccflow有流程引擎注册表,工作人表,业务数据表与日志表4大表.
2. ccflow的流程实例是一个int类型的自增长的数据.
3. 导入的时候首先生成一个workid然后,把如上4大表的数据补充上集合.

执行分析:
1. 数据量比较大,超过几百万数据,一次的环境执行完毕,按照理论上来说没有问题实际上会有困难.
2. 做一个过程,可以允许反复执行,在旧数据上增加一个字段标记,已经执行的,打上标记,每次运行未执行的。
3. 考虑使用多线程执行.

执行导入代码结构:
1. 在旧业务数据上增加一个字段, 是否导入IsImp=0.
2. 获取2-3条数据,开始运行,进行循环。
  2.1  创建workid. ,
  2.2  创建写入业务表数据.
  2.3  写入日志数据。
  2.4  设置运动到指定的节点上去。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

驰骋低代码、工作流、表单引擎

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值