Flowable如何结合mongodb实现查询历史记录

原创

已于 2022-06-27 18:23:31 修改 · 2.5k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#mongodb #数据库 #mysql #flowable #工作流引擎

于 2021-12-21 10:28:56 首次发布

本文介绍如何使用Go-MySQL-Transfer将MySQL数据实时同步到MongoDB，并展示了具体的配置步骤及MongoDB查询操作。

很久没有写博客，承蒙诸位流程爱好者的关心和爱护，鄙人才疏学浅，但尽管如此，我也是依然让自己为社会做点贡献，帮助那些需要帮助的人能节约时间和少走弯路，这也是我的初衷。自立立人，自达达人。

flowable本身是实现了同步历史记录到mongodb中，但是有些弊端，就是mongodb中有数据，关系型数据库中没有数据，而且是利用job的方式实现的，性能不是很好

目标：让自己的流程跑的更快

1、学会如何使用go-mysql-transfer实时同步数据到mongodb 2、mongodb如何关联查询

第一、安装mysql 并开启binlog

#Linux在my.cnf文件
#Windows在my.ini文件 log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择 ROW 模式 server_id=1 # 配置 MySQL replaction 需要定义，不要和
go-mysql-transfer 的 slave_id 重复
第二、下载go-mysql-transfer
实现原理：
1、go-mysql-transfer将自己伪装成MySQL的Slave，
2、向Master发送dump协议获取binlog，解析binlog并生成消息
3、将生成的消息实时、批量发送给接收端
下面我们来一步步的同步和查询mongodb的数据
文档 https://www.kancloud.cn/wj596/go-mysql-transfer/2112000
下载
第三、修改app.yml

# mysql配置
addr: 127.0.0.1:3306
user: root
pass: 123456
charset : utf8
slave_id: 1001 #slave ID
flavor: mysql #mysql or mariadb,默认mysql

#系统相关配置
#data_dir: D:\\transfer #应用产生的数据存放地址，包括日志、缓存数据等，默认当前运行目录下store文件夹
#logger:
#  level: info #日志级别；支持：debug|info|warn|error，默认info

#maxprocs: 50 #并发协（线）程数量，默认为: CPU核数*2；一般情况下不需要设置此项
bulk_size: 1000 #每批处理数量，不写默认100，可以根据带宽、机器性能等调整;如果是全量数据初始化时redis建议设为1000，其他接收端酌情调大

#prometheus相关配置
#enable_exporter: true #是否启用prometheus exporter，默认false
#exporter_addr: 9595 #prometheus exporter端口，默认9595

#web admin相关配置
enable_web_admin: true #是否启用web admin，默认false
web_admin_port: 8060 #web监控端口,默认8060

#cluster: # 集群相关配置
  #name: myTransfer #集群名称，具有相同name的节点放入同一个集群
  #bind_ip: 127.0.0.1 # 绑定的IP,如果机器有多张网卡(包含虚拟网卡)会有多个IP，使用这个属性绑定一个
  #ZooKeeper地址，多个用逗号风格
  #zk_addrs: 192.168.1.10:2181,192.168.1.11:2182,192.168.1.12:2183
  #zk_authentication: 123456 #digest类型的访问秘钥，如：user:password，默认为空
  #etcd_addrs: 127.0.0.1:2379 #etcd连接地址，多个用逗号分隔
  #etcd_user: test #etcd用户名
  #etcd_password: 123456 #etcd密码


#目标类型
target: mongodb # 支持redis、mongodb、elasticsearch、rocketmq、kafka、rabbitmq

#mongodb连接配置
mongodb_addrs: 127.0.0.1:27017 #mongodb连接地址，多个用逗号分隔
#mongodb_username: #mongodb用户名，默认为空
#mongodb_password: #mongodb密码，默认为空

#规则配置  
rule:
  -
    schema: flow-prod #数据库名称
    table: tbl_token_cache #表名称
    order_by_column: id #排序字段，存量数据同步时不能为空
    column_lower_case: true 
    column_underscore_to_camel: true
    default_column_values: source=binlog
    mongodb_database: flowable #mongodb database不能为空

第四、重启mysql，开启 go-mysql-transfer

Windows直接运行 go-mysql-transfer.exe
Linux执行 nohup go-mysql-transfer &

第五、mongodb的查询

        LookupOperation procinstLookup = Aggregation.lookup(MongoConstant.TABLE_ACT_HI_PROCINST, "procInstId", "procInstId", "procinsts");
        LookupOperation idEntityLinkLookup = Aggregation.lookup(MongoConstant.TABLE_ACT_HI_IDENTITYLINK, "id", "taskId", "identitylinks"