精华文章--CDC系列之一 ：使用Dejournal Filter在InterSystems IRIS/Caché上通过Mirroring实现CDC功能...

InterSystems IRIS/Caché的CDC

InterSystems IRIS/Caché未提供开箱即用的变更数据捕获(CDC)工具，而且由于其多模型建模能力和底层的多维存储模型，相对于关系型数据库的单一模型，针对于SQL的CDC在InterSystems IRIS/Caché上会更复杂一些。例如通过Journal日志记录的是底层持久化多维数组的数据变更，而不是SQL table的变更。

通常，在应用层面实现变更数据捕获是更灵活和简单的方式，例如通过设置触发器、类的DSTIME参数。但如果无法在应用层做CDC，可以考虑使用InterSystems IRIS/Caché的Journal和强大的开发能力获取数据变更。

这里介绍使用InterSystems IRIS/Caché的Reporting类型的异步镜像成员获取数据变更。

Dejournal 过滤器

InterSystems IRIS/Caché的 Dejournal 过滤器用于在Reporting类型的异步镜像成员上过滤Journal记录。当配置了Dejournal 过滤器后，异步镜像成员在redo journal前会自动调用Dejournal过滤器类的方法RunFilter，并传入以下参数：
 1. MirrorDBName：镜像数据库名称；
 2. GlobalReference：Global节点(包括下标)；
 3. RecordType：操作类型，为S(Set)和K(Kill)；
 4. Address：Journal记录在Journal文件中的偏移量。

我们可以利用自定义的Dejournal过滤器，捕获持久化多维数组(Global)的数据变化，并输出给外部系统。

注意：1.    如果仅为实现CDC，并不需要配置镜像备机。2.    Dejournal过滤器只能配置在Reporting类型的异步镜像成员上。3.    镜像配置不在本文内容里，请参考文档：[IRIS]    https://docs.intersystems.com/irislatest/csp/docbook/DocBook.UI.Page.cls...[Caché]    https://cedocs.intersystems.com/latest/csp/docbook/DocBook.UI.Page.cls?K...注意：1.    如果仅为实现CDC，并不需要配置镜像备机。2.    Dejournal过滤器只能配置在Reporting类型的异步镜像成员上。3.    镜像配置不在本文内容里，请参考文档：[IRIS]    [Caché]    https://cedocs.intersystems.com/latest/csp/docbook/DocBook.UI.Page.cls?K...
注意：
1.    如果仅为实现CDC，并不需要配置镜像备机。
2.    Dejournal过滤器只能配置在Reporting类型的异步镜像成员上。
3.    镜像配置不在本文内容里，请参考文档：
[IRIS]    
[Caché]    

编写Dejournal过滤器

InterSystems IRIS/Caché提供镜像Dejournal系统类 - SYS.MirrorDejournal。对于用户自定义过滤逻辑，通过继承于SYS.MirrorDejournal的子类来实现。

在Reporting异步镜像成员的%SYS命名空间(IRISLIB数据库)下创建SYS.MirrorDejournal的子类，命名应以Z或z开头，以避免升级时被覆盖，例如命名为ZCustom.MirrorDejournal。
注意：    IRISLIB数据库默认是只读的，需要先将其修改为可读写。

Override该类的RunFilter方法，将数据变更捕获的逻辑放在该方法里，并根据需要返回1或0。1代表这个global变更需要dejournal，0代表不需要。即便仅仅是为实现CDC，建议在Reporting异步镜像成员恢复所有数据，即让该方法返回1，从而不需要影响生产系统，直接从Reporting异步镜像成员上获取所有的变更数据。

例如，将global的数据变更记录在^CDCLog中：

Class ZCustom.MirrorDejournal Extends SYS.MirrorDejournal
{
    Method RunFilter(
        MirrorDBName As %String,
        GlobalReference As %String,
        RecordType As %String,
        Address As %Integer) As %Integer
    {
            Set ^CDCLog( $$I ($^CDCLog))=$lb(MirrorDBName,GlobalReference,RecordType,Address)
            Quit 1
    }
}

配置Dejournal过滤器

在Reporting异步镜像成员上，配置其镜像Dejournal过滤器为上面创建的过滤器类的名称。

 

后记

今天有人问到，如何获取变更的值和变更前的值。可以使用`$$$JRNNEWVAL(Address) 、$$$JRNOLDVAL(Address)`在上面的RunFilter方法中获取变更后和变更前的数据。注意，`$$$JRNNEWVAL(Address) 、$$$JRNOLDVAL(Address)`这2个宏定义在%syJrnRecord.inc文件里，因此需要将这个include文件加入ZCustom.MirrorDejournal类定义：Include %syJrnRecord

又，在InterSystems IRIS上修改并编译dejournal过滤器类后，需要重启异步镜像成员的Mirror，以使更改生效。

 

CDC系列

更多的CDC选项实现，请参考：

1. CDC系列之一 ：使用Dejournal Filter在InterSystems IRIS/Caché上通过Mirroring实现CDC功能

2. CDC系列之二 ：使用Dejournaling filter routine在Caché上通过Shadow实现CDC

3. CDC系列之三 ：建立InterSystems IRIS/Caché的Global数据变更与SQL表记录的对应关系

4. CDC系列之四：使用DSTIME特性在InterSystems IRIS/Caché上实现CDC功能