分布式事务框架.NetCore CAP总结

来自CAP原作者yang-xiaodong的原理图:

本文撰写者:cmliu,部分内容引用自官方文档,部分内容待更新
# .NetCore CAP

# 1,简介

CAP 是一个遵循 .NET Standard 标准库的C#库,用来处理分布式事务以及提供EventBus的功能,她具有轻量级,高性能,易使用等特点。
目前 CAP 使用的是 .NET Standard 1.6 的标准进行开发,目前最新预览版本已经支持 .NET Standard 2.0

## CAP 的应用场景主要有以下两个:

### 分布式事务中的最终一致性(异步确保)的方案。

>分布式事务是在分布式系统中不可避免的一个硬性需求,CAP 没有采用两阶段提交(2PC)这种事务机制
>而是采用的 本地消息表+MQ 这种经典的实现方式,这种方式又叫做 异步确保。

### 具有高可用性的 EventBus(事件总线)。

>CAP 实现了 EventBus 中的发布/订阅,它具有 EventBus 的所有功能。

>也就是说你可以像使用 EventBus 一样来使用 CAP,另外 CAP 的 EventBus 是具有高可用性的, CAP 借助于本地消息表来对 EventBus 中的消息进行了持久化

>这样可以保证 EventBus 发出的消息是可靠的,当消息队列出现宕机或者连接失败的情况时,消息也不会丢失

##### 注意本文最底部内容
    
# 2,入门

 1),引用基本包
    
    DotNetCore.CAP
    
 2),引用消息层包(用于服务端【生产者】与客户端【订阅者】之间的通信)
 
    RabbitMQ 引用DotNetCore.CAP.RabbitMQ
    
    Kafka    引用DotNetCore.CAP.Kafka

3)引用数据库包(用于保存本地的收发消息记录表)

    SqlServer  引用DotNetCore.CAP.SqlServer
    
    MySql      引用DotNetCore.CAP.MySql
    
    MongODB    引用DotNetCore.CAP.MongoDB
    
4)启动配置:Startup.cs的ConfigureServices()方法中配置Cap服务

```c#
        //此处用于注册继承自:ICapSubscribe接口的订阅服务,以下CapUserService类继承了ICapSubscribe接口
        //继承自ICapSubscribe接口的订阅,需要在:AddCap方法之前注册服务,否则将不会被扫描到
    
        //services.AddTransient<ICapUserService, CapUserService>();
    
        //下面语句用于开启支持使用EntityFramework,使用此方案时,无需配置UseSqlServer或者Mysql
    
        //services.AddDbContext<AppDbContext>();
    
        //配置Cap
    
        services.AddCap(x =>
            {
                //配置Cap的本地消息记录库,用于服务端保存Published消息记录表;客户端保存Received消息记录表
    
                // 此方法默认使用的数据库Schema为Cap;2,要求最低sql server2012(因为使用了Dashboard的sql查询语句使用了Format新函数)
                //x.UseSqlServer("Integrated Security=False;server=服务器;database=cap;User ID=sa;Password=密码;Connect Timeout=30"); 
    
                // 配置Cap的本地消息记录库,用于服务端保存Published消息记录表;客户端保存Received消息记录表
                // 此方法可以指定是否使用sql server2008,数据库Schema,链接字符串
                x.UseSqlServer((options) =>
                    {
                        //数据库连接字符串
                        options.ConnectionString="Integrated Security=False;server=192.168.1.109;database=cap;User ID=sa;Password=密码;Connect Timeout=30";
                        //标记使用的是SqlServer2008引擎(此处设置的是2008,因为192.168.1.109数据库是2008)
                        options.UseSqlServer2008();
                        //Cap默认使用的数据库Schema为Cap;此处可以指定使用自己的数据库Schema
                        //options.Schema = "dbo";
                    });
    
                //使用Kafka作为底层之间的消息发送
                x.UseKafka("192.168.1.230:9092,192.168.1.231:9092,192.168.1.232:9092");
                //x.UseKafka(options =>
                //{
                //    options.Servers = "192.168.1.230:9092,192.168.1.231:9092,192.168.1.232:9092";
                //});
    
                //使用Dashboard,这是一个Cap的可视化管理界面;默认地址:http://localhost:端口/cap
                x.UseDashboard();
                
                //默认分组名,此值不配置时,默认值为当前程序集的名称
                //x.DefaultGroup = "m";
                //失败后的重试次数,默认50次;在FailedRetryInterval默认60秒的情况下,即默认重试50*60秒(50分钟)之后放弃失败重试
                //x.FailedRetryCount = 10;
                
                //失败后的重拾间隔,默认60秒
                //x.FailedRetryInterval = 30;
                
                //设置成功信息的删除时间默认24*3600秒
                //x.SucceedMessageExpiredAfter = 60 * 60;
            });
```

5)消息推送者(生产者)

>5.1)以下代码是在一个Controler中进行推送
  
```c#    
        //省略其他代码
        public class CapDemoController : Controller
        {
            //注入一个ICapPublisher
            private readonly ICapPublisher _capBus;
            public CapDemoController(ICapPublisher capPublisher)
            {
                _capBus = capPublisher;
            }
            
            //简单的推送使用
            public async Task<IActionResult> GetDemo()
            {
                //发送消息给客户端,第一个参值数"kjframe.test"为消息队列的topic
                await _capBus.PublishAsync("kjframe.test", DateTime.Now);
                return Ok();
            }
    
        }
```

>5.2)以下是添加了一个手动提交事务推送的Api接口

```c#    
        public async Task<IActionResult> GetTransaction()
        {
            using (var connectionn = new SqlConnection("链接字符串"))
            {
                //创建手动提交的事务,false,表示手动提交
                using (var transaction = connectionn.BeginTransaction(_capBus, false))
                {
                    //sqlserver,执行自定义业务
                    connectionn.Execute("update TableA set Name='嘻嘻' where id=1", null, transaction);

                    //mysql
                    //connection.Execute("sql语句",null,(IDbTransaction)transaction.DbTransaction);
                    
                    //执行异步的分布式事务,推送必须在transaction.Commit()事务提交语句之前执行
                    _capBus.PublishAsync("m.test", DateTime.Now);
                    
                    //事务提交:如果connectionn.BeginTransaction(_capBus, false)的autoCommit参数为false,则需要手动提交事务
                    transaction.Commit();
                }
            }
            return Ok();
        }
```

>5.3)以下是添加了一个自动提交事务推送的Api接口

```c#
        public async Task<IActionResult> GetAutoTransaction()
        {
            using (var connectionn = new SqlConnection("链接字符串"))
            {
                //创建自动提交的事务
                using (var transaction = connectionn.BeginTransaction(_capBus, true))
                {
                    //sqlserver,执行自定义业务
                    connectionn.Execute("update TableA set Name='嘻嘻' where id=1", null, transaction);

                    //mysql
                    //connection.Execute("sql语句",null,(IDbTransaction)transaction.DbTransaction);

                    //此处connectionn.BeginTransaction的autoCommit参数true,所以cap在PublishAsync方法中会自动提交事务
                    //当使用的EntityFramework(EF)操作数据库时,此处也会保存EF的上下文(SaveChanges)
                    //自动提交事务时,PublishAsync需要在最后面
                    _capBus.PublishAsync("m.test", DateTime.Now);
                }
            }
            return Ok();
        }
```  
    
6)订阅(在Controller中的订阅)

> 订阅的Controller无需继承ICapSubscribe接口,也无需像继承自ICapSubscribe接口的订阅那样要在Startup中的AddCap方法之前注册服务

```c#
    [Route("api/[controller]")]
    [ApiController]
    public class CapSubscribeController : Controller
    {
    
        //使用指定订阅组
        //无需返回值,void或Task即可
        [CapSubscribe("m.test", Group = "group4")]
        public void TestSubscribe(string date)
        {
            Console.WriteLine($"接收到订阅:{date}");
        }
        
        //使用默认订阅组(当前程序集名,或者是Startup中配置的DefaultGroup参数)
        //无需返回值,void或Task即可
        //此处订阅了两个topic,
        [CapSubscribe("m.test")]
        [CapSubscribe("xxx.services.bar")]
        public void TestSubscribe(string date)
        {
            Console.WriteLine($"接收到订阅:{date}");
        }
    }
```

    
7)订阅(在服务层或者非Controller中订阅的实现方式:继承ICapSubscribe接口,并在Startup.cs配置文件中的AddCap方法之前注册该服务)

>    订阅处:ICapUserService.cs;CapUserService.cs

```c#
    public interface ICapUserService
    {
        void SubscribeWithnoController(string date);
    }

    public class CapUserService : ICapSubscribe, ICapUserService
    {
        [CapSubscribe("m.test")]
        public void SubscribeWithnoController(string date)
        {
            Console.WriteLine($"SubscribeWithnoController接收到订阅:{date}");
        }
    }
```
    
>   配置处:Startup.cs的ConfigureServices方法

```c#
        public void ConfigureServices(IServiceCollection services)
        {
            //注册继承了继承ICapSubscribe接口的订阅
            services.AddTransient<ICapUserService, CapUserService>();
            
            //省略代码
            
            //注册CAP服务
            services.AddCap(x =>
            {
                //省略代码
            });
            
            //省略代码
        }
```

8)同一topic,被多个不同group的订阅者订阅

>此时,每一个订阅者都会收到消息,且Received表中会给每一个订阅者插入一条【Content字段】相同的订阅记录,有3个订阅者,就有3条Received数据记录

>示例

```c#
        //生产者
        [HttpGet]
        public async Task<IActionResult> GetDemo()
        {
            //省略其他代码
            await _capBus.PublishAsync("m.test", DateTime.Now);
            //省略其他代码
        }
        
        //订阅者1
        [CapSubscribe("m.test")]
        public void TestSubscribe(DateTime date)
        {
            Console.WriteLine($"接收到订阅:{date.ToString("yyyy-MM-dd hh:mm:ss")}");
        }
        
        //订阅者2(group1)
        [CapSubscribe("m.test", Group = "group1")]
        public void SubscribeGroup2(string date)
        {
            Console.WriteLine($"group1接收到消息:{date}");
        }
        
        //订阅者3(WDB)
        [CapSubscribe("m.test", Group = "group4")]
        public void TestSubscribe(string date)
        {
            Console.WriteLine($"group4接收到消息:{date}");
        }
```

>Received表消费记录,如下图,产生了3条记录,其中“cap.queue.kjframe.core.capdemo.v1”是默认topic组名,注意截图中的Group的组名与本处的代码有出入

9)失败回调FailedThresholdCallback(失败达到重试上线时,触发此回调)

>配置

```c#
        services.AddCap(x=>{
        //其他代码
        x.FailedThresholdCallback = FailCallBack
        //其他代码
        });
        
       //失败时的回调通知函数
       public void FailCallBack(DotNetCore.CAP.Models.MessageType messageType, string messageName, string messageContent)
        {
            Console.WriteLine($"失败回调:messageType:{messageType};messageName:{messageName};
                messageContent:{messageContent}");
        }
```

>失败回调返回的样本(此处做了格式化显示):

        失败回调:
            messageType:Subscribe;
            messageName:m.test;
            messageContent:
            {
                "Id": "5cfdf02ded40720ed4e98de9",
                "Timestamp": "2019-06-10T13:52:45.4107162+08:00",
                "Content": "2019-06-10 13:52:45",
                "CallbackName": null,
                "ExceptionMessage": {
                    "Source": "DotNetCore.CAP",
                    "Message": "我要扔出异常",
                    "InnerMessage": "我要扔出异常"
                }
            }

10)回调callbackName(此处的回调与失败回调不一样)

        这里的callbackName指的是PublishAsync/Publish推送方法中的callbackName参数,这个参数是个string ,实际上是一个topic
        
        注意:具有callbackName回调值的订阅方法必须有返回值,否则回调将会失败
        
        当服务端PublishAsync/Publish消息时,会将callbackName放入message的content字段中
        客户端的订阅方法(此订阅方法必须有返回值,否者content会为null,为null则会回调失败)消费成功后,
        客户端订阅方法将会把客户端订阅方法的返回值(设为A)PublishAsync/Publish一条topic为callbackName,content包含返回值A的消息到队列中,
        服务器端只需要在回调方法中订阅callbackName这个topic即可触发回调


> *服务端示例:*
    
```c#
    //服务端的生产者
    [HttpGet]
    public async Task<IActionResult> TestCallback()
    {
     await _capBus.PublishAsync("m.test", DateTime.Now, "FailCallBack");
     return Content("发起一个带 callbackName参数的消费");
    }
```
    
```c#
    //服务端处理来自客户端的订阅,即订阅回调topic: FailCallBack
    [CapSubscribe("FailCallBack", Group = "CallbackServer")]
    public void FailedCallback(string message)
    {
        Console.WriteLine($"接收到回调:{message}");
    }
```

>*客户端示例:*
```c#
    //客户端的订阅方法,此方法必须要有返回值,否则回调的content将会为null,如果content为null,
    //那么服务端的订阅将无法消费回调消息
    //服务端的【回调订阅方法】所接收到的参数值就是这个【客户端的订阅方法】的返回值
    [CapSubscribe("m.test",Group = "CallbackClient")]
    public DateTime SubscribeCallback(DateTime date)
    {
         Console.WriteLine($"已处理,请回调:{date.ToString("yyyy-MM-dd hh:mm:ss")}");
         return DateTime.Now.AddDays(10);
    }
```

#####

        TestCallback()
        ----> PublishAsync("m.test", DateTime.Now, "FailCallBack") 【服务端推送】
        ----> var response=DateTime SubscribeCallback(DateTime date)     【客户端订阅】
        ----> 底层方法(PublishAsync("FailCallBack", response)             【客户端推送回调消息】
        ----> FailedCallback(string message)                             【服务端订阅回调消息】

# 注意事项:

    1),自动提交事务时,PublishAsync应放在最后面
    
    2),PublishAsync<T>(string name,T object, string callBackName)中的callBackName是一个回调,当失败重试超过重试限制次数(默认50次:FailedRetryCount)时,
    会触发此回调函数
    回调函数委托签名:FailCallBack(DotNetCore.CAP.Models.MessageType messageType,string messageName,string messageContent)
    
    3),框架无法做到100%确保消息只执行一次,所以在一些关键场景消息端在方法实现的过程中自己注意业务去重
    
    4),一个订阅方法可以订阅多个Topic,但多个方法订阅了相同的topic+group时,只会有一个订阅方法消费到同一条消息
    
    5),支持内存消息队列(2.5版本),需要引入DotNetCore.CAP.InMemoryStorage,并UseInMemoryStorage,此模式用于开发环境下没有Kafka或者RabbitMQ时,可以使用内存队列来模拟 
    
    6),开启.AddDbContext<AppDbContext>()用于支持EF时,无需再配置UseSqlServer或者UseMySql
    
    7),支持Cap版本隔离(2.4版本),通过本地数据表的Version字段进行版本隔离
    
    8),Cap会自动创建"Published", "Received"两个本地数据库表
    
    9),如果多个微服务使用同一个数据库实例,可以通过指定Schema(SqlServer)或者TableNamePrefix(MySql)来隔离不同的微服务之间的本地消息记录
    
    10),StatusName为Failed会不断进行重试,直到达到重试上线
    
    11),Successed的消息会在根据该消息的ExpiresAt时间进行清理(默认24小时),每1小时执行一次清理任务;Failed失败的信息会在15天后过期并进行清理
    
    12),SqlServer2008版本的数据库需要在UseSqlServer()的配置方法中调用UseSqlServer2008(),因为Cap的UseDashboard在SqlServer2012+版本上使用了新的语法Format内置函数
    
    13),Cap中Kafka订阅者是IConsumer<Null, string>,如果你要使用.NET Framework向Cap的订阅者推消息,需要注意是<Null,string>
    
    14),回调函数,PublishAsync/Publish中的callbackName参数是一个回调,这是一个topic的值,你可以在服务端订阅这个topic用于处理客户端消费完信息后的回调,
    注意,如果callbackName不为空,那么这个客户端的订阅方法必须有返回值,返回值将传参回调回去,详细参考【回调函数】
    
    15),Cap文档http://cap.dotnetcore.xyz/user-guide-cn/getting-started/
    
    16),Cap GitHub https://github.com/dotnetcore/CAP
    
    17),Cap作者博文https://www.cnblogs.com/savorboard/
    

复制代码

CAP框架待探讨的问题

1,重试机制;当服务器重启时,对于一些已处理的消息,或者已改变状态的消费;需要手动清理已处理消息,避免重试;重试的频率和次数可以不用那么高

2,如果消费端系统,生产子系统的本地化消息如果放在同一个库里面是否会出现异常

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值