使用Redis实现最近N条数据的决策

前言

很多时候，我们会根据用户最近一段时间的行为，做出一些相应的策略，从而改变系统的运动轨迹。

举个简单的例子来说明一下：

假设A公司现在有两个合作伙伴(B和C)，B和C都是提供天气数据的，现在A公司做了一个聚合接口，把B和C的接口融合了，那么这个时候，要怎么去B和C公司获取数据呢？

其实这个要考虑的东西有很多很多，下面根据本文的主题，拿出其中一个点来讨论说明。

最简单的做法就是，随机调用。当然不是那么简单的随机调用。

根据调用的最近一百条数据的得到成功率，耗时等指标，再根据这些指标去判断一次查询要去那个公司获取数据。

思路已经有了，这个时候就是怎么实践的问题了。

本文介绍的做法是借助redis来完成的。

如何用redis来处理

redis的list类型可以说非常适合用来处理这个情况。

首先，可以把查询按顺序写进去，一个个的入队。

其次，写进去之后可以对它进行裁剪，保留最近的100条数据。(换句话说，我们可以保证在这个list里面，最多就是100条数据)

最后，获取这个list里面的100条数据，进行计算即可。

正常情况下，我们不会把计算放在查询的过程里面，在查询的时候，只需要一个决策的结果值就可以了，当然这个结果值也是计算后写进redis的。

所以要将这个计算的过程从查询中独立出来，定时去执行即可。

总结上面所说的，大概可以画出下面这样一样图。

其中的第三步操作，将查询记录写进list，然后进行裁剪这两个操作，可以直接操作redis，也可以考虑通过MQ去写，虽说没什么太大的必要。

简单的示例代码

查询的控制器

[Route("api/[controller]")][ApiController]public class AreaController : ControllerBase{    private readonly ILogger _logger;    private readonly IRedisCachingProvider _provider;    public AreaController(ILoggerFactory loggerFactory, IRedisCachingProvider provider)    {        _logger = loggerFactory.CreateLogger<AreaController>();        _provider = provider;    }        [HttpGet("provinceId")]    public async Task<string> GetAsync(string provinceId)    {                var datasource = await GetQueryDataSourceIdAsync(provinceId);        if (string.IsNullOrWhiteSpace(datasource)) return "not support";        var beginTime = DateTime.Now;                       var (val, isSucceed) = await QueryDataSourceAsync(datasource);        var endTime = DateTime.Now;                var dsInfo = new DataSourceInfo        {            Cost = (long)endTime.Subtract(endTime).TotalMilliseconds,            IsSucceed = isSucceed        };                _ = Task.Run(async () =>        {            try            {                await _provider.LPushAsync($"info:{datasource}", new List<DataSourceInfo> { dsInfo });                await _provider.LTrimAsync($"info:{datasource}", 0, 99);            }            catch (Exception ex)            {                _logger.LogError(ex, $"record #{datasource}# error");            }        });        return val;    }    private async Task<string> GetQueryDataSourceIdAsync(string provinceId)    {        var datasourceIds = GetDataSourceIdProvinceId(provinceId);        if (datasourceIds.Count <= 0) return string.Empty;               var cacheKey = "dskpi";        var kpis = await _provider.HMGetAsync(cacheKey, datasourceIds);        var datasource = datasourceIds.First();        if (kpis != null && kpis.Any())        {                        datasource = kpis.OrderByDescending(x => x.Value).First().Key;        }        return datasource;    }    private async Task<(string val, bool isSucceed)> QueryDataSourceAsync(string datasource)    {        await Task.Delay(100);        var rd = new Random().NextDouble();        return (datasource, rd > 0.5d);    }    private List<string> GetDataSourceIdProvinceId(string provinceId)    {        return new List<string> { "100", "900" };    }}

由调度系统触发的计算控制器

也可以在Github上面找到上面的示例代码 RecentRecordsDemo