也是出息了,业务代码里面也用上算法了。

NLPIR 汉语分词系统 (PyNLPIR) 学习手札 1 关于NLPIR最近在做一些NLP相关的任务,其中一个关键的子任务就是如何对汉语进行分词?关于分词的方式,有很多很多,也是很多学习者的练手任务(比如我们当时的期末作业就有这个)。但是,轮子还是要搬来用,自己写的分词只能说是去了解这个方式(了解某个算法),做出来的都是能看不能用,毕竟模型、算法、语料库等一座座大山等着我们攻克。所以,我找了一些资料,看到一个不错的教程,他用了NLPIR,所以我也跟着使 阅读详情

你好呀,我是歪歪。

好消息,好消息,歪师傅最近写业务代码的时候,遇到一个可以优化的点。

然后,灵机一动,想到一个现成的算法可以拿来用。

业务代码中能用到算法,虽然不是头一遭,但是也真的是算难得了。

记录一下,分享一波。

走起。

场景

场景是这样的。

首先,我有一批数据要调用下游系统的一个统一的接口,去查询数据状态。

这一批数据,分属于不同的平台,所以调用下游查询接口的时候,我会告诉它有的数据要去 A 平台查询,有的数据要去 B 平台查询...

大概就是这个意思:

在这个场景下,我们还不用关心平台方的同步返回结果,因为最终的结果平台方会异步通知回来。

这样看起来是一个非常简单的场景对不对?

现在我们在这个基础上加一个小小的变化。

由于这个下游系统是一个非常重要的系统,承担着全公司所流量的出人口,可以说是咽喉要道。

所以,出于保护自身的目的,它对调用方的接口都做了限流。

对于我这个小卡拉米的、边边角角的查询动作,它给的限流就是一秒最多一笔。

也就是说,我调用查询接口的时候,线程池什么的就别想了,老老实实的排队,然后一秒一个的发请求,

大概就是这个意思:

这样看着也没有问题,一秒一个控制起来还不简单吗?

优雅一点的,你就上个限流器,八股文翻出来一看,什么信号量、令牌桶、Guava RateLimiter 随便掏一个出来用就行了。

糙一点的,你直接 for 循环里面 sleep 一秒也不是不可以。

我是一个糙人,所以我直接选择 sleep,大道至简。

伪代码大概是这样的:

// 伪代码:从数据库获取某平台数据后,在循环中每秒调用一次下游接口
public void processDataWithDelay() {
    // 1. 从数据库获取数据(示例使用伪方法)
    List<DataObject> dataList = database.fetchData("A"); // 假设返回数据列表
    
    // 2. 遍历每条数据
    for (DataObject data : dataList) {
        try {
            // 3. 休眠1秒(1000毫秒)
            Thread.sleep(1000); 
            // 4. 调用下游系统查询接口
            downstreamService.query(data.getId());
        } catch (Exception e) {
        }
    }
}

整体来说就是先把一个平台的数据全部处理完成后,再处理下一个平台的数据。

用图说话大概就是这样的:

这样看着也没有毛病。

但是,有一天,A 平台找过来说:哥们,你们这个查询有点太快了,1s 一个查得我有点扛不住。能不能调一下,比如调成 6s 一次?

本来我想追问一下:就这么差劲儿吗,一个查询接口,一秒一个都扛不住?

但是本着程序员不难为程序员的原则,我还是忍住了。

6s 一次,这还不简单嘛。

我把前面伪代码中的 1000ms,修改成配置项,默认为 1000ms,如果某个平台有个性化需求,我直接给对应平台的配置一个专属的间隔时间就行了:

// 伪代码:从数据库获取某平台数据后,在循环中每秒调用一次下游接口
public void processDataWithDelay() {
    // 1. 从数据库获取A平台数据(示例使用伪方法)
    List<DataObject> dataList = database.fetchData("A平台"); // 假设返回数据列表
    
    // 2. 从数据库获取A平台休眠时间配置(毫秒)
    int sleepInterval = getSleepIntervalFromConfig("A平台"); 
    
    for (DataObject data : dataList) {
        try {
            // 3. 休眠
            Thread.sleep(sleepInterval); 
            // 4. 调用下游系统查询接口
            downstreamService.query(data.getId());
        } catch (Exception e) {
        }
    }
}

用图说话就是这样的:

是不是完美的解决了 A 平台的问题?

但是,你想想这个调整之后,带来的新问题是什么?

A 平台假设 100 条数据,之前一秒一个,100 秒就发完了,然后 B、C 平台的数据就能接着处理了。

现在 A 平台的 100 条数据要发 600 秒,由于是排着队串行执行,导致 B、C 平台的数据,都因为 A 平台处理慢了,得跟着慢。

整个数据处理的事件周期就长了。

而且实际情况是更长,因为每次处理的时候,A 平台不止 100 条数据,基本上都是好几千条。平台也不只是 A、B、C 三家,而是有好几家。

怎么办?

遇到事情不要慌,三思而后行。

  • 能不能不做?
  • 能不能给别人做?
  • 能不能晚点做?

我也三思了,具体是这样的。

首先,能不能不做?

不能不做,因为已经有平台已经问过来了,为什么数据发的比之前晚了,能不能早点?

然后,能不能给别人做?

给别人做就是找下游把接口限流放大一点,但是我这个小卡拉米的、边边角角的查询动作,没有充足的理由。可以说一秒一个都是别人看着可怜,施舍来的。再要多点,就不礼貌了。所以不能给别人做。

最后,能不能晚点做?

也不能晚点做,因为这个查询动作背后有业务含义。业务说了,要尽快解决。技术是为了业务服务的,业务说了要尽快,就要尽快。

所以,只有自救。

思路

我们先捋一下当前的困难点。

第一个:下游系统限流,最多一秒一个卡的死死的。

第二个:有个平台觉得一秒一个太快了。

第三个:调整了这个平台的速率之后,影响到了其他平台的数据处理。

现在你想想,应该怎么做?

我想到的破题之道,就是这样的:

A 平台的间隔时间调整了之后,时间其实是被白白的浪费了。

中间间隔的 6s 完全可以继续按照一秒一个的频率发其他平台的数据嘛。

比如这样的:

我们仔细看看上面这个图片。

首先,一秒一个,不会触发下游系统的限流。

然后两个 A 平台的数据调用间隔,也是 6s,符合要求。

中间穿插着其他平台的数据,可以说是雨露均沾。

如果有一天 A 平台说:6s 我也扛不住不,10s 行不行?

行啊,怎么不行。

按照这个思路,我只要把中间的 10s 充分利用起来就行。

怎么实现

思路有了,按照这个思路,我最先想到的一个实现方案就是:加权轮询负载均衡策略算法。

如果你一时间关联不起来这二者之间的联系,那我给你捋一下我是怎么想的。

首先,之前是这样的:

各个平台的数据串起来,先把一个平台的数据全部处理完成后,再处理下一个平台的数据。

那我们是不是可以换一个思路,先获取待处理数据的平台集合,然后从平台集合中每隔一秒选一个平台出来,再获取这个平台的一条数据,调用查询接口:

从集合中选一个出来执行,这个“选”的动作,不就和负载均衡策略非常像吗?

然后,A 平台要间隔 6s 才能发一条过去,其他平台保持一秒一个。

说明什么?

说明 A 平台处理数据的能力不行。

在负载均衡策略中,遇到性能不好的机器,怎么选择算法?

是不是“加权轮询策略”就呼之欲出了?

假设,就是 A、B、C 三个平台,A 的服务水平差,它们的权重比是 A:B:C=1:2:3。

所以总权重为1 + 2 + 3 = 6。

加权轮询负载均衡算法会根据权重比例分配请求,生成一个调用序列。

假设,我们一共调用 6 次,那么经过加权轮询负载均衡算法,序列就是这样的:

假设,我们一共调用 12 次,那么序列就是这样的:

巧了,你看,两次 A 平台的数据之间刚好隔了 6s:

而在加权轮询负载均衡算法的加持下,这 6s 也没闲着,发了 5 个其他平台的数据出去,也没有触发下游系统的限流。

雨露均沾,舒服了。

啥,你说你没看懂?

那说明你不懂加权轮询负载均衡策略的底层原理。

可以去考古一下这个文章,看看多年前歪师傅稚嫩的文笔:《加权轮询负载均衡策略》

最后,在这里附上一个加权轮询负载均衡策略的代码实现,你粘过去就能跑:

public class WeightedRoundRobin {
    private List<Server> servers = new ArrayList<>();
    private int index = -1;
    private int remaining = 0;

    static class Server {
        String name;
        int weight;
        int current;
        
        Server(String name, int weight) {
            this.name = name;
            this.weight = weight;
            this.current = weight;
        }
    }

    public void addServer(String name, int weight) {
        servers.add(new Server(name, weight));
        remaining += weight;
    }

    public String getNext() {
        if (remaining == 0) resetWeights();
        
        while (true) {
            index = (index + 1) % servers.size();
            Server server = servers.get(index);
            if (server.current > 0) {
                server.current--;
                remaining--;
                return server.name;
            }
        }
    }

    private void resetWeights() {
        for (Server s : servers) {
            s.current = s.weight;
            remaining += s.weight;
        }
    }
}

写个 main 方法跑一跑:

    public static void main(String[] args) {
        WeightedRoundRobin wrr = new WeightedRoundRobin();
        wrr.addServer("A平台", 1);
        wrr.addServer("B平台", 2);
        wrr.addServer("C平台", 3);
        
        for (int i = 0; i < 12; i++) {
            System.out.println("Request " + (i+1) + " -> " + wrr.getNext());
        }
    }

从运行结果来看:

这个序列符合我们前面分析的这个序列:

两次 A 平台的数据之间刚好隔了 6s。

那么问题又来了,假设有一天,A 平台继续拉胯,说:能不能 10s 调用一次?

很简单,只要保持总权重是 10,A 平台的权重为 1,其他平台的权重加起来是 9,就完事了。

比如这样的:

如果你足够了解加权轮询负载均衡策略,也许你会说:这个算法不够平滑啊。

是的,一开口就知道是老“懂哥”了。

确实,不够平滑。

但是,又怎样呢?

我这个场景,又不是真正的服务器负载均衡场景,各个平台之间完全独立,互不影响。

当我们把负载均衡算法从服务器机房移植到我的这个场景中之后,不平滑就不平滑了。

当然,你也可以把平滑的加权轮询负载均衡策略强加在这个场景下。

但是,杀鸡焉用牛刀。

不要陷入技术完美主义的陷阱,却忘记了所有算法都是特定语境的产物。

技术从不存在于真空之中,要结合实际场景,辩证的去看待问题。

【UE4】PMC程序化生成戈德堡多面体详解(六边形星球) 游戏实机录屏 【魔方超新星】30天独立开发PCG Minigame《盖亚计划》作品展示,尚有不足,大佬轻喷 目录 游戏实机录屏 一、简介 二、设计思路 2.1 Disco Ball 2.2 Fibonacci Sphere 2.3 Goldberg Polyhedron 2.3.1 细分+对偶(最终方案) 2.3.2 对偶+截角(更优) 三、参考文献 一、简介 在制作Minigame初期,游戏风格想模仿《文明6》与《Polygonal Planet Proje... 阅读详情

相关推荐

多租户Saas架构设计分析(基础篇)

本篇先给大家介绍一下相关的概念和常见问题。 实践篇链接:https://blog.youkuaiyun.com/haponchang/article/details/104246317 SaaS简介 SaaS是Software-as-a-Service(软件即服务)的简称,“软件即服务”?是不是有点拗口?其实你就理解成为“按需租用别人提供的软件服务”就可以了,它是一种软件交付模式。...

haponchang的博客 1万+

也是出息了,业务代码里面也用上算法了!简直优雅!!

现在 A 平台的 100 条数据要发 600 秒,由于是排着队串行执行,导致 B、C 平台的数据,都因为 A 平台处理慢了,得跟着慢。这一批数据,分属于不同的平台,所以调用下游查询接口的时候,我会告诉它有的数据要去 A 平台查询,有的数据要去 B 平台查询...技术是为了业务服务的,业务说了要尽快,就要尽快。也就是说,我调用查询接口的时候,线程池什么的就别想了,老老实实的排队,然后一秒一个的发请求,很简单,只要保持总权重是 10,A 平台的权重为 1,其他平台的权重加起来是 9,就完事了。

Java后端技术 161

Python在振动信号处理中的应用(一):振动信号消除多项式趋势项

文章目录一、概述二、最小二乘法去除趋势项原理三、python模块介绍3.1 scikitlearn简介(1)转化器(Transformer)(2)估计器(Estimator)3.2 线性回归LinearRegression3.3 多项式PolynomialFeatures3.4 工作流Pipeline四、python代码实现4.1 构造模拟信号4.2 编写去除趋势项主代码4.3 展示算法效果五、TIPS 一、概述   在振动测试过程中,传感器或采集设备由于自身性能问题或受环境干扰(如温度、供电等影响),容易

白银时代的博客 8579

【辉光大小姐小课堂】 43 写文档比写代码还痛苦?让AI为你撰写“起居注”

你刚刚完成了一个引以为傲的功能,正准备开启下一个挑战,这时产品经理幽幽地飘过来说:“那个……文档顺便写一下?” 你的内心瞬间崩溃。写文档,这个让无数英雄好汉折腰的苦差事,正在吞噬你的热情和生命。本文将教你停止在Word和Markdown之间痛苦挣扎,命令AI成为你的“随行史官”,为你立言、立传。

光辉家族小仓库 1577

AI 赋能 DBA:如何用 DeepSeek 等大模型简化数据库管理工作

数据库管理员(DBA)的工作涉及 SQL 优化、故障排查、性能监控等复杂任务。而 DeepSeek、ChatGPT 等大模型可以大幅减少重复劳动,提高 DBA 的工作效率。:某电商平台的订单查询 SQL 执行缓慢(平均 5s),DBA 需要优化。:DBA 需要监控 MySQL 的慢查询,但不想手动写脚本。:某金融系统频繁出现数据库死锁,DBA 需要快速定位原因。:大模型可分析 SQL 执行计划,推荐索引优化方案。:用日常语言查询数据库,无需写复杂 SQL。:一键生成监控、备份、数据迁移脚本。

专注于编程、AI、人工智能等多个领域内容研究和分析 566

MVDR算法: 自适应波束形成在信号处理领域中扮演着重要的角色。本文将介绍MVDR(最小方差无失真响应)算法,并提供相应的Matlab源代码实现。

MVDR算法是一种用于抑制干扰信号并增强感兴趣信号的自适应波束形成算法。它的基本思想是通过对干扰信号进行空间滤波,使其在感兴趣信号方向上的输出功率最小化。这种方法可以提高信号的质量和可辨识度,特别是在存在多个干扰源的复杂环境中。本文将介绍MVDR(最小方差无失真响应)算法,并提供相应的Matlab源代码实现。使用MVDR算法,我们可以通过对观测信号进行波束形成来抑制干扰信号并增强感兴趣信号。以上是MVDR算法的Matlab实现。的每一列代表一个阵列元素的观测信号。表示期望的波束指向,即感兴趣信号的方向。

HackWhisper的博客 1247

腾讯IT男转行数据后感慨:没用过这个工具,别说自己懂报表,这么做领导才满意

看到文末,你不会对这份干货失望的。 我是一名算法工程师,在那个和老干妈有纠纷的大厂工作....   但是工作了大半年,我发现我的算法技能没有涨多少,反而sql的水平提高了很多,因为一天到晚都在写,感觉自己就是一个BI/报表哥,而且我还经常安慰自己:业务第一,取数要紧... 虽然总不能把代码...

zhangjiaweizk的博客 2469

【一 扣子客户案例合集】【 1.3 识典古籍基于扣子智能助手的古籍数字化全流程技术解析】

古籍数字化智能处理系统全流程解析 本文详细介绍了基于扣子智能助手的古籍数字化解决方案,核心技术包括: 多层级架构设计:采用"云-边-端"三层次架构,整合高精度扫描设备与AI处理模块,实现从物理古籍到结构化数据的全流程自动化。 智能图像处理:通过12道预处理工序(包括畸变校正、污渍去除和对比度增强)处理古籍图像,采用改进的EAST算法和ViT模型实现高精度文字检测与识别,准确率达98.7%。 NLP增强处理:结合Transformer-XL预训练模型和N-gram语言模型进行文本校正,基于

商务合作|问题讨论|交流学习 请联系作者微信,加微信请务必注明来意,博客主页有联系方式 1445

糊涂啊!这个需求居然没想到用时间轮来解决。

有点那种就是:我也不想解释我这个方案不是真正的时间轮,我只是联想到了真正的时间轮,借鉴了里面的一些思路。但是我又懒得给你解释这么多,我就加个引号在这里,你自己去悟。你理解了真正的时间轮,你就知道为什么我说前面读者给出来的方案中的“时间轮”这个引号加的很巧妙。你收获的可能不只是两个更好的方案,而是更多人的智慧增量,以及下次能写出更“抗打”文章的底气。他在描述的时候,对时间轮加了引号,等我理解他的意思之后才知道,这个引号加的很巧妙。但是,A、C 谁先谁后,根本不重要,因为在当前的情况下,A、C 谁都可以执行。

weixin_40704582的博客 59

Android影像系统架构专家面试指南

传音控股招聘影像系统架构专家,要求8年以上开发经验,5年架构设计经验,精通Android Camera开发及性能优化。该职位需负责手机影像软件架构设计、技术选型及跨平台适配,重点解决"快稳省"体验优化。面试评估聚焦三大维度:技术方面考察HAL层架构设计、多帧合成优化等能力;系统开发关注低光降噪等场景的算力平衡;团队管理侧重跨部门协作与项目交付。候选人需展现对CamX-CHI等架构的深入理解,具备量化分析性能指标的能力,并能主导旗舰机影像项目全周期落地。

郑伟强dev的专栏 946

【WRF数据准备】制备月尺度静态地理数据:LAI、Fpar、LUCC

【WRF数据准备】制备月尺度静态地理数据:LAI、Fpar、LUCC

WW、forever的博客 803

Java8中一个极其强悍的新接口,很多人没用过

的函数式接口,接口的参数一个为Consumer接口。的函数式接口,接口的参数为两个Runnable接口。Function函数式接口是java 8非常重要的特性,利用好Function函数可以极大的简化代码。定义一个抛出异常的形式的函数式接口, 这个接口只有参数没有返回值是个消费型接口。标识,并且只包含一个抽象方法的接口是函数式接口。的接口实现逻辑为当参数b为true时抛出异常。的方法,方法的返回值为刚才定义的函数式接口-的方法,方法的返回值为刚才定义的函数式接口-方法,方法的返回值为刚才定义的函数式接口-

Java后端技术 123

分布式计算Ray框架面试题及参考答案

动态任务图执行引擎是一种能够根据任务之间的依赖关系和运行时的实际情况,动态构建和执行任务图的系统。在 Ray 中,动态任务图执行引擎允许任务在运行时根据数据可用性、计算资源状态等因素,灵活地决定后续任务的执行顺序和方式。对于 AI 应用来说,其往往具有动态性的特点。例如,在深度学习模型的训练过程中,可能需要根据训练的结果动态调整下一轮训练的参数、数据增强方式或者模型结构。动态任务图执行引擎可以很好地支持这些动态需求。它能够根据 AI 应用中各个任务的实时输出和依赖关系,动态地生成和调整任务图。

大模型大数据攻城狮的专栏 1354

程序员请万分珍重你的第一份工作,否则后悔了概不负责

01、我的故事 昨天我在群里发起了一个议题:读者朋友们,大家伙觉得第一份工作重要吗?回答不要太统一,重要个屁——不可能的。 老读者都知道一些我的经历了。高考失利,因为太文弱干不了搬砖的活,就上了大专,大三的时候经过短暂的培训莫名其妙地找到了工作。 因此,我对第一份工作一直抱着感恩的心态。因为它让我找到了新生,从此再也不用伸手找父母要钱了,自力更生的感觉,真好,就好像沙漠里的行人找到了一方绿洲。 更...

沉默王二 4万+

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

2011,我来了!反思2010.

2011,我来了!反思2010. ----------------------------------------------------------------------------------------------------- 一个很大的标题,好久没有写些东西了。好久好久!2010从年初到年底基本都忙在项目现场和感情培养当中。可以说有很多困惑和身心的折磨!时已过去,总有所收获!去年大...

Get my world,break free! 160

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

2024年前端最全聊聊!面对内卷,我们是该一起卷还是躺平?(1),银行软件开发面试题

四轮技术面+一轮hr面结束,学习到了不少,面试也是一个学习检测自己的过程,面试前大概复习了 一周的时间,把以前的代码看了一下,字节跳动比较注重算法,面试前刷了下leetcode和剑指offer, 也刷了些在牛客网上的面经。大概就说这些了,写代码去了~祝大家都能收获大厂offer~开源分享:【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】篇幅有限,仅展示部分内容A商品每年赚1000w,广告费0支出;B商品每年赚600w,广告费0支出A商品每年赚1300w,广告费支出300w;

2401_84123077的博客 784

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

上周热点回顾(7.14-7.20)

转载于: https://www.cnblogs.com/cmt/p/18997338。

weixin_36888968的博客 68

新手python爬虫100个入门项目

新手python爬虫100个入门项目

Java癫疯的博客 1万+

SpringBoot + @RefreshScope:动态刷新配置的终极指南

技术的本质是让复杂变简单。掌握动态配置刷新,让你的应用在云原生时代如虎添翼!无需重启服务,实时更新配置!的神奇力量,让你的应用配置在运行时动态刷新,彻底告别服务重启的烦恼。完美解决了这些问题,实现配置热更新,让应用像乐高积木一样灵活重组!• 配合配置中心(Nacos/Config Server)使用。方案2:配置中心联动(Nacos示例)• 敏感配置(如密码)避免使用动态刷新。场景1:只刷新特定Bean的部分属性。• 确认刷新端点返回了修改的配置项。一、为什么需要动态刷新配置?一、为什么需要动态刷新配置?

Java后端技术 308
上一篇: 排序算法与技术——高级比较排序算法
下一篇: 如何使用Java开发在线生成 pdf 文档 ?
程序员职业指南
博客等级 码龄4年 2141粉丝 960原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值