Golang分布式并发---群体性热点淘汰算法

该博客介绍了在Golang分布式系统中,如何通过一种群体性热点淘汰算法解决高并发下的资源竞争问题。传统算法存在收集任务列表和排序耗时的问题。作者提出了一种网吧上网场景的比喻,当资源(上网位置)有限时,用户根据自己的需求和贡献度自我判断是否续用,避免全局排序,提高并发效率。这种方法确保了系统的公平性和高效性。

Golang分布式并发---群体性热点淘汰算法

 

         在传统的算法中,要计算热点的时候,常规采用,收集所有的任务列表,然后进行排序,得出前n的热点数据。此种算法的不好地方有:

1、  需要收集所有的任务列表。任务数过多时,收集是个问题

2、  将任务列表进行排序。在此过程中,如果列表过多,则会排序时间过长。

另外如果需要进行同步的话,则在此算法中,会有个停顿。

 

         那么我们构建一个场景,一个网吧有n个位置,每个人都可以去网吧,但规定,每次只能预约1小时,如果时间到了,则可以续费继续一个小时,如果不需要则放弃位置。

 

         现在有m个人来网吧上网。

         1、m < n时,则m个人都可以获取到上网位置

         2、当m>n时,则有n个人可以获取到上网位置,剩余的人,则在等待

        

有两种调度算法

1、  每个人,都会定期检查自己的时间,是不是到了1个小时,如果是,则判定自己是否需要继续使用,则优先续约1小时,如果不需要则放弃位置。等待的人中,则随机获取到这个位置。

2、每个人,都会定期检查自己的时间,是不是到了1个小时,如果是,则放弃位置。如果还需要继续使用则到等待队列中,不需要使用,则直接退出。

 

此算法中,需要注意的地方有

1、  每个用户自己是自律的。自己评判自己是否需要继续使用,评判自己是否时间到期等

2、  评判能否继续使用的标准,这个很重要。比如当个人贡献度到一定程度,才能继续使用。

简单的用法就是将n个体的贡献进行排序,淘汰尾部一些

 

在经过一段时间之后,热点自动会形成。

 

此算法好处是,每个个体独立公平的争抢机会,只有贡献度比较大的个人,使用时间则会长。这种算法不需要进行同步,提高了并发效率。

 

 

 

 

龚浩华

月牙寂 道长

qq 29185807

2014年11月27日11:14:01

如果你觉得本文对你有帮助,可以转到你的朋友圈,让更多人一起学习。

第一时间获取文章,可以关注本人公众号:月牙寂道长,也可以扫码关注

 

 

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值