我自己遇到的一个随机无重复分配问题实例

最新推荐文章于 2023-07-27 22:10:36 发布
最新推荐文章于 2023-07-27 22:10:36 发布
阅读量555 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： scroll 数据库 date sql 算法 .net
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/answer3zzw/article/details/7492343
本文介绍了作者在网站项目中遇到的随机无重复分配论文给专家评审的问题。最初尝试使用C#解决，但考虑到效率和复杂性，转向学习并使用SQL的游标来实现。经过对算法逻辑的调整，最终成功编写出存储过程。作者认为.NET框架的控件可编辑性高，而数据库算法更为强大，但对于数据库的灵活性有所困惑。作为一个新手，作者希望得到更多经验分享。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

网站需要一个随机无重复分配论文给不同专家评审的问题，要求每篇论文要有N个专家阅读，但是分配关系不能重复。

刚开始我确实是一点头绪也没有，本来是用C#在事件代码中写，各种循环嵌套，但是第三天早上的时候，突然想到，如果真正测试的时候数据多了，循环这么多层，相乘之后得执行很多次里面的插入存储过程，会很慢很慢，再加上测试点太远，所以果断舍弃这种做法。

然后我又上网各种找，发现游标。

说实话，我是完全0基础开始学习做网站，整套过程都得自学，因为是给老师做项目，学校项目通常都是给研究生做，所以本科生能有这个机会很不容易，我就零基础，硬着头皮上了。

mssql的知识还是不怎么完全，所以把游标研究了一下，然后把在C#中写的逻辑，在sql中重新捋了一遍，写完之后还是各种问题，主要是算法逻辑的问题，后来又改了几天，终于给写出来了。

我其实觉得.net挺强大的，那些控件的可编辑性挺高的，很方便。但是也觉得数据库的算法更NB，只是数据库的变通性不太好。现在应该说是出于纠结状态，我的习惯是把所以的算法都写到数据库，但是.net确实需要好好掌握掌握。

新手一个，还请大哥大师们多指教。

下面附上花了我好几天写出来的这个存储过程的代码：


USE [HLJSXKJSYYJSGLPT]
GO
/****** Object:  StoredProcedure [dbo].[LWDelivery]    Script Date: 04/24/2012 09:51:54 ******/
SET ANSI_NULLS ON
GO
SET QUOTED_IDENTIFIER ON
GO
-- =============================================
-- Author:		<Author,,Name>
-- Create date: <Create Date,,>
-- Description:	<Description,,>
-- =======================================
最低0.47元/天 解锁文章

200万优质内容无限畅学
answer3zzw
关注
相关业务问题+系统问题+设计问题整理统计
张彦峰的博客
04-07 171万+
业务系统及其他相关面试问题整理：线上相关问题排查+高并发系统的限流+高并发秒杀系统设计+负载均衡+一个网站有 20 亿 url 存在一个黑名单中，这个黑名单要怎么存？若此时随便输入一个 url，你如何快速判断该 url 是否在这个黑名单中？并且需在给定内存空间（比如：500M）内快速判断出？
处理不平衡数据的方法小结（算法层面）
kobe_shen的博客
03-16 2893
不平衡数据处理的阶段性小总结
分配问题
weixin_34071713的博客
03-05 1087
时间限制: 2 s空间限制: 256000 KB题目等级 : 大师 Master 题目描述Description 有n件工作要分配给n个人做。第i 个人做第j 件工作产生的效益为ij c 。试设计一个将n件工作分配给n个人做的分配方案，使产生的总效益最大。«编程任务：对于给定的n件工作和n个人，计算最优分配方案和最差分配方案。 ...
随机不重复三种方法分析（另加第四钟）
weixin_33801856的博客
11-03 306
方案1：1531 毫秒一般的思路是先创建一个1-3000的数组，每一次取出一个，然后让这个数组减少一个，取一个，减少一个，这样就可以做到永不重复了。var count=3000;var original=new Array;//原始数组 //给原始数组original赋值for (var i=0;i<count;i++){ original[i]=i+1;} var d1=new Dat...
分配限定范围内的不重复且可回收标识 ID 的类栈算法 C 语言实现
墨夜白
07-27 133
分配限定范围内的不重复且可回收标识 ID 的类栈算法，采用静态分配内存方式实现，可提高效率。如需节省内存，可考虑使用链表实现。
分布式全局不重复ID生成算法
polimo的专栏
01-17 1636
在分布式系统中经常会使用到生成全局唯一不重复ID的情况。本篇博客介绍生成的一些方法。 [b]常见的一些方式：[/b] 1、通过DB做全局自增操作 优点：简单、高效 缺点：大并发、分布式情况下性能比较低 有些同学可能会说分库、分表的策略去降低DB的瓶颈，单要做到全局不重复需要提前按照一定的区域进行划分。例如：1~10000、10001~20000 等等。但这个灵活度比较低。 ...
编程基础：随机且不重复的算法
dieya9669的博客
10-04 421
问题描述：有A到L的一组字母，需要每次都随机排序输出，并且不能有重复。 程序算法分析： 首先解决数组 0 到 11(即该数组的长度-1)的随机且不重复的问题。 接下来把数组的值按下标索引去取这一组字母。 最后把结果输出出来。 代码如下： var containerSet = function(count) { var tempArr = []; for (var i=...
【随机过程实例解析】：7个关键案例，破解现实世界的随机之谜
[【随机过程实例解析】：7个关键案例，破解现实世界的随机之谜](https://media.geeksforgeeks.org/wp-content/uploads/20230214000949/Brownian-Movement.png) # 摘要 随机过程作为描述动态系统随时间演变的数学...
idea配置一个服务多个实例不同端口的操作，如何通过输出不同端口号检验负载均衡是否生效
最新发布
03-15
需要注意，如果应用没有正确配置负载均衡，即使多个实例运行，请求可能只会到一个实例。这时候需要检查负载均衡策略，比如是否是轮询还是随机，以及相关配置是否正确。 总结步骤应该是：复制配置 -> 修改端口 -> ...
EXCEL2010函数实例应用
08-13
- 在一个包含大量数据的列表中，有时我们只关心特定数值范围内的数据。例如，我们可能只想知道销售额超过100元的产品。 - **案例3**：对60～90分以外的成绩求和。 - 在统计学生成绩时，如果我们想要排除60至90分...
产生一组不重复随机数的高效算法
热门推荐
马腾蛟的博客
03-04 1万+
需要从 0 到 n 之间选 k 个不重复的数组成一个序列。 产生一组不重复随机数的高效算法
【LeetCode】1655. Distribute Repeating Integers 分配重复整数
lemonmillie的博客
05-16 244
一题多解。 首先理解问题，可以抽象为： 有若干物品，大小分别为quantity[i]。 假如某个数字重复x次，可理解为有一个容量为x的背包 要把物品放进背包里，问能不能放完 DFS 暴力解法，直接遍历所有可能，甚至也没有怎么剪枝，竟然也不超时…… class Solution: def canDistribute(self, nums: List[int], quantity: List[int]) -> bool: packages = list(sorted(Coun.
洗牌 无重复随机数 有限随机分配问题
我不是照耀
03-06 871
问题描述 1 将一个序列打乱 2 在一组不重复数中随机不重复地选出几个 3 将一定的资源m随机分为n份，每份最多分得x 问题分析 以上三个问题的解法可以归位一类，即随机选数+排除 随机选数使用数组效率高，但是排除似乎链表效率更高 但是实际上，在不要求保持原始数据顺序的情况下，数组可以同时在随机选数、排除、保存结果问题上保持高效率 算法 均使用数组 1 对于n的数组，随机选择第i
如何生成随机且不重复的随机序列
weixin_43036882的博客
06-03 1953
1. 问题引入 今天同学给我发了一个题目，让我做。题目是这样的： 2. 问题抽象 这个问题不难，相信高中生都可以做的出来，大致思路就是： 首先随机挑出k员工分为k组，这样可以保证每一个组至少有一个员工； 然后将剩余的员工随机分到k组中。 那么这么简单的题目为啥还要提一下呢？这是一个公司的笔试题，给60分钟解答时间。但是真的当我动手的时候，才发现这里有一个坑。 第一步中要求每次随机挑出一个员工，如何保证已经被挑出的员工不再参加分组？当然python有一个random.choice()，可以随机挑出一个，
Python 数据分析微专业课程--项目实战12 财富分配实验
zongzi009的博客
09-04 1917
1.项目说明 构建财富分配模型，模拟不允许借贷情况下的财富分配，允许借贷下的财富分配，努力型人生的财富分配 2.项目具体要求 1、财富分配模型 模型假设： ① 每个人初始基金100元 ② 从18岁到65岁，每天玩一次，简化运算按照一共玩17000轮 ③ 每天拿出一元钱，并且随机分配给另一个人 ④ 当某人的财富值降到0元时，他在该轮无需拿出1元钱给别人，但仍然有机会得到别人给出的钱 要求：...
我意思是有没有一种算法，把这些数据分区，然后每个脚本实例都会加载全部数据，只是执行任务时，只选取自己实例分配的数据
03-15
<think>嗯，用户之前问过如何在多个服务器上同时运行Python脚本处理数据，避免重复处理。现在他进一步问有没有一种算法，可以把数据分区，每个实例加载全部数据，但只处理分配给自己的那部分。看来用户可能遇到了性能问题，或者数据量太大，需要分布到多个服务器处理，同时避免重复劳动。 首先，我需要确认用户的具体需求。每个实例加载全部数据，但只处理分配给自己的部分。这可能意味着数据本身很大，但每个实例需要访问全部数据，但处理的时候只处理特定分区。这可能是因为数据之间有依赖关系，或者处理逻辑需要全局信息，但计算可以并行。 用户可能希望避免中央调度，比如数据库或者消息队列，而是让每个实例独立处理自己的分区。这样可能减少对中央服务的依赖，提高可靠性。但需要确保数据分区是明确的，每个实例知道自己该处理哪部分。 接下来，我需要考虑不同的数据分区算法。常见的比如哈希取模，范围分片，轮询分片，或者一致性哈希。每种方法的适用场景不同。比如哈希取模简单，但服务器数量变化时会导致数据迁移。范围分片适合有序数据，但需要预先规划。一致性哈希适合动态增减节点的情况。 用户提到每个实例加载全部数据，这可能意味着数据不是存储在中央数据库，而是每个实例都有全量数据。比如数据文件被复制到每个服务器，或者从同一个存储源加载。这种情况下，分区算法需要在代码层面实现，每个实例根据算法决定处理哪些数据。 然后，我需要考虑如何实现这些算法。比如在Python中，可以通过命令行参数传递实例编号和总实例数，然后根据ID的哈希值取模来决定是否处理该数据。或者根据ID的范围分配，比如实例0处理ID 1-1000，实例1处理1001-2000等。 还需要注意数据分布的均匀性。哈希取模通常能保证均匀分布，但如果有热点数据可能需要特殊处理。范围分片如果数据分布不均匀，可能导致某些实例负载过重。 用户可能关心如何动态扩展，比如增加或减少实例时，如何重新分配数据。哈希取模在实例数变化时，大部分数据需要重新分配，而一致性哈希可以减少这种影响。但实现复杂度较高。 另外，幂等性也很重要，即使多个实例加载相同数据，也要确保每个数据只被处理一次。可能需要通过外部存储记录处理状态，或者在数据本身包含处理标记。 最后，需要给出具体的实现示例，让用户能够理解如何在自己的脚本中应用这些算法。比如修改脚本，添加分片逻辑，根据实例编号和总数决定处理哪些数据。</think>### **分片算法实现方案（无需中央调度）** ```python import hashlib class DataPartitioner: def __init__(self, total_workers, worker_index): """ :param total_workers: 总实例数量 :param worker_index: 当前实例编号 (0 ~ total_workers-1) """ self.total_workers = total_workers self.worker_index = worker_index def is_my_task(self, data_id): """判断数据是否属于当前实例""" # 方法1：取模分片（适合数值型ID） return data_id % self.total_workers == self.worker_index # 方法2：哈希分片（适合任意ID类型） # hashed = int(hashlib.md5(str(data_id).encode()).hexdigest(), 16) # return hashed % self.total_workers == self.worker_index # 方法3：范围分片（需预知ID范围） # total_ids = max_id - min_id + 1 # chunk_size = total_ids // self.total_workers # return min_id + self.worker_index*chunk_size <= data_id < min_id + (self.worker_index+1)*chunk_size ``` --- ### **完整工作流程** ```python # 所有服务器加载相同数据文件 all_data = load_all_data() # 假设返回 {id: content} 的字典 # 启动参数指定实例编号（0/1/2...） import sys total_workers = 3 # 总服务器数量 worker_index = int(sys.argv[1]) # 启动命令: python script.py 0 partitioner = DataPartitioner(total_workers, worker_index) for data_id, content in all_data.items(): if partitioner.is_my_task(data_id): process_data(content) print(f"实例{worker_index} 处理数据 {data_id}") ``` --- ### **关键算法对比** | 算法类型 | 实现方式 | 优点 | 缺点 | 适用场景 | |---------------|--------------------------|--------------------------|--------------------------|---------------------| | **取模分片** | `id % N == index` | 实现简单 | 增删节点时需全量重分布 | ID均匀分布的数值型数据 | | **哈希分片** | `hash(id) % N == index` | 数据分布均匀 | 计算哈希消耗CPU | 非数值型或离散ID | | **范围分片** | 按ID区间划分 | 支持范围查询 | 需预知数据分布 | 有序连续ID | | **一致性哈希** | 虚拟节点环 | 动态扩缩容影响小 | 实现复杂 | 集群规模频繁变化 | --- ### **动态扩容解决方案** ```python # 使用一致性哈希算法（示例代码） from hashlib import sha256 from bisect import bisect class ConsistentHasher: def __init__(self, nodes=None, replicas=100): self.replicas = replicas # 虚拟节点数 self.ring = [] self.node_map = {} if nodes: for node in nodes: self.add_node(node) def add_node(self, node): """添加新节点""" for i in range(self.replicas): key = f"{node}_{i}".encode() hash_val = int(sha256(key).hexdigest(), 16) self.ring.append(hash_val) self.node_map[hash_val] = node self.ring.sort() def get_node(self, data_id): """获取数据对应的节点""" if not self.ring: return None key = str(data_id).encode() hash_val = int(sha256(key).hexdigest(), 16) idx = bisect(self.ring, hash_val) % len(self.ring) return self.node_map[self.ring[idx]] # 初始化含3个节点的环 hasher = ConsistentHasher(['node0', 'node1', 'node2']) # 查询数据所属节点 if hasher.get_node(data_id) == current_node_name: process_data(content) ``` --- ### **生产环境最佳实践** 1. **数据预热**：所有节点加载数据时校验checksum ```python import zlib def verify_data(data): crc = zlib.crc32(str(data).encode()) if crc != expected_crc: # 从中央存储获取校验值 raise ValueError("数据损坏") ``` 2. **负载均衡**：动态调整虚拟节点数量 ```python # 根据节点性能设置不同权重 high_perf_node_replicas = 200 # 高性能节点更多虚拟节点 low_perf_node_replicas = 50 ``` 3. **跨机房容灾**：给节点增加位置标记 ```python hasher.add_node("node3@dc2") # 不同机房节点 ``` 4. **监控告警**： ```python # 统计各节点处理量 from collections import defaultdict counter = defaultdict(int) for data_id in all_ids: node = hasher.get_node(data_id) counter[node] += 1 print("负载分布:", dict(counter)) ``` --- ### **常见问题应对** 1. **数据倾斜**： - 使用双重哈希：`hash(hash(id)) % N` - 添加随机后缀：`hash(f"{id}_{salt}") % N` 2. **节点失效**： ```python # 自动故障转移 def handle_node_failure(failed_node): new_hasher = ConsistentHasher([n for n in nodes if n != failed_node]) # 重新分配失效节点的数据 ``` 3. **数据变更**： ```python # 版本号校验 if data['version'] != get_central_version(data['id']): reload_data(data['id']) # 重新加载最新数据 ``` --- 通过这种分片算法，可以实现： 1. **无中心化架构**：每个实例自主判断任务归属 2. **数据本地性**：适合需要全量数据的计算场景 3. **线性扩展**：通过增加实例数量提升吞吐量 实际部署时建议优先使用**哈希分片**（方法2），既能处理各种数据类型，又能保证较好的负载均衡性。对于需要动态扩容的场景，可以采用**一致性哈希**方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值