2020-03-10

文科生45岁学编程,只为兴趣,给自己加油!!!
93年上中专前沒碰过电脑,第一次学basic语言始终听不懂,为什么:x=x+1?..现在重新拾起!!!!

内容概要:本文详细介绍了一个基于Java和Vue的联邦学习隐私保护推荐系统的设计与实现。系统采用联邦学习架构,使用户数据在本地完成模型训练,仅上传加密后的模型参数或梯度,通过中心服务器进行联邦平均聚合,从而实现数据隐私保护与协同建模的双重目标。项目涵盖完整的系统架构设计,包括本地模型训练、中心参数聚合、安全通信、前后端解耦、推荐算法插件化等模块,并结合差分隐私与同态加密等技术强化安全性。同时,系统通过Vue前端实现用户行为采集与个性化推荐展示,Java后端支撑高并发服务与日志处理,形成“本地训练—参数上传—全局聚合—模型下发—个性化微调”的完整闭环。文中还提供了关键模块的代码示例,如特征提取、模型聚合、加密上传等,增强了项目的可实施性与工程参考价值。 适合人群:具备一定Java和Vue开发基础,熟悉Spring Boot、RESTful API、分布式系统或机器学习相关技术,从事推荐系统、隐私计算或全栈开发方向的研发人员。 使用场景及目标:①学习联邦学习在推荐系统中的工程落地方法;②掌握隐私保护机制(如加密传输、差分隐私)与模型聚合技术的集成;③构建高安全、可扩展的分布式推荐系统原型;④实现前后端协同的个性化推荐闭环系统。 阅读建议:建议结合代码示例深入理解联邦学习流程,重点关注本地训练与全局聚合的协同逻辑,同时可基于项目架构进行算法替换与功能扩展,适用于科研验证与工业级系统原型开发。
源码来自:https://pan.quark.cn/s/a4b39357ea24 遗传算法 - 简书 遗传算法的理论是根据达尔文进化论而设计出来的算法: 人类是朝着好的方向(最优解)进化,进化过程中,会自动选择优良基因,淘汰劣等基因。 遗传算法(英语:genetic algorithm (GA) )是计算数学中用于解决最佳化的搜索算法,是进化算法的一种。 进化算法最初是借鉴了进化生物学中的一些现象而发展起来的,这些现象包括遗传、突变、自然选择、杂交等。 搜索算法的共同特征为: 首先组成一组候选解 依据某些适应性条件测算这些候选解的适应度 根据适应度保留某些候选解,放弃其他候选解 对保留的候选解进行某些操作,生成新的候选解 遗传算法流程 遗传算法的一般步骤 my_fitness函数 评估每条染色体所对应个体的适应度 升序排列适应度评估值,选出 前 parent_number 个 个体作为 待选 parent 种群(适应度函数的值越小越好) 从 待选 parent 种群 中随机选择 2 个个体作为父方和母方。 抽取父母双方的染色体,进行交叉,产生 2 个子代。 (交叉概率) 对子代(parent + 生成的 child)的染色体进行变异。 (变异概率) 重复3,4,5步骤,直到新种群(parentnumber + childnumber)的产生。 循环以上步骤直至找到满意的解。 名词解释 交叉概率:两个个体进行交配的概率。 例如,交配概率为0.8,则80%的“夫妻”会生育后代。 变异概率:所有的基因中发生变异的占总体的比例。 GA函数 适应度函数 适应度函数由解决的问题决定。 举一个平方和的例子。 简单的平方和问题 求函数的最小值,其中每个变量的取值区间都是 [-1, ...
你遇到的问题是: > **SPI 输出的时间尺度不对,比如 `window_start` 和 `window_end` 的时间跨度看起来不是30天。** 我们来看你的输出示例: ``` dekad_start window_start window_end 2020-01-21 2019-12-23 2020-01-31 ``` 这里 `window_start = 2019-12-23`, `window_end = 2020-01-31`,这显然不是一个30天的窗口,而是一个月的跨度,说明你的 **SPI窗口定义逻辑出现了问题**。 --- ## ❗问题定位:窗口定义错误 你在代码中这样定义窗口: ```python window_end = dekad_start window_start = dekad_start - pd.Timedelta(days=29) ``` 但你在筛选窗口数据时却用了: ```python window_data = df[(df['date'] > window_start) & (df['date'] <= dekad_end)] ``` ### ✅ 正确逻辑应是: ```python window_data = df[(df['date'] >= window_start) & (df['date'] <= window_end)] ``` 因为你定义了: ```python window_end = dekad_start window_start = dekad_start - pd.Timedelta(days=29) ``` 所以窗口应该是: ``` [dekad_start - 29天, dekad_start] ``` 但是你用了 `dekad_end` 作为窗口结束时间,而 `dekad_end` 是 **每旬的结束时间(10日、20日、月底)**,这会导致窗口被错误地扩展到整旬结束日,而不是当前旬的开始日。 --- ## ✅ 正确代码应为: ```python window_end = dekad_start window_start = dekad_start - pd.Timedelta(days=29) window_data = df[(df['date'] >= window_start) & (df['date'] <= window_end)] ``` 而不是: ```python window_data = df[(df['date'] > window_start) & (df['date'] <= dekad_end)] ``` --- ## 🧪 示例说明 以 `dekad_start = 2020-01-21` 为例: ```python window_start = 2020-01-21 - 29天 = 2019-12-23 window_end = 2020-01-21 ``` 正确的窗口是: ``` [2019-12-23, 2020-01-21] # 共30天 ``` 如果你用了 `dekad_end = 2020-01-31`,那么窗口变成了: ``` [2019-12-23, 2020-01-31] # 39天,错误 ``` --- ## ✅ 修改建议(修复窗口筛选逻辑) 将: ```python window_data = df[(df['date'] > window_start) & (df['date'] <= dekad_end)] ``` 改为: ```python window_data = df[(df['date'] >= window_start) & (df['date'] <= window_end)] ``` 同时确保 `window_end = dekad_start` 是正确的。 --- ## ✅ 建议添加调试打印语句 你可以在循环中加入调试信息,帮助你检查窗口是否正确: ```python print(f"dekad_start: {dekad_start}, window_start: {window_start}, window_end: {window_end}") ``` 输出示例: ``` dekad_start: 2020-01-21 00:00:00, window_start: 2019-12-23 00:00:00, window_end: 2020-01-21 00:00:00 ``` 确保 `window_start` 到 `window_end` 确实是30天。 --- ## ✅ 总结 | 问题 | 原因 | 修复方法 | |------|------|-----------| | 时间窗口跨度错误 | 使用了 `dekad_end` 而非 `window_end` | 改为使用 `window_start` 到 `window_end` | | 数据边界错误 | 使用了 `>` 而非 `>=` | 改为 `>= window_start` | | 窗口天数不对 | 没有检查窗口是否正好30天 | 添加调试输出 | --- ##
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值