cmdxy0201-优快云博客

原创隐语Secretflow第9讲：安全联邦大模型实践

（parameter-efficient finetuning techniques, PEET）：微调大模型时，不是训练全量的模型参数。优点：显存占用少；训练速度快；更低的存储成本（不同任务可共享大部分的权重参数）；精度和全量微调出于同一个水平相。1.Lora维度r远小于d输入x经过W得到H0；输入x经过AB得到H1。然后H0+H1传到下一层。

2024-09-10 20:47:49 532

原创隐语Secretflow 第6讲：逻辑回归LR与广义线性模型GLM开发实践

GLM将误差项的概率分布扩展为指数分布族：伯努利分布（逻辑回归）、泊松分布、Gamma分布、复合泊松Gamma分布、Tweedie分布等。支持多种模型（伯努利分布、泊松分布、gamma分布、tweedie分布）；其假设响应变量Y的真实值由系统组件（system component）和误差组件（error component）组成。法二：通过两步建模间接近似：纯保费 = 索赔次数（泊松分布、负二项分布） * 平均索赔金额（伽马分布、逆高斯分布）法一：直接对纯保费建模，服从tweedie分布（1，2）

2024-09-07 21:49:51 1054

原创隐语Secretflow 第5讲：基于隐私保护的机器学习算法介绍

与水平联邦相比，垂直拆分学习的架构略有不同，其模型被拆分成 2 份、3 份或者更多，分别分布在不同的参与方。水平联邦学习和垂直拆分学习都属于非可证安全算法，其安全性需要根据场景具体分析。在垂直拆分场景中，隐私求交常用于第一步的数据对齐，然后进一步做数据分析或机器学习建模。垂直拆分学习SLModel是一个通用的范式，封装好的垂直联邦模型训练器。可选择内置或自定义的垂直拆分策略，隐语内置了多种加速训练的策略算法。隐语提供了两种神经网络算法：水平联邦学习、垂直拆分学习。水平联邦学习：各参与方保留完整的模型。

2024-09-07 13:34:15 1231