Big_data_archit-优快云博客

原创第 12 课：基于隐语的VisionTransformer框架

NPCVIT框架是基于隐语的Vision Transformer，旨在在保护数据和模型隐私的同时，提高图像分类的推理效率和准确性。此外，还介绍了NPCVI微型Transformer框架，包括其神经网络架构、隐私推理框架和实验结果。还有关于NPCYT算法流程的详细说明，包括整体算法流程、搜索空间设计、神经架构搜索算法和架构参数二值化的内容。同时，详细介绍了英语的SPU（安全处理单元），包括前端神经网络模型编写、隐私计算和通信参数配置等方面。

2024-06-30 23:08:42 231

原创第 11 课：组件介绍与自定义开发

运行报告也是一种DistData，通常作为部分组件的输出，用户界面可以根据定义来渲染运行报告。•Div：页面的一个部分或节，由Descriptions、Tables或Divs组成。•Descriptions：以组的形式显示多个只读字段。•隐语提出的适用于隐私计算应用的一系列协议的集合。·目前包括数据，组件，节点执行，运行报告等协议。•Report：报告的顶级，由Tabs组成。•Tab：报告的一个页面，由Divs组成。•隐语生态各模块均遵守本标准。• version：组件的版本。•Table：显示数据的行。

2024-06-30 23:08:05 267

原创第 10 课：PPML入门/基于SPU机器学习建模实践

jnp.concatenate([input_ids, jnp.array([[next_token]])], axis=1)：将选取的token添加到输入文本中，继续生成下一个token。text_generation(input_ids, params, token_num=10)：使用贪心搜索算法生成文本，输入为编码后的文本和模型参数，输出为生成的文本。device(mpc)(train)(x1_, x2_, y_)：在mpc设备上进行模型训练。

2024-06-30 23:07:16 920

原创第 9 课：SML入门/基于SPU迁移机器学习算法实践

18)，则平方运算造成的0-2bit误差可能会对结果造成显著的影响，甚至可能从最小正数溢出到最小负数。• 计算精度较低，乘法依赖truncation，数学函数,通常使用近似解(不同算子误差范围不同)数据没有seal(即load到PYU)，SPU将其视为Public数据，所有计算在。1. 系统设定误差(如环大小，fxp大小，truncation协议等)[3].使用不带截断的Sigmoid近似(SR)：减少梯度为0的概率。[3].使用不带截断的Sigmoid近似(SR)：减少梯度为0的概率。

2024-06-30 23:06:12 835

原创第 8 课：密态引擎SPU框架介绍

基于密码学的隐私计算，提供了非常有限的计算能力，加密计算有易用性差（类型简单，加/乘/与/或等，算子比较底层），性能较差等挑战。SPU的编程界面，使用原生AI框架，使用JIT编译执行，生态无缝衔接，通过修改配置文件即可更改安全协议，无需代码修改。SPU作为一个虚拟设备，也提供了配套的工具链的支持（Profiling、Tracing，Debugging），从而对上层应用和下层协议进行针对性优化以及错误排查。以大模型预测场景为例，模型是公司的资产，提示词包含用户隐私，如何同时保护模型和提示词。

2024-06-30 23:05:27 526

原创第 7 课：XGB算法与SGB算法开发实践，学习笔记

经典算法到MPC算法需要进行算法改造三部曲，确定保护的数据部分、准备安全原语和改造数据结构和算法。隐语的优势包括提供设备抽象、重点算子优化破瓶颈、分层架构和开源共建。2. 通常需要前置求交集，SS-XGB/SGB XGB有优势的场景包括提高AUC、合作完成建模以及更多数据->更多价值等。1. 隐语提供的纵向树模型算法实现了XGB的经典功能，采用MPC进行密态计算，无信息泄漏，可证安全。1. 纵向树模型是基于纵向分割数据集训练的决策树模型，相同样本在不同特征维度上进行训练。二、使用-隐语纵向树模型。

2024-06-30 23:04:22 275

原创 GLM(广义线性模型) 与 LR(逻辑回归)

在与 OpenAI、谷歌大脑、微软、英伟达、脸书的各大模型对比中，评测报告显示 GLM-130B 在准确性和恶意性指标上与 GPT-3 175B (davinci) 接近或持平，鲁棒性和校准误差在所有千亿规模的基座大模型（作为公平对比，只对比无指令提示微调模型）中表现不错。T5在encoding和decoding使用不同的位置编码，使用哨兵标记来识别不同的[MASK]跨度，哨兵标记造成了模型能力的浪费和预训练微调的不一致性。(d) 自注意力掩码。但随着研究的深入和新技术的发展，任务之间的界限变得模糊。

2024-06-12 18:21:59 1798

原创第 5 课：基于隐私保护的机器学习算法介绍

因此，基于隐私保护的机器学习算法应运而生，旨在在保护数据隐私的同时，实现高效的模型训练和应用。隐私保护机器学习算法可以用于金融欺诈检测、风险评估和信用评分等任务，保护用户隐私的同时提高金融服务的效率和准确性。这些算法通过不同的技术手段，在保护数据隐私的同时，实现了模型的训练和推理。在医疗领域，患者的健康数据通常包含大量的敏感信息。基于隐私保护的机器学习算法可以在保护患者隐私的同时，实现疾病的预测、诊断和治疗方案的优化。制定标准与法规：制定相关的隐私保护标准和法规，规范隐私保护机器学习算法的开发和应用。

2024-06-12 18:09:14 590

原创第 4 课：SecretFlow与Secretnote的安装部署

IPAD（可能是某个特定的安装工具或平台的误写，需要具体确认）：使用特定的安装程序或工具进行安装。选择合适的安装包，如SQL Flow和SecretFlow light，根据需求选择合适的版本。生产模式：用于实际生产环境，每个参与方都有独立的集群，更加注重安全性和稳定性。在进行安装和部署时，请确保仔细阅读官方文档，按照官方提供的步骤进行操作。在仿真或生产模式下，根据需求创建SPU，定义其结构、通信地址和端口号。仿真模式：用于测试和开发环境，通常部署在几台机器上，模拟多节点环境。

2024-06-12 18:08:33 215

原创隐语实训营-第3讲：详解隐私计算框架的架构和技术要点

隐语分层架构设计，可以支持不同的技术路线，同时使得层内高内聚，层间低耦合，增强了开放性，不同技术路线的研究人员都可以在对应的层发挥自己的优势。• SecretNote：Notebook形式，可以跟踪运行状态，进行交互式建模，以及多节点的管理和交互。• 多方安全数据分析系统，可以使互不信任的参与方在保护自己数据隐私的前提下，完成多方数据分析任务。• PIR：用户查询服务端数据库中的数据，但服务端不知道用户查询的是哪些数据。• PSI：一种特殊的MPC协议，求两方数据的交集，除此之外不泄露其他信息。

2024-06-12 18:08:01 352

原创隐私计算实训营第2期-第2讲隐私计算开源如何助力数据要素流通

在第一阶段，数据平台方主要靠【主体可信】，往往是国有企业身份。但这是不够的，要逐渐从【主体可信】向【主体可信+技术可信】发展。区块链技术主要用于数据使用记录的存证。如果数据被数据消费方拷贝走，让数据价值迅速降低；主要是通过数据转为密态计算来实现，隐私计算是解决这一问题的关键技术。数据平台方，是为了解决数据提供方和数据消费方的疑虑出现的。关键主体至少有3个：数据提供方、数据消费方、数据平台方。1、数据要素流通中的关键主体，以及各自的忧虑。数据提供方的数据是否有足够的授权链；在数据交易中不失去对数据的控制；

2024-06-12 18:07:30 224

原创隐私计算实训营第二期第一课数据可信流通：从运维信任到技术信任学习笔记

控制面：以可信计算和区块链为核心支撑技术构建数据流通管控层，包括跨域管控与全链路审计。内循环：数据持有方在自己的运维管控域内对自己的数据使用和安全拥有全责。外循环：数据要素在离开持有方管控域后，持有方依然拥有管控需求和责任。数据持有方在自己的运维安全领域内对自己的数据使用和安全拥有全责。数据可信流通的技术信任基础：基于密码学与可信计算技术。技术信任: 数据应用身份、利益依赖、可信技术能力；数据可信流通需要全新的技术要求标准与技术方法体系。数据可信流通的政策指导：数据二十条。

2024-06-12 18:06:50 357

Big_data_archit的博客