- 博客(33)
- 收藏
- 关注
RSS订阅原创 模型减肥秘籍：模型压缩技术 项目实践
NNI 支持多种深度学习框架，如PyTorch、TensorFlow等，并且可以在多种训练平台上运行，包括本地机器、远程服务器、Kubernetes等。初始化优化器和评估器，并使用 TaylorPruner 和 AGPPruner 进行剪枝。为模型中所有 Conv2d 层设置剪枝，指定稀疏率为 0.5，并为 BatchNorm2d 层设置相应的目标对齐策略。获取量化的校准配置，并使用 trans 函数调整配置，仿真量化过程。创建一个与学生模型相同的教师模型，并复制微调后的学生模型的权重。
2024-11-26 14:54:56
421
原创 模型减肥秘籍：模型压缩技术 知识蒸馏
知识蒸馏可以形象地理解为"教师教学生"的过程。大模型（教师模型）将自己学到的"知识"传授给小模型（学生模型），帮助小模型在保持较小体积的同时，获得接近大模型的性能。模型的输出概率分布（软标签）模型中间层的特征注意力图等信息。
2024-11-24 23:45:39
828
原创 模型减肥秘籍：模型压缩技术 神经网络架构搜索
神经网络架构搜索(Neural Architecture Search, NAS)是一种自动化方法，用于寻找高效的神经网络架构。它通过将网络结构、参数量和组合方式作为搜索空间，利用搜索算法快速找到合适的架构。目标是构建一个“有效模型”，即在保持模型精度的同时，降低延时存储和计算消耗。对于多个目标，如果直接使用手工设计的方式，往往会比较难以满足不同的目标。所以，如果能够将上述的目标转换为“优化目标”，就能够通过某种优化方法，使得模型尽可能满足上述的所有目标。单元级搜索空间：涉及基础结构的组合。
2024-11-21 23:00:31
405
原创 模型减肥秘籍：模型压缩技术 模型量化
上一章节我们学习了剪枝 (pruning)，剪枝操作能够减少网络的参数量，从而起到压缩模型的作用。量化将神经网络的浮点算法转换为定点，修改网络中每个参数占用的比特数，从而减少模型参数占用的空间。线性量化是将原始浮点数据和量化后的定点数据之间建立一个简单的线性变换关系，因为卷积、全连接等网络层本身只是简单的线性计算，因此线性量化中可以直接用量化后的数据进行直接计算。回顾一下，对于二维卷积，权重张量是一个四维张量，形状为（输出通道数，输入通道数，卷积核高度，卷积核宽度）。
2024-11-19 00:20:54
405
原创 模型减肥秘籍：模型压缩技术 模型剪枝
模型剪枝是模型压缩中一种重要的技术，其基本思想是将模型中不重要的权重和分支裁剪掉，将网络结构稀疏化，进而得到参数量更小的模型，降低内存开销，使得推理速度更快，这对于需要在资源有限的设备上运行模型的应用来说尤为重要。然而，剪枝也可能导致模型性能的下降，因此需要在模型大小和性能之间找到一个平衡点。神经元在神经网络中的连接在数学上表示为权重矩阵，因此剪枝即是将权重矩阵中一部分元素变为零元素。这些剪枝后具有大量零元素的矩阵被称为稀疏矩阵，反之绝大部分元素非零的矩阵被称为稠密矩阵。
2024-11-15 23:53:50
948
原创 模型减肥秘籍：模型压缩技术 CNN基础
每个滤波器都产生一组数字，要做汇聚的时候，把这些数字分组，可以2×2个 一组，3×3、4×4也可以，这个是我们自己决定的，图4.27中的例子是2×2个一组。这就是卷积层名字的来。上面感受野的第1个神经元会跟下面感受野的第1个神经元共 用参数，上面感受野的第2个神经元跟下面感受野的第2个神经元共用参数······ 所以每个 感受野都只有一组参数而已，这些参数称为滤波器（filter）。第1个版本的故事里面说 到了有一些神经元，这些神经元会共用参数，这些共用的参数就是第2个版本的故事里面的滤波器。
2024-11-12 23:11:41
830
原创 分治算法踩坑记录
第二，对于left, mid,right的关系没有考虑清楚，对于left和right相等的情况，代码中没有相应的处理逻辑。第一，sortSubArray采用了递归的方法却缺少了return函数。
2024-09-29 10:54:08
271
原创 PWN College 关于sql盲注
在这个场景中，我们需要利用SQL注入漏洞来泄露flag，但是应用程序并不会直接返回查询结果。相反，我们需要根据应用程序的行为差异（登录成功与否）来推断查询结果。这就是所谓的"布尔盲注"（Boolean-based Blind SQL Injection）。我们可以通过构造一系列的"是/否"问题，并根据应用程序的响应来逐位获取flag。-- 注释掉查询的剩余部分。
2024-09-17 14:50:15
441
原创 隐私计算实训营：SplitRec：当拆分学习遇上推荐系统
我们这里将使用最经典的MovieLens数据集来进行演示。MovieLens是一个开放式的推荐系统数据集，包含了电影评分和电影元数据信息。我们对数据进行了切分：metrics=[],data,label,epochs=5,到这里，我们已经使用隐语提供的deepfm封装完成了movieLens数据集上的推荐任务训练。我们通过movieLens数据集上的推荐任务来演示了如何通过隐语来实现DeepFM。1.下载并拆分数据集；2.定义好数据处理的dataloader；
2024-09-07 21:04:59
1133
原创 隐私计算实训营：联邦学习在垂直场景的开发实践
纵向联邦学习的参与方拥有相同样本空间、不同特征空间的数据，通过共有样本数据进行安全联合建模，在金融、广告等领域拥有广泛的应用场景。和横向联邦学习相比，纵向联邦学习的参与方之间需要协同完成数据求交集、模型联合训练和模型联合推理。并且，参与方越多，纵向联邦学习系统的复杂度就越高。下面以企业A和企业B两方为例来介绍纵向联邦学习的基本架构和流程。假设企业A有特征数据和标签数据，可以独立建模；企业B有特征数据，缺乏标签数据，因此无法独立建模。由于隐私法规和行业规范等原因，两个企业之间的数据无法直接互通。
2024-09-07 12:01:54
1160
原创 隐私计算实训营：联邦学习在水平场景的开发实践
可以使用secretnote运行使用下面的代码在secretflow环境创造3个实体[Alice，Bob，Charlie]，其中 Alice, Bob和Charlie 是三个PYU，Alice和Bob角色是client，Charlie角色是server。下面准备训练数据。可以指定Alcie和Bob所拥有的数据比例x_trainy_trainx_testy_test都是FedNdarray。
2024-09-07 08:54:47
1176
原创 DatawhaleAI夏令营 多模态大模型
这里我们使用的就是 mgm 框架在进行微调，我们可以看到其中的详细参数以及数据集的地址，包括使用的是 deepseed（使用的是zero2 的优化策略，使用内存换显存，这也是为什么内存需求比较大）我们可以看到其中前面提到的大语言模型以及对应的视觉编码器。此次的任务和一般以模型为中心的任务不同，是以数据为核心的。要求在官方给定的数据集的基础上进行数据清洗和数据合成，生成更为优质的数据集，以提高多模态模型的性能。所以，我们需要做的事情是尽量找到合适的方式组织数据集，通过算子的排列组合演奏出美妙的数据奏曲；
2024-08-15 23:13:31
447
原创 隐私计算实训营第二期第12基于隐语的VisionTransformer框架
然后，对比不同的注意力机制，发现它们中有的具有很好的效率，有的则具有很好的性能。那能否融合不同的注意力机制，在实现高准确率的同时实现高效率呢？搜索完成之后，可以对alpha进行排序，值较大的注意力设置为高延迟类型，值较小的注意力设置为低延迟类型。基于Jax的ViT模型搭建，主要分为patch embedding搭建、注意力机制搭建、MLP模块搭建、Transformer模块搭建。采用多粒度的自蒸馏方式，让异构的ViT去学习到原始softmaxViT的软标签以及最后一层的特征。
2024-06-30 20:39:13
478
原创 隐私计算实训营第二期第11讲组件介绍与自定义开发
（2）DataRef（远程数据的句柄引用，会指定对应的所有者（所有权）以及对应的URI），比如分散在各计算节点中的碎片数据就是一种远程的密态数据。domain: 组件的命名空间。（1）PublicData（可以公开的数据），包含name、type、meta、system_info等信息，不同的type对应不同的meta；组件（Component）是隐语开放标准中最复杂的协议，组件表示可以集成到工作流中的一份应用程序。但是，在不同的命名空间中，可以具有相同名称的组件。，用户可以在系统中定位到一个唯一的组件。
2024-06-30 19:48:41
1245
1
原创 隐私计算实训营第二期第10讲PPML入门/基于SPU机器学习建模实践
那么我们是否可以直接以 MPC 的方式高效地运行已有的机器学习程序？事实上，ML 和MPC领域存在一些差异，如何去跨越这两种不同技术之间的差异？SPU是一种可行的方案。隐私计算实训营第二期第9讲SML入门/基于SPU迁移机器学习算法实践-优快云博客SPU的核心系统组件主要分为三块，如图所示：前端，我们将依赖的AI前端代码翻译成XLA IR编译器，我们使用MLIR技术栈对HLO进行优化并翻译成PPHLO（SPU字节码）
2024-06-28 16:06:17
1508
1
原创 隐私计算实训营第二期第9讲SML入门/基于SPU迁移机器学习算法实践
机器学习领域一般比较关注模型的训练、不同优化器的使用、不同的模型结构等，而隐私计算一般关注底层的基础密文算子（加减乘除+比较+逻辑运算等）、恶意/诚实模型、隐私计算协议、模运。可以看到最后的整体的通信量75536bytes， 发送次数为2563次，非常夸张，直接用自带的digitize，对于mpc非常不友好。这两者间存在着很大差距。安全多方计算中，一般是基于定点数来执行计算的，首先会将浮点型数值转换成定点数后再进行MPC算子计算。，但在SPU中，为了基于MSB的比较能正常工作，定点数取值范围设置为了。
2024-06-21 12:42:36
941
1
原创 隐私计算实训营第二期第8讲密态引擎SPU框架介绍
隐语SPU是一个用于隐私保护机器学习（PPML）的高效且用户友好的框架。SPU的全称是SecretFlow-SPU，它旨在通过结合安全多方计算（MPC）技术，为多个实体之间的协同机器学习提供隐私保护。SPU由前端编译器和后端运行时组成，允许用户在不泄露各自私有数据的情况下，共同计算和训练机器学习模型。接下来我们进行详细的介绍。
2024-06-21 10:09:52
728
原创 隐私计算实训营第二期第7讲XGB算法与SGB算法开发实践
纵向分隔数据集一般由前置步骤隐私求交得到，使用场景往往是联合建模。各方之间不希望将自己的数据泄露给其他方，但又希望联合建模以得到效果更好的模型。效果好的模型还需要有一定的解释性和较好的训练效率，而树模型正好满足这个特征。隐语提供的纵向树模型算法包括两种：可证安全算法SS-XGB和纵向联邦算法SGB。
2024-06-18 18:06:39
514
原创 隐私计算实训营第二期第6讲逻辑回归LR与广义线性模型GLM开发实践
一阶优化器：SGD参数估计方法和二阶优化器：迭代重加权最小二乘法（IRLS）而在隐语中讲二阶优化器 与 一阶优化器相结合，在训练初期使用二阶优化器进行几轮迭代，然后转为一阶优化器进行快速的收敛。优化器以及任何想要计算的函数都可以被划归为加法和乘法的组合，而在隐语中采用秘密分享(Secret sharing)的方式安全地进行计算。如图可以实现，A，B，C通信三方在不知道对方的秘密值的情况下完成求和（A的秘密值为15，B的秘密值为25，C的秘密值为10，求和为50）乘法中也实现类似的效果。
2024-06-18 16:41:14
731
原创 隐私计算实训营第2期第5讲——基于隐私保护的机器学习算法介绍
以前在利用机器学习的一些算法完成任务时，往往只考虑了完成的效果如何，对数据特征的把握是否恰当，而没有思考是否会因为数据的一些中间处理的过程，产生隐私泄露的问题，这次的课程启发了在这方面的思考。
2024-06-13 10:20:19
289
原创 隐私计算实训营第2期第3讲——隐语架构概览
隐语（SecretFlow）是蚂蚁集团开源的可信隐私计算框架，可以划分为不同的层次，下面各层次的特点和相应的目标人群进行介绍，以帮助大家快速了解隐语计算框架。Alice持有集合 X，Bob持有集合Y， Alice和Bob通过执行PSI协议，得到交集结果X ∩ Y ， 除交集外不会泄漏交集外的其它信息。桥接上层算法和底层 安全协议，保持原生 AI框架体验的同时为用户提供透明的、高性能的、基于安全协议的密态计算能力。屏蔽底层安全计算协议的复杂性，以简单熟悉的SQL 语言界面，提供多方数据密态分析能力。
2024-06-07 17:30:26
1470
1
原创 隐私计算实训营第2期第2讲——隐私计算开源助力数据要素流通
其以安全、开放为核心设计理念，支持 MPC、FL、TEE 等主流隐私计算技术，融 合产学研生态共创能力，助力隐私计算更 广泛应用到AI、数据分析等场景中，解决 隐私保护和数据孤岛等行业痛点。数据提供方担心数据流通过程中泄露等安全问题、对于使用方是否合规使用数据存在疑虑、使用方的运维人员也不绝对可信任。以上原因导致了数据提供方不敢加入数据的开放共享，而数据使用方的顾虑也影响着数据价值的变现。数据使用方担心数据来源的合规性，尤其是否得到个人用户的充分授权。具体来说要实现：技术信任体系和完备的信任链。
2024-06-05 10:41:21
1035
原创 隐私计算实训营第2期第1讲——数据可信流通：从运维信任到技术信任
在外循环中，当数据流通离开持有方的安全域之后，信任基石遭到破坏： ①责任主体不清：在数据流通过程中，相关主题承担什么责任搞不清楚 ②利益诉求不一致：除了持有方，每一个数据流通方，都有一个拷贝数据的冲动，从而进一步利用数据的价值 ③能力层次不齐：现实中有完善的数据保障能力的企业机构不多，只靠法规、合同等对数据安全进行保障是不够的 ④责任链路难追溯：当出现安全问题，责任追溯难度高。④行为有后果（如果对方实现我的预期，那我会更加信任对方，形成正反馈；要解决上述问题，需要实现数据要素可信流通，重构技术信任体系。
2024-06-05 09:50:34
431
原创 InternLm实战营 Opencompass大模型测评实战
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
2024-04-22 16:57:35
1698
原创 InternLM Lagent & AgentLego 智能体应用搭建
Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器下面我们将实现一个调用和风天气 API 的工具以完成实时天气查询的功能。下面我们将实现一个调用 MagicMaker 的 API 以实现图像生成的工具。
2024-04-20 14:03:43
592
原创 InternLm实战营 LMDeploy 量化部署 LLM-VLM 实践
LMDeploy 由和团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。这个强大的工具箱提供以下核心功能。
2024-04-16 15:26:47
2202
原创 InternLM实战营 RAG助手茴香豆
RAG技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。RAG属于LLM模型的优化方法之一，其他优化方法包括Prompt engineering和Fine-tuning。并且虽然其在2020年才由Meta提出，但是其发展十分迅猛，已经产生了Naive GAG,Advanced GAG和Modular RAG等技术路线。
2024-04-09 16:53:42
300
原创 InternLM实战营 笔记2
轻松玩转书生·浦语大模型趣味 Demo，官方给出了很详细的课程文档与视频，零基础也基本能上手，后续也希望官方推出一些更深入的课程，对代码进行更多的一些讲解，比如带我们手搓agent。这里附上课程文档，大家可以自己参照，进行操作。
2024-04-04 22:06:59
453
1
原创 【InternLM 实战营】笔记1 书生浦语全链路介绍
并且需要做到，跨平台、高效能、保精度、.产品集成（满足产品的各种用法，包括加密、批处理、reshape，甚至授权，可裁剪）、训练打通（与训练生态打通，最好是训练完成后，简单命令直接导出）。书生浦语构建的一套独有的测评方式，可以全方位地测评大模型的能力，为后续的发展指明方向。（比如，书生浦语就指出，在复杂逻辑推理方面，国产大模型和开源大模型与GPT4还存在着不小差距）当从单纯的处理基于文本的任务的LLM，到能给出一个目标，自己规划，调用工具的智能体，很难想象未来人们的生活会被改变多少。
2024-03-31 21:24:26
214
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人