- 博客(20)
- 收藏
- 关注
RSS订阅原创 MindSpore社区活动：基于MindSpore的SGD优化器实现
SGD，全称Stochastic Gradient Descent，随机梯度下降。核心思想是每次迭代时仅使用一个样本的梯度信息来更新模型参数。特别是在高维优化问题中，这减少了非常高的计算负担，实现更快的迭代以换取更低的收敛速度。随机梯度下降已成为机器学习中重要的优化方法。
2024-12-08 21:55:46
895
原创 MindSpore社区活动：FCN图像语义分割
FCN主要用于图像分割领域，是一种端到端的分割方法，是深度学习应用在图像语义分割的开山之作。通过进行像素级的预测直接得出与原图大小相等的label map。因FCN丢弃全连接层替换为全卷积层，网络所有层均为卷积层，故称为全卷积网络。全卷积神经网络主要使用以下三种技术：卷积化（Convolutional）使用VGG-16作为FCN的backbone。VGG-16的输入为224*224的RGB图像，输出为1000个预测值。VGG-16只能接受固定大小的输入，丢弃了空间坐标，产生非空间输出。
2024-06-19 22:38:11
763
原创 MindSpore社区活动：二阶优化
常见的优化算法可分为一阶优化算法和二阶优化算法。经典的一阶优化算法如SGD等，计算量小、计算速度快，但是收敛的速度慢，所需的迭代次数多。二阶优化算法使用目标函数的二阶导数来加速收敛，能更快地收敛到模型最优值，所需要的迭代次数少，但由于二阶优化算法过高的计算成本，导致其总体执行时间仍然慢于一阶，故目前在深度神经网络训练中二阶优化算法的应用并不普遍。二阶优化算法的主要计算成本在于二阶信息矩阵（Hessian矩阵、FIM矩阵等）的求逆运算，时间复杂度约为𝑂(𝑛3)。
2024-05-12 21:42:38
1849
原创 MindSpore社区活动：数据处理性能优化
在深度学习中，数据加载的效率直接影响了模型的训练速度和质量。数据处理包含如下流程：MindSpore Dataset为用户提供了数据加载以及数据增强的功能，在数据的整个pipeline过程中，其中的每一步骤如果都能够进行合理的运用，那么数据的性能会得到很大的优化和提升。本次体验将基于CIFAR-10数据集来展示如何在数据加载、数据处理和数据增强的过程中进行性能的优化。
2024-04-19 20:45:18
1010
2
原创 MindSpore社区活动：小算力也能玩转深度模型
梯度累加的训练算法，目的是为了解决由于内存不足，导致Batch size过大神经网络无法训练，或者网络模型过大无法加载的OOM（Out Of Memory）问题。一般情况下，batch size设置过大，或者本身自己手里的计算设备(GPU、NPU等)显存较小，会经常遇到这个问题。
2024-03-25 23:18:05
1011
原创 MindSpore社区活动：数据并行，让训练加速
数据并行是最常用的并行训练方式，用于加速模型训练和处理大规模数据集。在数据并行模式下，训练数据被划分成多份，然后将每份数据分配到不同的计算节点上，例如多卡或者多台设备。每个节点独立地处理自己的数据子集，并使用相同的模型进行前向传播和反向传播，最终对所有节点的梯度进行同步后，进行模型参数更新。：设置数据并行模式。：进行多卡梯度聚合。原有代码不需要做太多的改动就可以支持数据并行。环境依赖每次开始进行并行训练前，通过调用接口初始化通信资源，并自动创建全局通信组。
2024-03-17 19:39:23
995
1
原创 MindSpore社区活动：我用RNN看懂你
最后我们设计一个预测函数，实现开头描述的效果，输入一句评价，获得评价的情感分类。将输入句子进行分词；使用词表获取对应的index id序列；index id序列转为Tensor；送入模型获得预测结果；打印输出预测结果。复制最后我们预测开头的样例，可以看到模型可以很好地将评价语句的情感进行分类。
2024-01-21 20:15:36
863
原创 MindSpore社区活动：InceptionV3和CIFAR-10的奇遇
1.mindspore社区InceptionV3模型是谷歌Inception系列里面的第三代模型，相比于其它神经网络模型，Inception网络最大的特点在于将卷积核组合在一起，建立了一个多分支结构，使得网络能够并行地计算。Inception网络架构的优点更高的表现力：Inception网络具有更高的表现力，即可以在相同的计算资源下获得更好的分类效果。并行计算：通过并行计算，不同分支的计算可以在不同的GPU上进行，并且可以有效地活用多个GPU的计算资源。
2023-12-24 18:04:04
1908
1
原创 MindSpore社区活动：图像语义分割模型-DeepLabV3
在前期的图像检测阶段，分割模型使用完全卷积的神经网络FCNN，其中掩模和边界被放置好，然后，输入通过一个非常深的网络进行处理，其中累积的卷积和池会导致图像的分辨率和质量显著降低，因此，结果是高信息丢失率的结果。DeepLab模型利用空洞卷积和空洞空间卷积池化金字塔（ASPP）架构解决了这一挑战。DeepLab系列发展历程：v1：修改经典分类网络(VGG16)，将空洞卷积应用于模型中，试图解决分辨率过低及提取多尺度特征问题，用CRF做后处理。
2023-10-06 10:52:02
152
1
原创 Diffusion扩散模型
当前有四大生成模型：生成对抗模型、变微分自动编码器、流模型以及扩散模型。扩散模型在诸多应用领域都有出色的表现，如计算机视觉，NLP、波形signal处理、多模态建模、分子图建模、时间序列建模、对抗性净化等。原理：扩散现象物理：物质分子从高浓度向低浓度区域转移，直到均匀分布。AI：由熵增定律驱动，先给一幅图片增加噪声，让其变得极其混乱，再训练AI把混乱的照片变回有序（实现图片生成）。
2023-09-16 19:57:56
420
1
原创 PFLD：实时人脸关键点检测算法
PFLD全称A Practical Facial Landmark Detector是一个精度高，速度快，模型小的人脸关键点检测模型。在移动端达到了超实时的性能（模型大小2.1Mb，在Qualcomm ARM 845 处理器上达到140fps），有较大的实用意义。
2023-08-22 21:47:00
2503
1
原创 MindSpore社区活动：UNet-2D的图像分割
具体的实现方式首先是定义了一个double_conv模型类，在类中重写__init__方法，通过使用nn.Conv2d层定义“下采样模块”与“上采样模块”中都使用到的两个卷积函数，并且在每个卷积层后加入nn.BatchNorm2d层来对每次卷积后的特征图进行标准化，防止过拟合，以及使用nn.ReLU层加入非线性的激活函数。Unet是一个优秀的语义分割模型，其主要执行过程与其它语义分割模型类似。与CNN不同的之处在于CNN是图像级的分类，而unet是像素级的分类，其输出的是每个像素点的类别。
2023-08-14 23:42:37
461
原创 MindSpore社区活动：Transformer也能图像分类
优快云社区：Vision Transformer（ViT）简介Transformer最初提出是针对NLP领域的，并且在NLP领域大获成功。受到其启发，尝试将Transformer应用到CV领域。通过实验，给出的最佳模型在ImageNet1K上能够达到88.55%的准确率（先在Google的JFT数据集上进行了预训练），说明Transformer在CV领域确实是有效的，而且效果还挺惊人。
2023-07-25 21:00:58
263
原创 MindSpore社区活动：网络模型上的艺术
Pix2Pix是基于条件生成对抗网络（cGAN, Condition Generative Adversarial Networks ）实现的一种深度学习图像转换模型，该模型是由Phillip Isola等作者在2017年CVPR上提出的，可以实现语义/标签到真实图片、灰度图到彩色图、航空图到地图、白天到黑夜、线稿图到实物图的转换。生成器和判别器。传统上，尽管此类任务的目标都是相同的从像素预测像素，但每项都是用单独的专用机器来处理的。
2023-05-27 21:32:39
169
1
原创 MindSpore为你添彩
Colorization算法是来自加里福利亚大学的一项研究，采用的是CNN的结构。该算法可以实现灰度图像的自动着色，由Richard Zhang等人在论文Colorful Image Colorization中提出，并发表在2016年的ECCV会议中。该模型由8个conv层组成，每个conv层由2个或3个重复的卷积层和ReLU层组成，后面跟着一个BatchNorm层。网络中不包含池化层。
2023-04-02 18:20:54
121
原创 MindSpore v1.6体验，开发套件昇思MindSpore Dev ToolKit
版本不停迭代，带来更多新功能，还有易用性的提升1.6版本我最感兴趣的就是开发套件昇思MindSpore Dev ToolKit首先是更新mindspore版本，其实体验MindSpore Dev ToolKit不更新到1.6也是可以的下载插件地址https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.6.1/IdePlugin/any/MindSpore_Dev_ToolKit-1.6.1.zip插件版本1.6.1选择本地安
2022-04-20 20:56:31
241
原创 CTS测试中运行某个class
run cts --class是用来运行某个class但是后面的class如何填写?例如需要运行CtsSecurityTestCases.xml中的BrowserTestrun cts --class android.security.cts.BrowserTest 就可以了. 前面是appPackageName 加.cts.加className
2015-06-24 09:26:31
2524
原创 解决最新版本的adb无法找到设备
用旧版的adb只要在C:\Users\当前用户\.android下面新建adb_usb.ini,内容为设备的device ID.但是用到最新版本的adb,例如 24.0.2, adb devices,返回的结果为空后来发现sdk的目录,也就是platform-tools所在的上级目录下也有个同样的.android文件夹.然后在里面新建adb_usb.ini,内容为设备的devi
2015-04-24 10:52:20
682
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人