- 博客(31)
- 收藏
- 关注
原创 OpenNJet动态API设置accessLog开关,颠覆传统运维工作模式
OpenNJet 应用引擎是高性能、轻量级的WEB应用与代理软件。作为云原生服务网格的数据平面,NJet具备动态配置加载、主动式健康检测、集群高可用、声明式API等多种强大功能。通过CoPliot副驾驶服务框架,在隔离控制面和数据面的情况下实现了高可扩展性。NJet应用引擎助力企业实现云原生技术的平滑升级并大幅降低IT运营成本。
2025-03-19 21:20:54
381
原创 NVIDIA NIM平台利用AI的功能,AI驱动知识问答助手的实现
NIM 代表 NVIDIA 推理微服务,这意味着它是一种用于对生成式 AI 模型进行推理的服务。在宣布推出时,NIM 仅作为一套面向开发者的 API提供。NIM API 建立在强大的基础之上,包括Triton 推理服务器、TensorRT、TensorRT-LLM和PyTorch等推理引擎。这种架构促进了大规模的无缝 AI 推理,使开发者能够使用最先进的基础模型和微调模型,而无需担心基础设施。NIM API 与 OpenAI 兼容,使开发者能够在其应用程序中利用 OpenAI 模型和工具的强大功能。
2024-10-19 21:26:21
2040
1
原创 昇思25天学习打卡营第27天|MindSporeK基于 MindSpore 实现 BERT 对话情绪识别- BERT全称是来自变换器的双向编码器表征量
自己输入推理数据,展示模型的泛化能力。predict("家人们咱就是说一整个无语住了 绝绝子叠buff")inputs: '家人们咱就是说一整个无语住了 绝绝子叠buff', predict: '中性'
2024-07-31 17:49:26
916
原创 昇思25天学习打卡营第26天|MindSporeK基于RNN实现情感分类学习- 损失函数与优化器
最后我们设计一个预测函数,实现开头描述的效果,输入一句评价,获得评价的情感分类。具体包含以下步骤:将输入句子进行分词;使用词表获取对应的index id序列;index id序列转为Tensor;送入模型获得预测结果;打印输出预测结果。最后我们预测开头的样例,可以看到模型可以很好地将评价语句的情感进行分类。
2024-07-31 17:02:44
950
原创 昇思25天学习打卡营第25天|MindSporeK基于LSTM+CRF序列标注学习- 分词(Word Segmentation)、词性标注(Position Tagging)、命名实体识别(Named
首先根据公式 (3)计算正确标签序列所对应的得分,这里需要注意,除了转移概率矩阵 𝐏外,还需要维护两个大小为 |𝑇|的向量,分别作为序列开始和结束时的转移概率。考虑到输入序列可能存在Padding的情况,CRF的输入需要考虑输入序列的真实长度,因此除发射矩阵和标签外,加入seq_length参数传入序列Padding前的长度,并实现生成mask矩阵的sequence_mask方法。,𝑦𝑛},𝑦∈𝑌为输出的标注序列,其中 𝑛为序列的最大长度, 𝑌表示 𝑥对应的所有可能的输出序列集合。
2024-07-31 15:31:37
973
原创 昇思25天学习打卡营第24天|MindSporeK基于Pix2Pix实现图像转换学习- 借助MindSpore框架来实现Pix2Pix的应用
cGAN的生成器与传统GAN的生成器在原理上有一些区别,cGAN的生成器是将输入图片作为指导信息,由输入图像不断尝试生成用于迷惑判别器的“假”图像,由输入图像转换输出为相应“假”图像的本质是从像素到另一个像素的映射,而传统GAN的生成器是基于一个给定的随机噪声生成图像,输出图像通过其他约束条件控制生成,这是cGAN和GAN的在图像翻译任务中的差异。Pix2Pix中判别器的任务是判断从生成器输出的图像是真实的训练图像还是生成的“假”图像。生成的矩阵中的每个点代表原图的一小块区域(patch)。
2024-07-31 15:04:15
1005
原创 昇思25天学习打卡营第23天|MindSporeK基于GAN图像生成学习- 生成器(Generative Model)和判别器(Discriminative Model)
生成式对抗网络(Generative Adversarial Networks,GAN)是一种生成式机器学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。最初,GAN由Ian J. Goodfellow于2014年发明,并在论文Generative Adversarial Nets中首次进行了描述,其主要由两个不同的模型共同组成——生成器(Generative Model)和判别器(Discriminative Model):生成器的任务是生成看起来像训练图像的“假”图像;
2024-07-31 14:04:25
1016
原创 昇思25天学习打卡营第22天|MindSporeK基于Diffusion扩散模型学习- Diffusion与其他生成模型
什么是Diffusion Model?如果将Diffusion与其他生成模型(如Normalizing Flows、GAN或VAE)进行比较,它并没有那么复杂,它们都将噪声从一些简单分布转换为数据样本,Diffusion也是从纯噪声开始通过一个神经网络学习逐步去噪,最终得到一个实际图像。Diffusion对于图像的处理包括以下两个过程:我们选择的固定(或预定义)正向扩散过程 𝑞:它逐渐将高斯噪声添加到图像中,直到最终得到纯噪声。
2024-07-31 12:30:33
611
原创 昇思25天学习打卡营第16天|MindSpore基于MindNLP+MusicGen生成自己的个性化音乐学习- AutoProcessor
与传统方法不同,MusicGen采用单个stage的Transformer LM结合高效的token交织模式,取消了多层级的多个模型结构,例如分层或上采样,这使得MusicGen能够生成单声道和立体声的高质量音乐样本,同时提供更好的生成输出控制。MusicGen是来自Meta AI的Jade Copet等人提出的基于单个语言模型(LM)的音乐生成模型,能够根据文本描述或音频提示生成高质量的音乐样本,相关研究成果参考论文《Simple and Controllable Music Generation》。
2024-07-31 11:30:26
1999
原创 昇思25天学习打卡营第21天|MindSporeK基于 DCGAN生成漫画头像学习- GAN的直接扩展DCGAN
输入是3x64x64的图像,输出是该图像为真图像的概率。在实践场景中,该功能是通过一系列Conv2dTranspose转置卷积层来完成的,每个层都与BatchNorm2d层和ReLu激活层配对,输出数据会经过tanh函数,使其返回[-1,1]的数据范围内。nz是隐向量z的长度,ngf与通过生成器传播的特征图的大小有关,nc是输出图像中的通道数。在这两个部分中,分别获取训练过程中的损失,并在每个周期结束时进行统计,将fixed_noise批量推送到生成器中,以直观地跟踪G的训练进度。
2024-07-31 10:44:43
696
原创 昇思25天学习打卡营第20天|MindSporeK基于CycleGAN图像风格迁移互换学习- CycleGAN 网络
CycleGAN(Cycle Generative Adversarial Network) 即循环对抗生成网络,来自论文 Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks。该模型实现了一种在没有配对示例的情况下学习将图像从源域 X 转换到目标域 Y 的方法。该模型一个重要应用领域是域迁移(Domain Adaptation),可以通俗地理解为图像风格迁移。
2024-07-31 10:12:18
449
原创 昇思25天学习打卡营第19天|MindSporeK基于MobileNetv2的垃圾分类学习- 深度可分离卷积
本文档主要介绍垃圾分类代码开发的方法。通过读取本地图像数据作为输入,对图像中的垃圾物体进行检测,并且将检测结果图片保存到文件中。1、实验目的2、MobileNetv2模型原理介绍MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络,相比于传统的卷积神经网络,MobileNet网络使用深度可分离卷积(Depthwise Separable Convolution)的思想在准确率小幅度降低的前提下,大大减小了模型参数与运算量。
2024-07-31 09:39:11
406
原创 昇思25天学习打卡营第18天|MindSporeK近邻算法实现红酒聚类学习- MindSpore进行KNN实验
本文档主要介绍垃圾分类代码开发的方法。通过读取本地图像数据作为输入,对图像中的垃圾物体进行检测,并且将检测结果图片保存到文件中。1、实验目的2、MobileNetv2模型原理介绍MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络,相比于传统的卷积神经网络,MobileNet网络使用深度可分离卷积(Depthwise Separable Convolution)的思想在准确率小幅度降低的前提下,大大减小了模型参数与运算量。
2024-07-31 00:18:04
967
原创 昇思25天学习打卡营第17天|MindSporeK近邻算法实现红酒聚类学习- MindSpore进行KNN实验
它正是基于以上思想:要确定一个样本的类别,可以计算它与所有训练样本的距离,然后找出和该样本最接近的k个样本,统计出这些样本的类别并进行投票,票数最多的那个类就是分类的结果。在具体实现时,可以考虑样本的权重,即每个样本有不同的投票权重,这种方法称为带权重的k近邻算法,它是一种变种的k近邻算法。需要特别注意的是,使用欧氏距离时,应将特征向量的每个分量归一化,以减少因为特征值的尺度范围不同所带来的干扰,否则数值小的特征分量会被数值大的特征分量淹没。K值,一个样本的分类是由K个邻居的“多数表决”确定的。
2024-07-31 00:00:43
696
原创 昇思25天学习打卡营第15天|MindSpore使用Vision Transformer(ViT)学习- 自注意力机制
近些年,随着基于自注意(Self-Attention)结构的模型的发展,特别是Transformer模型的提出,极大地促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性,它已经能够训练具有超过100B参数的空前规模的模型。ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下,依然可以在图像分类任务上达到很好的效果。
2024-07-30 22:26:50
818
原创 昇思25天学习打卡营第14天|MindSpore使用SSD目标检测介绍学习- Single Shot MultiBox Detector
SSD,全称Single Shot MultiBox Detector,是Wei Liu在ECCV 2016上提出的一种目标检测算法。使用Nvidia Titan X在VOC 2007测试集上,SSD对于输入尺寸300x300的网络,达到74.3%mAP(mean Average Precision)以及59FPS;对于512x512的网络,达到了76.9%mAP ,超越当时最强的Faster RCNN(73.2%mAP)。具体可参考论文[1]。
2024-07-30 21:42:45
348
原创 昇思25天学习打卡营第13天|MindSpore使用ShuffleNet网络介绍学习- ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型
ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型,和MobileNet, SqueezeNet等一样主要应用在移动端,所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。ShuffleNetV1的设计核心是引入了两种操作:Pointwise Group Convolution和Channel Shuffle,这在保持精度的同时大大降低了模型的计算量。因此,ShuffleNetV1和MobileNet类似,都是通过设计更高效的网络结构来实现模型的压缩和加速。
2024-07-30 21:14:30
843
原创 昇思25天学习打卡营第12天|MindSpore使用ResNet50图像分类学习(ResNet50预训练模型)
ResNet50网络是2015年由微软实验室的何恺明提出,获得ILSVRC2015图像分类竞赛第一名。在ResNet网络提出之前,传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的,但当网络堆叠到一定深度时,就会出现退化问题。下图是在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图,由图中数据可以看出,56层网络比20层网络训练误差和测试误差更大,随着网络的加深,其误差并没有如预想的一样减小。
2024-07-08 19:29:38
773
原创 昇思25天学习打卡营第11天|MindSpore使用ResNet50迁移学习(构建Resnet50网络)
迁移学习是指通过将一个已经在某一任务上训练好的模型,应用于另一个任务上。在迁移学习中,一般会将预训练模型的权重加载到新的模型中,然后对新的模型进行微调。预训练模型是指在大规模的数据集上训练好的模型这些模型通常具有很好的泛化能力,可以应用于各种任务,如图像分类、目标检测、语音识别等。预训练模型可以作为迁移学习的基础,将其应用于新的任务中,可以显著提高模型的效果,并减少训练时间和计算资源的消耗。微调是指在新的数据集上对预训练模型进行进一步训练,以适应新的任务。
2024-07-07 16:35:29
932
原创 昇思25天学习打卡营第10天|MindSpore使用FCN图像语义分割(自定义评价指标 Metrics)
FCN主要用于图像分割领域,是一种端到端的分割方法,是深度学习应用在图像语义分割的开山之作。通过进行像素级的预测直接得出与原图大小相等的label map。因FCN丢弃全连接层替换为全卷积层,网络所有层均为卷积层,故称为全卷积网络。这一部分主要对训练出来的模型效果进行评估,为了便于解释,假设如下:共有 k+1个类(从 L0到 Lk, 其中包含一个空类或背景), pij表示本属于i类但被预测为j类的像素数量。
2024-07-06 22:31:31
806
原创 昇思25天学习打卡营第9天|MindSpore使用静态图加速(基于context的开启方式)
在Graph模式下,Python代码并不是由Python解释器去执行,而是将代码编译成静态计算图,然后执行静态计算图。在静态图模式下,MindSpore通过源码转换的方式,将Python的源码转换成中间表达IR(Intermediate Representation),并在此基础上对IR图进行优化,最终在硬件设备上执行优化后的图。MindSpore使用基于图表示的函数式IR,称为MindIR,详情可参考中间表示MindIR。
2024-07-05 18:43:13
940
原创 昇思25天学习打卡营第8天|MindSpore保存与加载(保存和加载MindIR)
在MindIR中,一个函数图(FuncGraph)表示一个普通函数的定义,函数图一般由ParameterNode、ValueNode和CNode组成有向无环图,可以清晰地表达出从参数到返回值的计算过程。在上图中可以看出,python代码中两个函数test_f和func转换成了两个函数图,其参数x和y转换为函数图的ParameterNode,每一个表达式转换为一个CNode。CNode的第一个输入链接着调用的函数,例如图中的add、func、return。
2024-07-04 11:45:29
338
原创 昇思25天学习打卡营第7天|MindSpore模型训练(定义超参、损失函数和优化器)
从网络构建中加载代码,构建一个神经网络模型。nn.ReLU(),nn.ReLU(),超参(Hyperparameters)是可以调整的参数,可以控制模型训练优化的过程,不同的超参数值可能会影响模型训练和收敛速度。目前深度学习模型多采用批量随机梯度下降算法进行优化,随机梯度下降算法的原理如下:公式中, 𝑛是批量大小(batch size), η是学习率(learning rate)。另外, 𝑤𝑡为训练轮次 𝑡中的权重参数, ∇𝑙为损失函数的导数。
2024-07-03 19:11:25
728
原创 昇思25天学习打卡营第6天|MindSpore函数式自动微分模型预测值(logits)
自动微分是介于符号微分和数值微分之间的一种方法:数值微分一开始就代入数值近似求解;符号微分直接对表达式进行推导,最后才代入自变量的值得到最终解。自动微分将符号微分应用于最基本的运算(或称原子操作),如常数,幂函数,指数函数,对数函数,三角函数等基本函数,代入自变量的值得到其导数值,作为中间结果进行保留。然后再根据这些基本运算单元的求导结果计算出整个函数的导数值。
2024-07-02 19:12:42
807
原创 昇思25天学习打卡营第5天|MindSpore网络构建mindspore.nn提供了常见神经网络层的实现
当我们定义神经网络时,可以继承nn.Cell类,在__init__方法中进行子Cell的实例化和状态管理,在construct方法中实现Tensor操作。construct意为神经网络(计算图)构建,相关内容详见使用静态图加速。nn.ReLU(),nn.ReLU(),构建完成后,实例化Network对象,并查看其结构。Network
2024-07-01 21:06:46
2014
原创 昇思25天学习打卡营第4天|MindSpore数据变换 Transforms
可用于 PIL Image 或 Tensor Image。参数:size:类型是元组序列或整数,表示裁剪后的图像大小。padding:可选参数,类型是元组序列或整数,默认是不进行填充。注意,在 torchscript 模式下是不支持 single int 填充的,因此需要使用 长度为1 的序列 [padding,]。默认是0;如果是长度为3 的元组,那么分别用于填充R、G、B通道;注意,对于 Tensor Image 仅支持数字类型,对于 PIL Image 支持整数或字符串或元组类型。
2024-06-30 14:53:29
942
原创 昇思25天学习打卡营第3天|MindSpore实现数据集 Dataset
mindspore.dataset模块提供了一些常用的公开数据集和标准格式数据集的加载API。对于MindSpore暂不支持直接加载的数据集,可以构造自定义数据加载类或自定义数据集生成函数的方式来生成数据集,然后通过GeneratorDataset接口实现自定义方式的数据集加载。GeneratorDataset支持通过可随机访问数据集对象、可迭代数据集对象和生成器(generator)构造自定义数据集,下面分别对其进行介绍。可随机访问数据集。
2024-06-29 19:50:51
893
原创 昇思25天学习打卡营第2天|MindSpore实现一个简单的深度学习模型
张量是具有统一类型(称为 dtype)的多维数组。您可以在 tf.dtypes.DType 中查看所有支持的 dtypes。如果您熟悉 NumPy,就会知道张量与 np.arrays 有一定的相似性。就像 Python 数值和字符串一样,所有张量都是不可变的:永远无法更新张量的内容,只能创建新的张量。下面是一个“标量”(或称“0 秩”张量)。标量包含单个值,但没有“轴”。“向量”(或称“1 秩”张量)就像一个值列表。
2024-06-28 19:47:55
649
原创 昇思25天学习打卡营第1天|MindSpore实现一个简单的深度学习模型
人工智能(AI)框架已经有十余年的发展历史,四条主线驱动着AI框架不停地演进和发展:面向开发者:兼顾算法开发的效率和运行性能。面向硬件:充分发挥芯片和集群的性能。面向算法和数据:从计算规模看,需要应对模型越来越大的挑战;从计算范式看,需要处理不断涌现的新的计算负载。面向部署:需要将AI能力部署到每个设备、每个应用、每个行业。MindSpore是面向“端-边-云”全场景设计的AI框架,旨在弥合AI算法研究与生产部署之间的鸿沟。在算法研究阶段,为开发者提供动静统一的编程体验以提升算法的开发效率。
2024-06-26 20:47:30
793
原创 【腾讯云 TDSQL-C Serverless 产品体验】TDSQL-C MySQL Serverless“随心所欲”的弹性计费
数据库作为公司软件业务应用中最重要的基础软件之一,在整个IT生态体系中具有举足轻重的作用,随着业务数据量的增大和算力的限制,单台MySQL实例越来越满足不了需求,腾讯云 TDSQL-C Serverless是腾讯云自研的云原生关系型数据库 TDSQL-C MySQL版的无服务器架构版。按实际计算和存储资源使用量收取费用,不用不付费,非常适合中小型企业。腾讯云TDSQL-C联合优快云推出了一款强大的数据库产品测评活动火热进行中,让我们来体验一下这个国产强大的数据库。
2023-09-26 12:04:02
14289
74
原创 【腾讯云Cloud Studio 实战训练营】- Cloud Studio 云端开发的技巧
腾讯云 Cloud Studio 实战训练营”是由腾讯云联合 优快云 推出的系列开发者技术实践活动,通过技术分享直播、动手实验项目、原创作品征集、有奖征文活动等,让广大开发者沉浸式体验腾讯云开发者工具 Cloud Studio的同时,实现技术实战能力提升。这是一个云IDE进行开发工作,只需要一个浏览器就可以了,不需要本地安装任何插件、软件,这不刚好符合我的需求吗?有什么临时开发工作,只需要借她的电脑凑合一下即可。哪怕是回老家,也啥事情,也可到网吧临时解决一下,不用带着电脑满天飞。
2023-09-04 11:37:44
109
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人