- 博客(37)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 昇思25天学习打卡营第25天|LLM应用-基于MindNLP+MusicGen生成自己的个性化音乐
MusicGen 来自 Meta AI 的 Jade Copet 等人提出的基于单个语言模型（LM）的音乐生成模型，能够根据文本描述或音频提示生成高质量的音乐样本，相关研究成果参考论文。用户输入的文本描述作为输入传递给一个固定的文本编码器模型谷歌的t5-base及其权重，以获得一系列隐形状态表示。训练MusicGen 解码器语言模型架构来预测离散的隐形状态音频token。对这些音频token使用音频压缩模型（ 用及其权重）进行解码，以恢复音频波形。
2024-07-28 22:05:39
1098
原创 昇思25天学习打卡营第24天|生成式-Diffusion扩散模型
Diffusion 模型从纯噪声开始通过一个神经网络学习逐步去噪，最终得到一个实际图像。Diffusion 模型通过下面两个过程处理图像：一个选取的固定（或预定义）正向扩散过程 𝑞：它逐渐将高斯噪声添加到图像中，直到最终得到纯噪声。一个学习的反向去噪的扩散过程：通过训练神经网络从纯噪声开始逐渐对图像去噪，直到最终得到一个实际的图像。如下图，从左到右（0-->T 的时间步长）是反向扩散的生成过程，从右到左（T-->0 的时间步长）是噪声化的正向扩散过程。
2024-07-28 14:41:49
632
原创 昇思25天学习打卡营第22天|CV-Vision Transformer图像分类
Transformer 模型促进了NLP领域的发展。ViT（Vision Transformer）则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下，依然可以在图像分类任务上达到很好的效果。
2024-07-27 00:24:47
1072
原创 昇思25天学习打卡营第23天|CV-ResNet50迁移学习
如果配置 eval_indexes ，必须包含三个元素，分别为损失值、预测值和标签在 eval_network 输出中的位置，此时，损失值将传给损失评价函数，预测值和标签将传给其他评价函数。若预测字体为蓝色即为预测正确，若预测字体为红色则预测错误，如图，可以看到准确率还是非常高的。实际应用场景中，因为训练数据集不足，普遍的网络训练策略是，在一个非常大的基础数据集上训练得到一个预训练模型，然后用该模型来初始化网络的权重参数或作为固定特征提取器，从而应用于特定的任务中。(Cell) - 用于评估的神经网络。
2024-07-26 22:07:30
1196
原创 昇思25天学习打卡营第21天|CV-Shufflenet图像分类
ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型，和MobileNet, SqueezeNet等一样主要应用在移动端，所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。ShuffleNetV1的设计核心是引入了两种操作：和，这在保持精度的同时大大降低了模型的计算量。因此，ShuffleNetV1和MobileNet类似，都是通过设计更高效的网络结构来实现模型的压缩和加速。ShuffleNet在保持不低的准确率的前提下，将参数量几乎降低到了最小，因此其运算速度较快。
2024-07-25 22:07:41
1297
原创 昇思25天学习打卡营第20天|CV-ResNet50图像分类
传统的 CNN 是将一系列的卷积层和池化层堆叠，但当网络堆叠到一定深度时，就会出现退化问题，即 网络层数的加深并不能改善网络的训练/测试误差。ResNet网络提出了残差网络结构 (Residual Network) 来减轻退化问题，使用ResNet网络可以实现搭建较深的网络结构（突破1000层）。研究表明ResNet网络层数越深，其训练误差和测试误差越小 (见ResNet 论文。
2024-07-25 21:54:43
947
原创 昇思25天学习打卡营第19天|生成式-DCGAN生成漫画头像
输入是标准正态分布中提取出的隐向量𝑧，输出是3x64x64的RGB图像。输入是3x64x64的图像，输出是该图像为真图像的概率。由于数据是图像，这一过程也会创建与真实图像大小相同的 RGB 图像。目的：用动漫头像数据集来训练一个生成式对抗网络，使用该网络生成动漫头像图片。在这两个部分中，分别获取训练过程中的损失，并在每个周期结束时进行统计，将。随着训练次数的增多，图像质量也越来越好。达到50以上时，生成的动漫头像图片与数据集中的较为相似。与通过生成器传播的特征图的大小有关，是输出图像中的通道数。
2024-07-23 21:21:07
1444
原创 昇思25天学习打卡营第18天|生成式-GAN图像生成
本案例实现中所搭建的 GAN 模型结构与原论文中提出的 GAN 结构大致相同，但由于所用数据集 MNIST 为单通道小尺寸图片，可识别参数少，便于训练，本案例在判别器和生成器中采用全连接网络架构和。x 表示图像数据，D(x) 表示判别器判别图像为真实图像的概率，当x来自训练数据时，D(x)的数值接近1；当 x 来自生成器时，D(x)的数值接近0。如下图，蓝色虚线表示判别器D，黑色虚线表示真实数据分布，绿色实线表示生成器G生成的虚假数据分布，𝑧 表示隐码，𝑥 表示生成的虚假图像 𝐺(𝑧)。
2024-07-23 20:56:04
1199
原创 昇思25天学习打卡营第17天|LLM-基于MindSpore的GPT2文本摘要
> wte 嵌入层：dim[in, out]=[21128, 768] ，即使用了 21128 个词汇，每个词汇映射到一个768 维的向量。层，自注意力机制，用于计算输入序列中不同位置的注意力权重。，多层感知机，用于对自注意力层的输出进行进一步的非线性变换。此次活动的 notebook 只可以连续运行8小时，此次目的也不是性能优化，故此，我将训练数据减少到了1/10，此时的部分输出如下。>> layers h 隐网络结构层：Transformer模型的主体，包含 12 个 GPT2Block。
2024-07-21 23:11:29
748
原创 昇思25天学习打卡营第16天|LLM-MindNLP ChatGLM-6B StreamChat
但是可以看到model的打印结果，看到chatglm2 和 chatglm3 的模型结构相比1版本，词表扩充了2w+。：dim[in, out]=[130528, 4096] ，即使用了 130528 个词汇，每个词汇映射到一个4096维的向量。，多层感知机，用于对自注意力层的输出进行进一步的非线性变换。如下图，chatglm2-6b model 的打印结果。加载智谱清言的chatglm模型权重文件（目前有4个版本），本次主要尝试了chatglm-6b。，是transformer 结构，是模型的核心部分。
2024-07-21 21:24:58
1228
原创 昇思25天学习打卡营第14天|LLM-文本解码原理--以MindNLP为例
限制输出序列的最大长度为50个token。top-p=0.95，top-p采样表示在每一步生成token时，只从概率分布中累计概率达到95%的token中进行采样，有助于保持生成文本的流畅性和质量，同时允许一些低概率的token被选中，从而增加多样性。表示禁用了top-k采样，因为在top-k采样中，通常是从概率最高的k个token中随机选择一个token作为下一个输出，而这里设置为0表示不限制token的选择，实际上这将等同于使用 softmax 概率分布直接进行采样。这有助于提高生成文本的多样性。
2024-07-17 21:40:42
1136
原创 昇思25天学习打卡营第13天|LLM-基于MindSpore实现的GPT对话情绪识别
1、数据集准备：IMDB数据集，从 https://mindspore-website.obs.myhuaweicloud.com/notebook/datasets/aclImdb_v1.tar.gz 下载数据集并按照7:3切分为训练和验证集。5、开始训练：创建训练器 （mindnlp._legacy.engine.Trainer）并训练，该训练器可以接收模型、训练数据集、评估数据集、评估指标、训练轮数、优化器、回调函数列表以及是否启用JIT编译的选项。评估器使用了之前定义的预训练模型和评估指标。
2024-07-17 01:06:27
1018
原创 昇思25天学习打卡营第12天|LLM-基于MindSpore实现的BERT对话情绪识别
predict("家人们咱就是说一整个无语住了 绝绝子叠buff")predict("起开 我要开始发功了")
2024-07-17 01:03:41
1450
原创 昇思25天学习打卡营第11天|NLP-LSTM-CRF序列标注
首先根据公式(3)，计算正确标签序列所对应的得分，需要注意，除了转移概率矩阵 P 外，还需要维护两个大小为 |𝑇| 的向量，分别作为序列开始和结束时的转移概率。从第0个至第i 个Token对应概率最大的序列，只需要考虑从第0个至第(i-1) 个Token对应概率最大的序列，以及从第i 个至第 (i-1) 个概率最大的标签即可。因此我们逆序求解每一个概率最大的标签，构成最佳的预测序列。考虑到输入序列可能存在 Padding 的情况，CRF的输入需要考虑输入序列的真实长度，因此除发射矩阵和标签外，加入。
2024-07-16 21:24:09
1136
原创 昇思25天学习打卡营第9天|MindSpore静态图加速
在Graph模式下，python编译器不执行python代码，而将Python代码代码编译成静态计算图，然后执行静态计算图。在静态图模式下，MindSpore通过源码转换的方式，将Python的源码转换成中间表达IR（Intermediate Representation），并在此基础上对IR图进行优化，最终在硬件设备上执行优化后的图。MindSpore提供了两种切换为图模式的方式，分别是基于装饰器的开启方式以及基于全局context的开启方式。，通过图优化等技术提高运行速度。在图模式下，可以通过使用。
2024-07-13 11:55:11
910
原创 昇思25天学习打卡营第7天|模型训练
SGD优化器训练结果如下：同参数设置下，Adam优化器训练结果如下：同参数设置下，RMSProp 优化器训练结果如下： 同参数设置下，AdamWeightDecay 优化器训练结果如下：一般分为四个步骤 ：超参（Hyperparameters）是可以调整的参数，可以控制模型训练优化的过程，不同的超参数值可能会影响模型训练和收敛速度。目前深度学习模型多采用批量随机梯度下降算法进行优化，随机梯度下降算法的原理如下： 其中，公式中，𝑛 是批量大小（batch size），η 是学习率（learning rate
2024-07-10 20:55:04
726
原创 昇思25天学习打卡营第6天|函数式自动微分
通常将函数的loss设置为函数的第一个输出，其他的输出即为辅助数据。如下代码中，mindspore.grad 的求导索引为 (2, 3)，表示 function1 函数的参数 w 和 b。损失函数（代价函数）是用来衡量模型预测值与真实值之间差异的函数，不同的损失函数适用于不同类型的问题。，通过调用 mindspore.grad 函数，生成求导函数，用于计算给定函数的梯度或微分函数。> 使用 grad 获得微分函数是一种函数变换，即输入为函数，输出也为函数。为了优化模型参数，需要求参数对loss的导数，即。
2024-07-09 21:21:23
1497
原创 昇思25天学习打卡营第5天|MindSpore网络模型构建
MindSpore中，Cell类是构建所有网络的基类。如下代码，__init__方法中进行子Cell的实例化和状态管理，在construct方法中实现Tensor操作。方法不可直接调用。如下网络结构：先将Tensor数据展平到28*28维，再构建 [512，28*28] 的全连接层权重矩阵，经过激活函数后，再构建 [512，512] 的全连接层权重矩阵，再次经过激活函数后，再构建 [512，10] 的全连接层权重矩阵后，输出，nn.ReLU(),nn.ReLU(),
2024-07-08 22:48:20
898
原创 昇思25天学习打卡营第4天|MindSpore数据集和数据变换
下面自定义的可随机访问数据集是实现了 `__getitem__` 和 `__len__` 方法的数据集，表示可以通过索引/键直接访问对应位置的数据样本。
2024-07-07 18:04:44
792
原创 昇思25天学习打卡营第3天|MindSpore张量
说明：本次打卡因远程notebook无法打卡，本地运行，本地安装都是python3.10以上的环境，安装mindspore时发现没有适配的版本，新建python3.9环境后可正常安装，算是一个版本的问题记录吧。shape 支持传入 list、tuple、 int。1）支持的数据类型有Tensor、float、int、bool、tuple、list、numpy.adarray。算数运算、线性代数、矩阵处理（转置、标引、切片）、采样等。此种表示方式更直接，但是目前仅仅支持二维矩阵，类定义头如下。
2024-07-07 16:43:02
1355
原创 昇思25天学习打卡营第2天|MindSpore快速入门
涉及到 mindspore.nn 类。例如用户可继承nn.Cell类来自定义网络结构，其中的construct类函数包含数据（Tensor）的变换过程。。包括损失函数、优化器等。如 nn.CrossEntropyLoss() 、nn.SGD(model.trainable_params(), 1e-2)
2024-07-06 20:12:47
1213
原创 昇思25天学习打卡营第1天|初识MindSpore
昇思MindSpore 代码：https://gitee.com/mindspore/mindspore 、 https://github.com/mindspore-ai/mindspore。支持python编程范式、三层封装级别的友好API、通过变量设置实现动态图和静态图统一的编码方式、支持科学计算常用的微分函数等数学原生编程表达，以满足不同类型的开发者。- 昇思MindSpore 官网：包括安装、教程、文档、社区、资源下载和资讯栏目等（https://www.mindspore.cn/）。
2024-07-06 16:46:31
539
原创 实验：CentOS 7下的4个DNS网络服务搭建过程 【基本搭建过程、主从、主缓、分离解析】
不经提示，所有机器均在VMware上使用CentOS 7完成。一，基本实验：DNS服务搭建环境准备：DNS server（192.168.137.133）： /etc/named.conf 主配置文件 /etc/named.rfc1912.zones 区域配置文件 /var/named/*.localhost 数据文件 /var/named/*.loopback 数据文件Web server：httpd（192.168.137.134）：...
2020-08-05 15:26:47
935
原创 CentOS 7环境下安装MariaDB的三种方式：官方yum源安装、二进制包安装、源码安装。【附多实例安装】
目录一，官方yum源格式安装过程二、通用二进制格式安装mariaDB过程（含逻辑卷创建过程）三、源码编译安装mariaDB过程四、多实例安装mariaDB，以yum源安装为例参考我的环境：VM中的三台CentOS 7虚拟机。实验内容：centos7（192.168.137.133）进行yum源配置安装和多实例安装实验；centos7（192.168.137.131）上二进制包安装；centos7（192.168.137.134）上源码安装。准备文件：mariadb.c.
2020-08-04 00:04:21
7247
原创 Python 爬虫实战 4
目录Requests 模块安装 Requests 模块项目：用 requests 实现云栖社区博文爬虫实战分析过程编写代码爬取结果Scrapy 模块安装 Scrapy配置 pywin32Scrapy 指令实战（1）创建爬虫项目(2) 进入新建爬虫项目，用爬虫模板创建一个爬虫项目：scrapy genspider -t basic fst shuqi.com（3）运行爬虫文件：scrapy crawl fstScrapy 爬虫项目编写基础项目：爬取.
2020-05-21 21:36:09
1403
原创 Python 爬虫实战 3
目录抓包方法FiddlerFiddler 工作原理安装方法配置 Fiddler项目：使用抓包分析获取腾讯视频评论数据开始抓包分析抓包过程分析按照上面流程，每次触发一个页面，观察复制的 url 的规律代码部分第三讲：抓包分析技术精讲（课程笔记）抓包方法方法1：进入网页，F12 --->Network，访问某个网页，出现很多数据包，我们要获取和分析的就是这些数据包【如下图】。但是这样抓包的缺点：杂内容多，跳转快速，不太好做分析，因此...
2020-05-18 22:50:40
416
1
原创 Python 爬虫实战 2
目录实战前的预备内容实战内容：糗事百科段子内容爬取。爬虫前分析课程链接：https://edu.aliyun.com/course/1994?spm=5176.8764728.aliyun-edu-course-tab.1.5cb142c4uAZeNz&previewAs=member&redirectStatus=0实战前的预备内容1. 爬到 内存 中： 打开--读取---解码【忽略解码容易出错的细节问题】data = urllib.request..
2020-05-16 17:00:58
405
原创 Python 爬虫实战 1
正则表达式 + XPath 表达式序正则表达式概念基础1基础2基础3基础4Python 代码测试XPath表达式概念Python 代码测试后注源：参加阿里云的Python 爬虫实战课。序本文是课程 “Python网络爬虫快速入门到精通“ 的听课笔记 + 自己跟随的操作实战。正则表达式概念基础1全局匹配函数使用格式re.compile(正则表达式).findall(源字符串)普通字符 正常匹配 \n 匹配换行符 \t
2020-05-16 16:26:48
367
原创 华为云 ModelArts 操作总结（华为云开发者青年班--AI实战营，黑客松大赛）
序参加了华为云AI青年班，学习了如何操作华为云 ModelArts 控制台实现自己的模型管理、OBS数据存储系统管理（可下载 OBS Browser+，方便上传下载数据，但不用的时候还是要及时关掉，个人感觉比较占用CPU处理）、模型调优等。以下通过一些典型内容总结了华为云 ModelArts 控制台 的主要功能。OBS 数据存储、模型调优等如果认为有必要会再写出来，其实，OBS桶就是一个有收费的存储站，用它可以很方便和 ModelArts 里面的数据文件‘通信’---比如，训练模型的输出...
2020-05-13 19:40:48
7523
1
原创 Visual Studio 2015 + Qt 5.14.2 的安装、配置和测试（win10）
目录准备工作Qt 5.14.2Win10-SDKQt-vsaddin-msvc2015-2.4.3Qt 安装过程Qt Creator 配置win10 的调试器(debugger) 安装与配置: windbgQt Creator 配置调试器：windbgQt Creator 测试使用Qt 在 VS2015 中的配置与测试使用Qt 在 VS2015 配置VS2015 中安装Qt 插件VS2015 中配置 Qt 5.14.2Qt 在 VS2015 的测试使用
2020-05-12 19:34:19
17271
11
原创 Import Error：Jupyter Notebook 中无法运行虚拟环境（pytorch、tensorflow）
解决步骤：终端Anaconda Prompt，管理员权限运行。 conda install nb_conda conda install ipykernel conda activate torch 启动：jupyter notebook D:\....\JupyterNotebook_learn 还是失败，原因：torch环境下没有安装jupyter notebook。解决方法：打...
2020-05-04 12:54:13
2307
3
原创 优化算法选择：SGD、SGDM、NAG、Adam、AdaGrad、RMSProp、Nadam
目录优化算法通用框架SGD 系列：固定学习率的优化算法SGDSGD (with Momentum) = SGD-MSGD（with Nesterov Acceleration）= NAG自适应学习率的优化算法AdaGradAdaDelta / RMSPropAdam / NadamAdamNadamAdam 两宗罪1. 可能不收敛2.可能...
2020-04-30 20:34:44
6200
1
原创 Anaconda3 + Tensorflow-2.1.0 + Tensorflow-1.14.0 的安装配置（win10)
目录下载 AnacondaAnaconda 安装 + 环境配置配置 Anaconda 环境变量检验：安装成功新增Anaconda 中国镜像配置环境最新的 tensorflow-2.1.0创建新环境 tensorflow2新环境下安装tensorflow-2.1.0退出环境测试：tensorflow-2.1.0安装成功安装 tensorflow...
2020-04-30 14:49:04
2608
2
原创 PyTorch 1.0.0安装（Linux)
目录起：查看服务器的CUDA版本 和 显存信息PyTorch 1.0.0 安装创建一个pytorch环境：torch1进入torch1环境，安装 pytorch 1.0.0进入PyCharm 配置 PyTorch 1.0.0安装 matplotlib检查：所有环境已经配置好其他问题：ImportError: cannot import name ‘PILLOW_...
2020-04-30 13:28:00
3423
Urllib爬虫实战.zip
2020-05-16
正则表达式基础.zip
2020-05-16
自动学习创建：垃圾分类.zip
2020-05-14
自动学习创建：零代码美食分类模型开发.zip
2020-05-14
训练作业创建：垃圾分类训练作业实验.zip
2020-05-14
数据集创建：使用ResNet50预置算法基于海量数据训练美食分类模型.zip
2020-05-14
Notebook：Yolo3物体检测.zip
2020-05-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人