- 博客(28)
- 收藏
- 关注
RSS订阅原创 并行训练技术概述
首先想要说明的是，并行训练和分布式训练的概念其实都能讲，但前者可能更侧重于技术实施，而后者更倾向于设备，网络等资源层面的分布式，在本专栏，我们都一视同仁。从个人观点来说，如果偏软件点，说并行最好了。并行训练是指将机器学习或者深度学习模型的训练任务给分解成多个子任务，然后在多个计算设备上去并行地进行训练。实施并行训练的总体目标是提升总的训练速度，减少模型训练的总体时间。
2024-08-08 18:00:27
2229
18
原创 探秘扩散模型：训练算法与采样算法的双重解读
前面终于解释完了正向过程和反向过程，我们接下来理解训练神经网络的算法和采样图片（生成图片）的算法。
2024-06-13 15:59:41
1579
23
原创 探秘扩散模型：正向过程是什么意思？
在正向过程，输入数据通过逐步添加高斯噪声被破坏，经过T次加噪操作后会变成一个符合标准正态分布的纯噪声图像。注意，这两个公式均值前后一致，但等式的加号后面就变成标准差了。是乘法计算，那么它的趋势是越来越快，所以你要注意的是，加噪过程是由慢变快的，而不是匀速。,但发了一篇文章就没有继续这一系列，在这个AIGC的时代，于是我准备重启这个专栏。，这里呼应前面提到的第一个疑惑，这个公式的值的形式是化简而来的。就是一个单纯的标准正态分布了。通过这个公式，我们就可以知道加噪过程是什么了，不断变小，直到0，那么最后的。
2024-05-09 20:26:03
1008
10
原创 Github Benefits 学生认证/学生包 新版申请指南
本教程适用于2024年之后的Github学生认证申请，因为现在的认证流程改变了很多，所以重新进行了总结这方面的指南。
2024-04-10 15:12:30
20652
137
原创 解决：PytorchStreamWriter failed writing file data
解决：PytorchStreamWriter failed writing file data
2024-03-28 20:17:53
21435
75
原创 英特尔生态的深度学习科研环境配置-A770为例
之前发过在Intel A770 GPU安装oneAPI的教程，但那个方法是用于WSL上。总所周知，在WSL使用显卡会有性能损失的。而当初买这台机器的时候我不在场，所以我这几天刚好有空把机器给重装成Ubuntu了。本篇不限于安装oneAPI，因为在英特尔的生态之下，oneAPI只是一个基座。本篇集大成者，为使用英特尔生态的人提供便利。
2024-03-19 16:54:11
29123
110
原创 解决:MPICH：MPII_Init_thread(222): gpu_init failed
MPICH：MPII_Init_thread(222): gpu_init failed
2024-01-13 14:33:42
42827
51
原创 年终盘点文生图的狂飙之路，2023年文生图卷到什么程度了？
2023的文生图很卷，我在上面尽可能地列举了很多架构，如果不是创新就没有出现在上面。当然大家如果还看见其它文生图方面的创新在本文并没有列出，可以在底下回复，我将会进行相应的补充。这仅仅是算法层面，在应用层面，以主流的扩散模型为例，如果你去搜索相关扩散模型论文，你会发现围绕扩散模型的应用真的很多很多。😂目前，文生图还是有许多技术难点等待攻破，实际上终究难逃3个要素：算法，算力，数据集。
2023-12-25 14:26:29
15888
144
原创 还没了解MIGraphX推理框架？试试这篇让你快速入门
MIGraphX是一款用于DCU上的深度学习推理引擎，它的目的是为了简化和优化端到端的模型部署流程，包括模型优化、代码生成和推理。MIGraphX能够处理多种来源的模型，如TensorFlow和Pytorch，并提供用户友好的编程界面和工具，使得用户可以集中精力在业务推理开发上，而不需要深入了解底层硬件细节。
2023-11-12 19:50:28
1814
28
原创 解决VsCode无法访问‘\\wsl.localhost’的有效方法
由于意外错误，无法打开编辑器: 无法读取文件'\\wsl.localhost\Ubuntu\home\dyedd\main.cpp' (Unknown (FileSystemError): UNC host 'wsl.localhost' access is not allowed. Please update the 'security.allowedUNCHosts' setting if you want to allow this host.)
2023-10-24 19:42:00
21905
32
原创 深入浅出：如何在超算平台上高效使用深度学习环境
除了上面可能已经预置好的conda环境，我们也可以通过超算预置的或者自己在home目录安装minconda来自定义环境。最近，我发现如果你选择源码编译python包，最好自己安装一个minconda，使用集群的环境会有一些编译权限问题，导致安装失败！创建环境，建议python3.10,许多包也只有3.10版本在查询自己要安装的whl包，在选择DTK版本的时候，越新越好，这与英伟达约旧约好不一样。每次进入命令行，都要这样执行，如果觉得麻烦，可以把上面的命令统一写到文件里面，例如一个文件名为。
2023-08-22 16:24:53
2549
17
原创 零基础入门超算Slurm作业调度软件
Slurm（Simple Linux Utility for Resource Management）是一个软件，经常被用于超算平台的作业调度，作业就是我们的运行任务。我们首先进入的是登录节点，登录节点不要运行大规模作业如果我们要运行作业。我们要申请资源到计算节点，等待资源申请成功之后才能把任务提交到计算节点上运行。
2023-08-22 16:23:11
3242
11
原创 梯度下降的魔力：二维坐标系中的奇妙旅程
首先，你需要理解一个概念，那么就是斜率是没有方向的，是一个标量，而梯度它的确是一个向量，有方向，我们所画的切线，会有人告诉你从上往下画和从下往上画是不一样的吗？这就是梯度下降的公式，为什么这么减，很多很多的教程都告诉我们，因为梯度是变化率最大的方向，朝这个方向走，那么就能更快的到达最小值，这里我们就不过多讨论为什么了。对于二维坐标来说，切线的交点只有一个，梯度的大小是斜率，但方向不是切线的方向了，我们移动的方向只有x轴正，x轴负，因此移动的方向就是水平的。因此，在二维下，怎么理解梯度下降？
2023-01-18 16:59:09
432
12
原创 如何使用frp配置实验室服务器来内卷?
frp 是一个专注于内网穿透的高性能的反向代理应用，支持 TCP、UDP、HTTP、HTTPS 等多种协议。可以将内网服务以安全、便捷的方式通过具有公网 IP 节点的中转暴露到公网。我们就将轻量服务器作为中转站，建立两者之前的桥梁。
2022-11-19 20:22:27
875
14
原创 Linux下的metis与mt-metis的安装和使用
本文介绍metis和mt-metis的安装，其中mt-metis就是metis的多线程版本，能够进行并行计算。
2022-10-30 21:34:40
2261
18
原创 在VMware-Ubuntu18中轻松安装oneAPI和oneDNN
本文教大家如何安装oneAPI，推荐大家使用linux系统，因此windows/mac也可以使用VM虚拟机搭建linux环境。
2022-10-18 15:11:52
3386
19
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人