- 博客(7)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 PyTorch Softmax函数的实现
Softmax是一种激活函数，它可以将一个数值向量归一化为一个概率分布向量，且各个维度上的概率值相加之后的和为1。在深度学习领域，Softmax函数可以用来作为神经网络的最后一层，用于多分类问题的输出。另外，Softmax层常常和交叉熵损失函数一起结合使用。
2024-11-02 22:23:16
374
原创 Pytorch Embedding的本质理解：查找表
在Pytorch中torch.nn.Embedding层的作用很简单，它的本质就是一张查找表。备注：本文参考自《PyTorch面试精华》，这是国内最好的AI电子书。
2024-10-22 08:53:59
279
转载 Positional Encoding位置编码的作用
由于Transformer模型没有RNN（循环神经网络）或CNN（卷积神经网络）结构，句子中的词语都是同时进入网络进行处理，所以没有明确的关于单词在源句子中位置的相对或绝对的信息。传统RNN模型天然有序，在处理句子时，以序列的模式逐个处理句子中的词语，这使得词语的顺序信息在处理过程中被天然的保存下来，并不需要额外的处理。总之，一句话概括，Positional Encoding就是将位置信息添加（嵌入）到Embedding词向量中，让Transformer保留词向量的位置信息，可以提高模型对序列的理解能力。
2024-10-19 07:08:59
72
转载 深度开发者们对显卡驱动的困惑
自从PC诞生以来，驱动程序就一直如影随形，与硬件产业一同发展。显卡驱动是连接操作系统与显卡硬件的桥梁，显卡驱动程序使操作系统能够识别和使用显卡的基本显示功能。即使没有安装专门的驱动程序，大多数操作系统也能通过通用驱动支持显卡的基本显示功能，但这通常无法充分发挥显卡的全部性能。因为显卡驱动程序包含了一系列优化算法，可以提升显卡处理图形和视频的能力。对于深度开发者，我们要对英伟达的显卡驱动有更清楚的认识，否则会陷入困境。英伟达的显卡驱动有两种存在情况：（1）操作系统自带的，独立安装的。
2024-10-16 22:28:57
128
原创 cuDNN的介绍
CUDA Toolkit是一个更底层的工具包，其中的库是针对的是更基础的操作，比如线性代数中各种矩阵和向量的运算，还有用于文件I/O，支持在GPU上进行高性能文件操作等。而cuDNN是专门为深度学习的各种运算所设计的库，它需要使用CUDA Toolkit中的一些库。cuDNN的最常见用途是在深度学习框架（如TensorFlow或PyTorch）的开发中。而对于我们使用PyTorch做AI应用的终端用户来说，更没有机会使用cuDNN的。cuDNN包含了为神经网络中常见的计算任务提供高度优化的实现。
2024-10-13 22:47:49
494
3原创 AI面试教程：《PyTorch面试精华》
其实，这是优化器（例如，Adam 优化器）的基本用法，并不难的。由此可见，很多人学习PyTorch学的太浅了，只是浮于表面，并没有学好PyTorch。针对这个情况，我编写了一本小册子《PyTorch核心与精华(面试版)》，目的是想从面试题的角度带领大家一览PyTorch风采，让众多的AI学生快速地打牢深度学习的基础。当然，PyTorch的知识有很多，但是针对实习生则不需要全部掌握，我觉得掌握这60个就可以了。现在很多AI专业的学生学的太浅，基础很差，难以达到企业用人的标准。（4）梯度装饰器的使用。
2024-07-19 08:43:25
1045
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人