- 博客(18)
- 收藏
- 关注
RSS订阅原创 seq2seq翻译实战-Pytorch复现
Transformer模型通过创新的自注意力机制和位置编码，在seq2seq翻译任务中展现出卓越性能。它由编码器和解码器两部分组成，编码器将源语言文本转换为上下文表示，解码器则基于这些表示和已生成的目标语言文本部分来预测下一个词。自注意力机制允许模型在处理每个词时考虑整个序列的上下文，有效捕捉长距离依赖。尽管模型计算复杂且对计算资源要求较高，但其并行处理能力和在多个NLP任务上的优越表现，使其成为当前自然语言处理领域的重要基石。
2024-09-26 14:22:22
1040
1
原创 seq2seq翻译实战-Pytorch复现
构建基于PyTorch的seq2seq翻译系统是一个综合性的过程，它首先涉及数据的收集与预处理，包括将源语言和目标语言的文本对转换为适合模型训练的格式，并构建相应的词汇表。随后，定义包含编码器（负责将源语言序列编码为上下文信息）和解码器（利用编码信息生成目标语言序列）的seq2seq模型架构。在训练阶段，通过迭代训练数据，优化模型参数以最小化翻译损失，如交叉熵损失，同时采用正则化技术和梯度裁剪来防止过拟合和梯度爆炸。
2024-09-20 10:38:19
826
原创 使用Word2vec实现文本分类
Word2vec是一种自然语言处理技术，用于将单词转换为向量形式，帮助衡量单词间的相似度。尽管它本身不直接用于文本分类，但生成的词向量是构建复杂文本分类模型（如基于神经网络的模型）的重要输入。通过训练Word2vec模型，我们可以将文本中的单词转换为向量，然后利用这些向量作为深度学习模型（如CNN、RNN或Transformer）的输入，来训练文本分类器。这个过程包括数据准备、Word2vec模型训练、文本分类模型设计、训练与评估，最终将模型部署到实际应用中，实现自动文本分类。
2024-09-13 10:00:55
1820
原创 【nlp入门实战】调用Gensim库训练Word2Vec模型
word2vec是词嵌入（ word embedding) 的一种, 是将人类文字符号转化为数值形式，或者说——嵌入到一个数学空间里，这种嵌入方式，就叫词嵌入（word embedding)，而 Word2vec，就是词嵌入（ word embedding) 的一种。Word2Vec是一种用于学习词嵌入（word embeddings）的技术，其原理基于分布式假设：在大规模文本语料库中，上下文相似的词往往具有相似的语义。
2024-08-22 16:37:07
1002
原创 【nlp入门实战】词嵌入embedding实现
], [‘但是’, ‘，’, ‘这种’, ‘编码方式’, ‘存在’, ‘一个’, ‘问题’, ‘，’, ‘就是’, ‘模型’, ‘可能’, ‘会’, ‘错误’, ‘地’, ‘认为’, ‘不同’, ‘类别’, ‘之间’, ‘存在’, ‘一些’, ‘顺序’, ‘或’, ‘距离’, ‘关系’, ‘，’, ‘而’, ‘实际上’, ‘这些’, ‘关系’, ‘可能’, ‘是’, ‘不’, ‘存在’, ‘的’, ‘或者’, ‘不’, ‘具有’, ‘实际意义’, ‘的’, ‘。《神经网络与深度学习》邱锡鹏。
2024-07-24 09:32:30
1015
原创 【nlp入门实战】one-hot热独编码实现
独热编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。例如：对于性别，只有男和女，使用one-hot来进行表示，有2个不同的选择，长度为2位，表示为：男：10女：01。
2024-07-11 13:51:15
343
原创 【深度学习实战】Pytorch实现车牌识别
自定义加载数据集步骤概述在深度学习中，自定义加载数据集是一个常见的任务，因为很多实际项目中的数据集并不是标准的格式，或者你可能需要对数据进行一些预处理。理解数据集确定数据集的结构（例如，CSV文件、图片文件夹、数据库等）。了解每个数据点的格式和包含的信息。确定是否有标签（监督学习）或仅有特征（非监督学习）。2.定义数据类在Python中，通常使用torch.utils.data.Dataset（PyTorch中）或类似的类（TensorFlow等）来定义你的数据集。
2024-07-05 21:15:00
1709
原创 【深度学习实战】YOLOv5-Backbone模块实现
Focus模块主要作用为切片，意思就是把原图切分为小一点的图片，减小图片尺寸，增加通道数。以yolov5s为例，原始的640 × 640 × 3的图像输入Focus结构，采用切片操作，先变成320 × 320 × 12的特征图，再经过一次卷积操作，最终变成320 × 320 × 32的特征图。
2024-06-27 13:25:17
761
原创 【深度学习实战】p8 YOLOv5-C3模块实现
参数数量（params）：关系到模型大小，单位通常是M，通常参数用float32表示，所以模型大小是参数数量的4倍。计算量（FLOPs）：即浮点运算数，可以用来衡量算法/模型的复杂度，这关系到算法速度，大模型的单位通常为G，小模型单位通常为M；通常只考虑乘加操作的数量，而且只考虑Conv和FC等参数层的计算量，忽略BN和PReLU等，一般情况下，Conv和FC层也会忽略仅纯加操作的计算量，如bias偏置加和shoutcut残差加等，目前技术有BN和CNN可以不加bias。
2024-06-21 19:03:09
653
原创 【深度学习实战】p6VGG-16实现人脸识别
VGG16（Visual Geometry Group 16）是一种深度卷积神经网络模型，由牛津大学的研究团队Visual Geometry Group开发。它是2014年的ImageNet图像识别挑战中的参赛模型之一，并在该挑战中取得了非常出色的结果。VGG16模型的设计思想是通过堆叠多个较小的卷积层和池化层来构建深层网络，以增强模型的表达能力。具体来说，VGG16模型由16个卷积层和3个全连接层组成。其中，卷积层主要用于提取输入图像的特征，而全连接层则用于将提取到的特征映射到类别概率上。
2024-05-24 20:29:13
1240
原创 【深度学习实战】p4 猴痘病识别
具体而言，对于每个通道，BatchNorm2d计算该通道上所有样本的均值和方差，并使用这些统计量来对该通道上的特征进行规范化。这样可以保持不同样本之间的特征分布的一致性。是一种常用的技术，旨在解决深度神经网络训练中的梯度消失和梯度爆炸问题，并提高网络的收敛速度和稳定性。一直在思考这个问题，我们只设置了卷积核的size和channel，但是卷积核里面的具体值是多少是我们没有设置过的。我们都知道有不同的卷积核可以用来识别不同的特征，但是在cnn的过程中，这个卷积核的变化是我们看不到的。
2024-05-10 19:05:53
957
原创 【深度学习实战】p2 CIFAR10彩色图片识别
激活函数通常用来把卷积后提取到的特征进行激活，通常使用的激活函数有阶跃函数、Sigmoid、ReLU等等，函数类似于过滤器，在ReLU函数中，会将图像中小于0的置零，大于0的保留原值。learn_rate = 1e-1 变化学习率 epoches=50 batch_size=32。learn_rate = 1e-1 变化学习率 epoches=50 batch_size=64。learn_rate = 1e-1 变化学习率 epochs=30。learn_rate = 1 变化学习率 epochs=30。
2024-04-12 21:01:54
1930
1
原创 【深度学习实战】p1实现mnist手写数字识别
卷积神经网络仿造生物的视知觉（visual perception）机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化（grid-like topology）特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程（feature engineering）要求。通俗的讲，CNN是模拟人类对于物体识别的过程。在CNN中，卷积层用来进行特征的提取，激活函数来进行特征的激活，池化层来对结果进行降维、提取主要特征，减少计算量。
2024-04-01 20:32:17
367
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人