- 博客(13)
- 收藏
- 关注
RSS订阅原创 扩散生成模型演化进程
第一阶段：基础奠基 - VAE & VQ-VAEVAE：使用连续的高斯分布作为隐变量，奠定了生成模型的基础架构。VQ-VAE：引入了Encoder-Prior-Decoder的思想，关键一步是离散化，用Codebook（码本）替代高斯分布，将图像表示为离散编码序列，这更能捕捉图像的抽象语义。第二阶段：视觉概念的离散化与扩展 - VQ-VAE 2 & DALL-EVQ-VAE 2：引入多尺度级联结构，顶层捕捉全局结构，底层丰富细节，提升了生成图像的合理性和精细度。DALL-E。
2025-11-01 22:19:23
974
原创 latent diffusion
DDIM迭代就是一个“去噪绘图”的过程：从一团乱麻的像素开始，通过一步步的迭代修复，逐渐还原出清晰的图像。就像画家从涂鸦中修复出杰作一样，DDIM用算法自动完成这个过程。相当于：每次循环都调用一个“去噪函数”，更新图像，直到满意为止。如果没有，只需记住：迭代就是一步步地改进，直到完美！η：控制随机性，值越大越多样无条件指导 s：控制图像质量和鲜明度，值越大越清晰、越有创意。
2025-10-28 14:50:30
1135
原创 学习记录11：文字生成任务（序列-＞序列）
------即在注意力权重矩阵中，将对应“未来”位置的值设置为负无穷（或一个非常小的数），这样在 softmax 操作后，这些位置的权重会趋近于零。这样，即使一开始选的路不是最快的，也有机会在后面的探索中调整方向，找到真正的最佳路径。通俗的来讲，Seq2Seq模型就是根据输入句子的意思和之前已经生成的词，动态地决定下一个词是什么，直到生成完整的输出句子。生成任务的损失（loss）主要来自于模型生成的完整序列与真实目标序列之间的整体差异和在序列生成的每个时间步，模型预测的标记与真实标记之间的差异。
2025-03-21 22:01:23
788
原创 学习记录10：Bert实战--下游的文字分类
这个训练函数与前几个项目不同的是，加了scheduler.step()函数，用于调整学习率，因为在训练过程中，固定的学习率可能不是最优的。①分词器将句子分割为子词或单词，["I", "love", "natural", "language", "processing", "."]注意：我这里训练的样本中标签为1的恰好占比57%，所一在全猜1的情况下，准确率是57%，实际上我的参数训练的模型很差。我这次的任务是根据酒店评价的文字来进行分类，训练集如下所示，每行开头的数字代表好评还是差评，1为好评，0为好评。
2025-03-21 16:55:12
1044
原创 学习记录9：自然语言处理与bert
①首先，有相同的线性变换矩阵Wq、Wk、Wv 被应用于所有汉字，不同汉字的嵌入向量 xi 本身不同，导致经过计算对应的 qi，ki和vi 也不同，这些对应的 qi，ki和vi 也就构成了Q，K，V。汉字处于每个位置上面的含义是不同的，例如“我爱你”和“你爱我”，虽然包含的汉字一样，但表达的意思并不同，而模型无法识别汉字的位置信息，故为了使得模型识别位置信息，所有还需要字的编码与位置信息相加，得到模型的而输入。①一般的输出为[CLS]，即序列级别输出，包含了整个序列的语义信息。
2025-03-20 21:53:48
883
原创 学习记录8：无监督学习
VIT模型：ViT模型将图像分割成一系列固定大小的图像块（patches），并将这些图像块视为类似于句子中的单词的token。2.自监督学习：自监督学习的核心思想利用数据自身的结构、规律或特性，构建监督任务，使模型在没有人工标注的情况下，学习到对下游任务有用的特征表示。生成器中可以将判别器的准确率当作他的损失 ，判别器的梯度来源于其对真实数据和生成数据的分类损失。对比学习：将相似的数据（正样本）在特征空间中拉近，将不相似的数据（负样本）在特征空间中推远。梯度下降与损失下降：梯度下降是过程，损失下降是结果。
2025-03-20 16:19:55
1054
原创 学习记录7：食物分类问题
数据增广 ：是一种有效的技术，用于提升机器学习模型的性能，特别是在数据量有限或模型容易过拟合的情况下。使用有标签数据训练一个初始模型，用该模型对无标签数据进行预测，选择置信度高的预测结果作为伪标签，将伪标签数据加入有标签数据集，重新训练模型。AdamW：带有权重衰减的 Adam，通过解耦权重衰减与梯度衰减，提高了模型的稳定性和正则化效果，是训练大型模型和复杂任务时的优选优化器。介绍：一共有11类食物，其中带标签的数据280*11，不带标签的数据6789，验证集30*11，测试集3347。
2025-03-20 10:58:24
553
原创 学习记录6：分类任务
6，特征图64*224*224. 卷积核64*3*3，padding=1，卷积核数量128 卷出来特征图多大。3，特征图3*4*4. padding1, 卷积核数量1，卷出来的特征图为1*4*4。5，特征图3*224*224. 卷积核3*3*3，padding=1，卷积核数量64.卷出来的特征图多大。（64*224*224）4，特征图3*4*4. 卷积核3*3*3，padding1, 卷积核数量7，卷出来的特征图多大。1，特征图100*100，卷积核7，padding多少，特征图大小不变。
2025-03-18 17:49:56
1069
原创 学习记录5：回归项目，新冠病毒感染人数预测
现在第三天的阳性人数的数据丢失，我们现在要用前两天的数据来预测第三天的特征，来预测第三天的阳性人数。它通过在更新模型参数时引入之前更新的方向信息，帮助优化过程更快地穿越损失函数的平坦区域，并减少在狭窄峡谷或鞍点附近的振荡。1.数据处理部分：一般输入的是文件地址或者数据内容，输出是一个存储了数据X，Y的数据结构（即事件和标签）。3.超参：定义除模型外的超参数，一般包括学习率，优化器（如sgd，adma），损失函数等。包括：学习率，训练的轮数，动量系数，最佳模式保存的路径，预测结果保存的路径。
2025-03-17 20:42:04
876
原创 学习记录4：简单的线性回归
如果b是一个向量，它应该与torch.matmul(x, w)的结果具有相同的形状，以便进行广播加法。定义了一个定义函数data_provider，它接受三个参数：data（数据），label（标签），batchsize（批大小）初始化权重w_0：从均值为0、标准差为0.01的正态分布中随机生成，形状与true_w相同，并启用梯度计算。注意：这里的x是随机生成的参数，但是y是根据“真实”参数和输入数据计算出的输出数据，加上了一些随机噪声。get_data，使用获取的索引从原始数据data中提取对应的数据。
2025-03-16 21:35:08
451
原创 学习记录2：深度神经网络
引入激活函数之后，由于激活函数都是非线性的，这样就给神经元引入了非线性元素，使得神经网络可以逼近任何非线性函数，这样使得神经网络应用道更多非线性模型中。神经网络透析2：可以完成复杂的任务，但是回归道一些原始纯粹的简单问题上，它表现得可能没那么好；如果没有激活函数，无论网络多么复杂，最后的输出都是输入的线性组合而纯粹的线性组合并不能解决更为复杂的问题。常见的简单激活函数：sigmod函数；梯度下降：用loss对每一个参数反向求导，从而更新每一个参数的值。函数的结构 = 模型的架构。
2025-03-16 12:13:52
231
原创 机器学习和深度学习
这就像是一个智能的“吃什么”顾问，它会考虑所有相关的因素，然后给出最好的建议。这些因素就像是“决策点”，而你的每个选择都会引导你走向一个不同的结果。：这些是从一个节点到另一个节点的连接线，代表基于内部节点的不同答案所做的选择。：这些是树上的分支点，代表你要考虑的因素或特征。在我们的例子中，叶子节点可能是“去中餐馆吃”、“在家做意大利面”或“点外卖披萨”。采用梯度下降算法，随机选择一个w，计算L关于w的偏导数，更新w的值。根据车摄像头看到的图片，把人、路、车的轮廓准确的画出来：矩阵，通过分类实现结构化。
2025-03-16 10:55:04
708
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人