<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[m0_66184663的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/m0_66184663</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; m0_66184663]]></copyright><item><title><![CDATA[Diffusion代码思路]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/140873255</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/140873255</guid><author>m0_66184663</author><pubDate>Fri, 02 Aug 2024 16:12:33 +0800</pubDate><description><![CDATA[还是有一些地方没搞懂。]]></description><category></category></item><item><title><![CDATA[微调方法LoRA的代码思路]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/140531691</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/140531691</guid><author>m0_66184663</author><pubDate>Thu, 18 Jul 2024 19:58:31 +0800</pubDate><description><![CDATA[【代码】微调方法LoRA的代码思路。]]></description><category></category></item><item><title><![CDATA[Transformer各个模块代码大致思路（无法运行版本）]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/140208578</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/140208578</guid><author>m0_66184663</author><pubDate>Fri, 05 Jul 2024 16:28:26 +0800</pubDate><description><![CDATA[9.组合Encoder和Decoder形成Transformer。###只是大致结构，缺少了mask和padding。1. Embedding构造。7.组合成Encoder。8.组合成Decoder。4.残差链接和标准化。]]></description><category></category></item><item><title><![CDATA[Distillation-enhanced Graph Masked Autoencoders for Bundle Recommendation]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/139720123</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/139720123</guid><author>m0_66184663</author><pubDate>Fri, 28 Jun 2024 19:22:50 +0800</pubDate><description><![CDATA[为了验证bundle和item view的效果及其互补性，我们在三个数据集上进行了实验，并比较了U-B GNN、U-I GNN以及两个GNN的组合(U-B+U-I GNN)的结果。对于用户来说，选择几个item而拒绝包含这些item的bundle是很常见的，这给区分U-I图中的有效交互和噪声交互带来了巨大的挑战。值得注意的是，这一结果与U-I GNN在这两个数据集上的糟糕表现是一致的，并进一步指出了在提高模型的表达能力和联合捕获局部和全局U-I协作关系方面的挑战。RQ2：U-I和U-B协作关系是否一致？]]></description><category></category></item><item><title><![CDATA[“Bias and Debias in Recommender System: A Survey and Future Directions“论文笔记（部分，未完结）]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/137120973</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/137120973</guid><author>m0_66184663</author><pubDate>Sun, 16 Jun 2024 13:57:30 +0800</pubDate><description><![CDATA[例如，在工作推荐的背景下，与男性相比，女性看到的关于高薪工作和职业指导服务的广告较少，这是由性别失衡造成的。在这种情况下，如果缺失的数据与参与者的健康状况（一个已观测变量）有关，但一旦收到问卷回复，缺失就不会再发生，那么数据的缺失就是MAR。它们通常来自不同的数据分组，并使推荐模型捕捉这些偏见，甚至缩放它们，在本节中，首先给予数据bias的一般定义，然后将其分为四类：selection bias,conformity bias, exposure bias 和 position bias。]]></description><category></category></item><item><title><![CDATA[图神经网络GNN]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/138045611</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/138045611</guid><author>m0_66184663</author><pubDate>Sun, 21 Apr 2024 21:19:01 +0800</pubDate><description><![CDATA[【代码】图神经网络GNN。]]></description><category></category></item><item><title><![CDATA[Graph Unlearning 论文笔记]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/135114646</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/135114646</guid><author>m0_66184663</author><pubDate>Sat, 23 Dec 2023 21:25:52 +0800</pubDate><description><![CDATA[本文定义两种GNN中机器遗忘的场景，即节点遗忘和边遗忘。]]></description><category></category></item><item><title><![CDATA[Recommendation Unlearning 论文笔记]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/134391735</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/134391735</guid><author>m0_66184663</author><pubDate>Thu, 16 Nov 2023 19:11:17 +0800</pubDate><description><![CDATA[RecEraser有三个核心部分数据划分->子模型训练->基于注意力的自适应聚合当需要unlearning时，只需要重新训练某个子模型1.数据划分本文提出三种方法即基于用户的划分（UBP），基于物品的划分（IBP）和基于u-i交互的划分（InBP（基于U/I/In的相似性）]]></description><category></category></item><item><title><![CDATA[对比学习Contrastive Learning]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/133991856</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/133991856</guid><author>m0_66184663</author><pubDate>Mon, 23 Oct 2023 15:47:30 +0800</pubDate><description><![CDATA[最终Loss=Loss_传统+Loss_对比学习(一般是infoNCE、SimCLR、triplet...)相似的样本的向量距离要近，不相似的要远，以此获得数据的高阶信息。中就是图片的随机裁剪、随机颜色失真、随机高斯模糊。方法，在无标签数据集上仍可以学习到较好的表征。的训练样本，通过数据扩增，变成了。首先进行数据扩增，对于一个样本。中用的是随机删除边和随机删除。cv、nlp领域用的多。对比学习的主要思想就是。）就称为一个正样本对。接下来进行对比学习，]]></description><category></category></item><item><title><![CDATA[《Neural Collaborative Filtering》笔记]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/133883926</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/133883926</guid><author>m0_66184663</author><pubDate>Wed, 18 Oct 2023 18:37:56 +0800</pubDate><description><![CDATA[可以赋予模型高水平的灵活性和非线性建模能力，而不是GMF（广义矩阵分解）那样的简单使用逐元素相乘的内积来描述用户和项目之间的潜在交互特征。约束在[0，1]的范围内，这可以通过使用概率函数（例如，Logistic或Probit函数）作为输出层Φout的激活函数。为了给融合模型提供更多的灵活性，允许GMF和MLP使用单独的嵌入，并通过连接它们的最后一个隐藏层来组合这两个模型。一个简单的解决方案是让GMF和MLP共享同一个嵌入层，然后组合它们的函数的输出如下公式(单层MLP)堆叠更多的非线性层也有利于性能。]]></description><category></category></item><item><title><![CDATA[论文《CrossCBR: Cross-view Contrastive Learning for Bundle Recommendation》]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/133794083</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/133794083</guid><author>m0_66184663</author><pubDate>Thu, 12 Oct 2023 16:43:03 +0800</pubDate><description><![CDATA[1.用两个视图的表征学习,使用简化BGCN中的图结构的LightGCN：删除U-B和U-I中的self-connections(SC)和bundle-bundle connections(BB)。还探究了对比学习的loss公式，若使用只扩大跨视图协作（Alignment）的。即为对比学习中得出的loss(但不是最终loss)，消融实验表明。，然后反向传播计算梯度，再使用optimizer.step()实验表明三种方法的结果差别很小，作用不大，代替，模型性能下降，若只鼓励跨视图离散（（1）不增强（OP）]]></description><category></category></item><item><title><![CDATA[刘二大人《PyTorch深度学习实践》循环神经网络RNN高级篇]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/133280076</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/133280076</guid><author>m0_66184663</author><pubDate>Tue, 26 Sep 2023 17:22:31 +0800</pubDate><description><![CDATA[对于变长序列，按序列长度排序后（不排序没法用PackedSequence），通过PackedSequence只存非0的维度，同时记住每个序列的非0项的长度（提高储存密度，提高计算速度）,输入gru中。对于单向的循环神经网络，输出只考虑过去的信息（只有一个方向），而有些情景需要考虑未来的信息。最后输出tensor格式的seq_tensor、seq_lengths、countries。然后按序列长度从大到小排序，同时把countries列表也转成相应的从大到小格式。输入名字，输出名字对应的国家。]]></description><category></category></item><item><title><![CDATA[刘二大人《PyTorch深度学习实践》循环神经网络RNN]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/133157978</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/133157978</guid><author>m0_66184663</author><pubDate>Fri, 22 Sep 2023 11:19:06 +0800</pubDate><description><![CDATA[RNN是一种专门用来处理带有序列模式的数据，如天气预测，文本处理等等（有上下文依赖关系）使用RNN，多一个参数num_layers，cell()的输出多一个out。全连接层的权重最多，卷积层的权重较少（共享权重）使用RNNCell把hello变成ohlol。只用一个RNNCell观察输入输出维度。常用解决办法：Embedding。且序列共享一个RNN cell。先把字母变成one-hot编码。RNNCell输入输出尺寸。one-hot向量缺点。维度太大、稀疏、硬编码。]]></description><category></category></item><item><title><![CDATA[刘二大人《PyTorch深度学习实践》卷积神经网络高级篇]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/131882123</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/131882123</guid><author>m0_66184663</author><pubDate>Sun, 23 Jul 2023 22:52:53 +0800</pubDate><description><![CDATA[Residual net（ResNet)能解决梯度消失问题。他人实验表明并不是层数越多准确率越高。其中的一个Inception模块。1*1的卷积核可以有效减少计算。更为复杂的不是串行结构的模型。也大于1，能保留前面层的特征。GoogLeNet代码。如GoogLeNet。最后四个输出拼到一起。]]></description><category></category></item><item><title><![CDATA[刘二大人《PyTorch深度学习实践》卷积神经网络CNN]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/131865767</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/131865767</guid><author>m0_66184663</author><pubDate>Sat, 22 Jul 2023 20:26:06 +0800</pubDate><description><![CDATA[卷积核(m,n,w,h)]]></description><category></category></item><item><title><![CDATA[刘二大人《PyTorch深度学习实践》多分类问题]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/131750245</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/131750245</guid><author>m0_66184663</author><pubDate>Sat, 22 Jul 2023 00:53:57 +0800</pubDate><description><![CDATA[每个分类概率大于0且所有分类概率和为1，输出概率之间有互相抑制性。transforms.Normalize使数据满足正态分布。(1代表通道,mnist是黑白图只有一个通道），y的编码方式是one-hot。设计模型    28*28=784。Softmax Layer函数为。Mnist数字分类识别。Softmax分类器。]]></description><category></category></item><item><title><![CDATA[刘二大人《PyTorch深度学习实践》加载数据集]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/131742878</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/131742878</guid><author>m0_66184663</author><pubDate>Sun, 16 Jul 2023 14:34:32 +0800</pubDate><description><![CDATA[pytorch的DataLoader和Dataset可方便处理数据集和实现Mini-batch。Iteration：1个iteration等于使用batchsize个样本训练一次。使用Mini-batch实现分类，并测试每个epoch的准确度。torchvision提供了一些数据集可方便调用。2. 读入标签/文件名（数据集大）构造Dataset的时候2种方法。1.所有数据加载进来。]]></description><category></category></item><item><title><![CDATA[刘二大人《PyTorch深度学习实践》多维特征输入]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/131728156</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/131728156</guid><author>m0_66184663</author><pubDate>Sat, 15 Jul 2023 18:39:32 +0800</pubDate><description><![CDATA[也可以不直接从N维到1维，最后是一维即可，引入多次非线性变换，参数具有更好的拟合性，有利于提高网络的泛化能力。对于多维样本的分类问题，一个样本不再只有一个值(特征）输入N维，输出1维（N维空间到1维空间的非线性变换）这样8-6-4-1维，使用adam优化器效果更好。对于Mini_Batch情况。每一个特征值都有自己的权重。]]></description><category></category></item><item><title><![CDATA[刘二大人《PyTorch深度学习实践》logist回归]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/131712413</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/131712413</guid><author>m0_66184663</author><pubDate>Fri, 14 Jul 2023 17:13:47 +0800</pubDate><description><![CDATA[loss计算分布的差异而不是两个点之间值的差异（loss function for Binary Classification)Mini-Batch版本(BCELoss)保证输出值在0~1之间。线性模型拟合二分类问题。]]></description><category></category></item><item><title><![CDATA[刘二大人《PyTorch深度学习实践》pytorch实现线性回归]]></title><link>https://blog.youkuaiyun.com/m0_66184663/article/details/131425901</link><guid>https://blog.youkuaiyun.com/m0_66184663/article/details/131425901</guid><author>m0_66184663</author><pubDate>Wed, 28 Jun 2023 21:48:54 +0800</pubDate><description><![CDATA[使用pytorch框架后虽然比上次写的复杂一些，但是可以方便 扩展成更复杂的神经网。torch.nn.Linear :自动包含w和b。如torch.optim.SGD 自动帮你找到要更新的权重。用pytorch提供的工具实现线性模型训练过程。至少有两个方法_init_和forward。维度可以很大，但是loss必须是标量。3.设置loss函数和优化器，的维度，这样就知道w和b的维度。**kwargs 参数变成词典。），继承nn.Module。]]></description><category></category></item></channel></rss>