- 博客(34)
- 收藏
- 关注
RSS订阅原创 jupyter notebook 更改环境
python -m ipykernel install --user --name 本地环境名称 --display-name "在jupyter上显示的环境名称"否则，尽管每次conda activate 环境，再jupyter notebook，notebook还是在base环境里。print(sys.version) # 输出当前 Python 版本。print(sys.executable) # 输出解释器路径。在每一个环境内安装jupyter，再调用。
2025-06-16 16:13:57
156
原创 图级任务之1
图级别任务期望在拥有多个图的数据集合中，去预测每个图的特性，因此通常需要图级别的表示。以常见的图分类问题为例，每个图G，有对应的标签y，常见的作法是训练一个以图表示作为输入的模型去预测每个图的标签。其中，利用readout函数聚合节点表示是得到图表示最通常的方法。R(H)是整图的特征表示，σ是一个sigmoid函数。通常readout函数效果是最好的。也有更为先进的处理方法如set2vec，Diffpool等。
2025-05-24 11:20:45
141
原创 【无标题】
对比学习作为自监督学习的一种实现方式，通过比较同一样本的不同视图之间的相似性和差异性来学习数据的特征，在计算机视觉和自然语言处理等领域取得了显著的进展，表现出强大 特征提取能力，收到了广泛关注和推崇。目前的图对比学习存在一些常见问题，一个典型的问题是即将所有数据映射到一个相同的表示空间中，使得学习到的表示不能完整捕捉到图数据的结构和特征，导致图节点分类任务的性能受限。在早期的图表示学习方法中，研究者采取矩阵分解方法来对学习节点的低维表示，或者通过随机游走的方法捕捉节点信息，从而编码得到低维的表示向量。
2025-02-26 12:18:25
120
原创 图深度学习
（1）GraphSAGE（graph sample and aggregate）图采样和聚合，GraphSAGE的目标是学习一个函数，该函数通过从节点的局部邻域中采样和聚合特征来生成节点嵌入。当学习完全未知的节点时，利用学习到的函数即可对这些未知节点的特征进行学习，graphSAGE适合处理大规模图。（2）图自监督学习。
2025-02-25 21:08:16
123
原创 图对比学习综述
传统图数据分析采用监督学习框架，通过人为特征提取或端到端图深度学习模型将图数据作为输入，经过训练后，挖掘图数据中的有效信息，输出预测结果。不依赖于人工标注的自监督学习正在成为图深度学习的趋势。图对比学习期望学到一个编码模型，使得相似的节点（图）经过编码模型后得到相似的表示，不相似的节点（图）得到差异较大的表示。现有的方法可以总结成一个同一的框架，首先定义正负例并利用正例生成器和负例生成器分别得到正负样本。最后设计一个将正负样本表示区分开的损失函数，进行参数优化。
2025-02-25 19:24:25
242
原创 对比学习中概念
pretext task（代理任务）：对比学习是不需要标签的，但模型需要知道哪些是类似的，哪些是不相似的，才能训练，这就需要通过设计一些巧妙的代理任务，认为指定一些任务来实现。对比学习训练目标：希望相似数据最终学习到的特征是相似的，在特征空间（embedding space）中，特征向量尽量靠近，反之还希望不同的数据学习到的特征向量，尽量远离。对比学习最大的特性，是这种方法非常的灵活，可以设置各种不同的代理任务。只要找到一种方式去定义正负样本，剩下的都是一些比较标准化的流程。
2025-02-25 17:02:41
584
原创 对比学习小综述
对比学习的目标是将相似样本的表示（Representation）拉近，不相似样本的表示拉远。（2）基于聚类的方法（Clustering-Based Contrastive Learning）（1）基于单视角的方法（Instance Discrimination）（4）基于负样本挖掘的方法（Hard Negative Mining）适用场景：有标注数据、对类内一致性要求高的任务。特点：通过选择更难的负样本对提升模型的判别能力。适用场景：适合多样性较大的无监督任务。适用场景：数据无标注或弱标注的场景。
2025-02-25 14:37:54
252
原创 对比学习contrastive learning
目标是最大化正对（来自同一样本的实例）之间的一致性，并最小化负对（来自不同样本的实例）之间的一致性。通过利用相似性和不相似性，对比学习使模型能够在潜在空间中将相似的实例紧密地映射在一起，同时将那些不同的实例分开。对比学习背后基本思想是鼓励相似的实例在学习的嵌入空间中被映射得更近，同时将不相似的实例推得更远。它利用的假设是，在学习到的嵌入空间中，相似的实例应靠近得更近，而不相似的实例应离得更远。通过将表示映射到低维空间，投影网络降低了数据的复杂性和荣誉，有助于更好的分离相似和不相似的实例。
2025-02-25 10:36:30
279
原创 大模型的幻觉
在GQA任务中，模型会首先进行问题相关信息的搜索，这些搜索到的信息被称为证据，然后基于这些检索到的信息生成答案。为保证回答的全面性，模型融合证据时会把不同答案的段落进行拼接，从而导致生成的答案产生幻觉。In-context learning: 通过在训练过程中引入更多的上下文信息，帮助模型更好的理解问题，并生成更准确的答案。定义：在NLP中，尤其是在生成式问答任务中，幻觉通常表现为模型生成的答案不忠实或无意义，但却具有高度可读性，使得读者误以为他们是基于提供的上下文生成的。
2024-12-03 20:38:10
212
原创 增量学习 incremental learning
目前增量学习方法通常隐式地要求任务性质差异不能太大，当任务的性质和难度差异太大时，大部分增量学习方法的性能都会严重下降，甚至低于简单的基线模型。相较而言，增量学习策略可以仅针对新增数据进行持续更新，避免重复训练整个数据集，降低计算复杂度，提高模型泛化能力，达到平衡模型性能和效率的效果。其中一点是增量学习通常需要引入额外的超参数来平衡模型的稳定性和可塑性，这些超参数通常在验证集被优化，但本质上违反了增量学习不能获取未来数据的因果律，从而能导致人们作出过于乐观的结论，在真实的生产环境中常常无法重现实验结果。
2024-04-17 20:17:53
554
原创 相关概念辨析
具体来说，LwF算法先得到旧模型在新任务上的预测值，在损失函数中引入新模型输出的蒸馏损失，然后用微调的方法在新任务上训练模型，从而避免新任务的训练过分调整旧模型的参数而导致新模型在旧任务上的性能下降。增量学习和持续学习continual learning ，终身学习 lifelong learning 概念大致是等价的，他们都是在连续的数据流中训练模型，随着时间推移，更多的数据逐渐可用，同时旧数据可能由于存储限制或隐私保护等原因逐渐不可用，并且学习任务的类型和数量没有预定义（例如分类任务中的类别数）
2024-04-17 14:46:04
945
原创 数据分布自适应方法
加州大学伯克利分校的Tzeng等人提出深度领域混淆（Deep Domain Confusion DDC）解决深度网络的自适应问题。DDC遵循上述讨论的基本思路，在ImageNet数据集上训练AlexNet网络进行自适应学习。DDC固定Alexnet前7层，在第8层加入自适应度量。自适应度量普遍采用MMD准则。一般在倒数第二层进行适配，即在分类器前一层加入自适应层可以达到最好效果。
2024-03-25 21:11:19
155
原创 迁移学习基本概念
样本权重迁移法：由于迁移学习中样本维度和数量通常都是非常大的，因此直接针对源域分布和目标域分布进行估计是不可行的。为达到迁移目的，我们通过有针对性的从源域中筛选处部分样本，使得筛选出的样本所形成的概率分布能够与目标域数据的概率分布相似，之后再使用传统机器学习进行建模。在迁移学习中，源域与目标域的数据通常来自不同的数据分布，这使得在源域上训练好的模型很难直接在目标域数据上取得好的效果。因此，如何衡量并降低两个领域之间的分布差异从而使得源域上的模型可以更好的泛化到目标域成为迁移学习领域的核心问题。
2024-03-25 20:41:12
451
原创 注意力机制
同时，不支持并行计算，训练起来很慢，每个词向量对应的导数依赖后续的词的导数，这样递归求导是梯度消失的主要原因。关键的操作是计算encoder和decoder state之间的关联性的权重，得到attention 的分布，从而对当前输出位置得到比较重要的输入位置的权重，在预测输出时相应的会占较大的比重。RNN本身的梯度消失问题，对于较长的句子，很难希望讲输入的序列转化为定长的向量而保留所有的有效信息，所以随着所需翻译句子的长度的增加，这种结构的效果会显著下降。
2023-12-12 16:36:52
79
原创 #copulas包python实现。利用极大似然法估计ABCD四个序列的建立D-Vine copula函数，并利用A和D的联合分布，计算A+D的估计区间。
【代码】#copulas包python实现。利用极大似然法估计ABCD四个序列的建立D-Vine copula函数，并利用A和D的联合分布，计算A+D的估计区间。
2023-12-10 22:36:04
584
1
原创 tensorflow+自编码器
自编码器包括编码器和解码器，编码器提供按规则编码的功能，解码器将编码器的输出扩展为与编码器输入具有相同的维度的输出。在这个过程中，自编码器通过数据重组进行机器学习。与前面自编码器不同的是，卷积自编码器使用卷积层代替全连接层，目的是降低输入特征的维度，使得速度更快，准确率更高。
2023-11-28 14:46:10
111
原创 tensorflow与卷积神经网络
每个卷积层（convolutional layer）中都存在多个卷积单元，这些卷积单元的优化依赖反向传播算法，目的是通过迭代输入提取更复杂的特征。卷积神经网络有卷积层与池化层以及全连接层组成。
2023-11-28 14:06:59
46
原创 kernel_initializer=‘he_normal‘
kernel_initializer=he_normal 指的是在初始化神经网络权重时使用的方法。he_normal 是一种用于初始化权重的方法，其中权重的初始值是从均值为 0，标准差为 sqrt(2 / fan_in) 的正态分布中随机抽取的。这种初始化方法通常被用于 ReLU 激活函数的网络中。
2023-11-28 11:23:51
562
原创 CNN与VIT
最后将得到的向量序列输入Transformer层，该层利用自注意力机制来远程依赖性并学习有意义的视觉特征。滤波器卷积后，形成特征图，表示所学习的特征在不同空间未知的存在。resnet通过跳跃连接解决了深度网络中梯度消失的问题，允许网络学习残差函数，resnet结构能够训练更深层次的网络，显著提高性能。池化层：减少特征图的空间维度，减少所需的计算量和过度拟合的风险。全连接层处理卷积层和池化层提取的特征，并将它们映射到所需的输出空间。这些层配置堆叠起来，以创建能够学习视觉数据的分层表示的深层复杂网络。
2023-11-26 13:53:04
243
1
原创 强制教学teacher forcing
强制教学（teacher forcing），在训练中我们可以将标签序列（训练集的真实输出序列）在上一个时间步的标签作为解码器在当前时间步的输入。
2023-11-24 11:11:23
214
1
原创 卷积神经网络中“通道”概念
在真实数据中，卷积维度可能会更高，比如彩色图像在高和宽维度外还有RGB3个颜色通道。假设彩色图像的高和宽分别为h和w（像素），那么它可以表示为一个3*h*w的多维数组。我们将大小为3的这一维称为通道（channel）。多输入通道/多输出通道。
2023-11-23 22:27:01
215
原创 残差网络(residual network)\稠密连接卷积网络（densenet）
与卷积层类似，通过滑动窗口概念，对一个滑动窗口内部实施某种规约操作，起到缩减输入特征尺寸的作用。常见的池化层有最大池化层nn.maxpool 和平均池化层nn.avgpool ，分别在滑动窗口内部进行最大化操作和求平均操作。卷积原属于信号处理的一种运算，可以提取信号的主要成分信息，去除噪声干扰。后引入CNN之中，作为输入中提取特征的基本操作。存在补零（zero padding） 和跨步（stride）概念。CNN中完整的卷积是对于两个4维张量进行操作。,而不是直接学习hx。
2023-11-23 21:05:16
226
原创 生成网络（generative adversarial network, gan)
允许更高的学习率，降低对初始化 的强依赖，作为一种正则化形式，减少嘞对dropout的依赖。在此处我们引入批归一化，其类似于中间函数，或当均值和方差在训练中随时间变化时用于归一化中间数据的层。微步幅卷积，工作方式与卷积操作相反，简单来说，尝试计算出如何将输入向量映射到更高的维度。在之前的例子中，数据在进入网络之前做的归一化处理，无法保证中间层获得是归一化的输入。批归一化在训练、验证、测试期间的表现不同。训练期间，均值和方差在批数据上进行计算。验证和测试时，使用的是全局值。
2023-11-23 16:21:59
153
原创 序列数据与文本的深度学习
递归神经网络的及其不同的实现，例如长短期记忆网络LSTM以及门控循环单元gated recurrent unit GRU，它们为大多数深度学习模型提供文本和序列化数据，为序列化数据使用一维卷积。(1)实现一个rnn模型。
2023-11-23 16:01:06
90
原创 深入了解神经网络
计算成本较低，因为只是判断了阈值，并未计算任何类似于sigmoid，tanh函数计算的内容。在python ，通过将父类的名字作为参数传入来创建子类，init方法相当于python的构造器，super方法将子类的参数传给父类，父类一般为nn.module。问题在于sigmoid函数输出值为0或1时，前一层的梯度几乎为0，使得权重不能调整，因此会产生无效神经元。上述代码即为：接受一个大小为10的张量的输入，并在应用线性变换后输出一个大小为5维的张量。relu:把所有负值取做0，正值保持不变。
2023-11-23 15:27:27
53
原创 OperationalError: (1130, “DESKTOP-FJKISOS‘ is not allowed to connect to this MySQL server“)
通过pymysql 连接本地数据库报错打开MySQLmysql -u root -p 查看localhost权限use mysql; select host,user from user; 授予root@localhost权限update user set host = '%' where user ='root';flush privileges;通过pymysql 建立连接import pymysql conn = pymysql.connect(hos
2022-03-04 13:41:55
836
转载 ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘192.168..‘ (10013)
更改Ubuntu MySQL文件sudo nano /etc/mysql/mysql.conf.d/mysqld.cnf找到 bind - address 这一行，如下图所示。改成如下默认情况下， bind - address 的值为 127.0.0.1 ，所以只能监听本地连接。我们需要将这个值改为远程连接 ip 可访问，可使用通配符 ip 地址 *， ::， 0.0.0.0 ，当然也可以是单独的固定 ip，这样就仅允许指定 ip 连接，更加安全。保存并退出然后重启mysq..
2022-02-19 20:27:13
750
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人