- 博客(32)
- 收藏
- 关注
RSS订阅原创 VQ-VAE 代码详细解析及记录
VQ-VAE是一种改进VAE的生成模型，通过离散隐空间解决后验塌缩问题。其核心是编码器将输入映射到连续隐变量后，通过最近邻查找替换为离散码本向量，再经解码器重构。模型包含三重损失：重构损失、码本逼近和隐变量约束。文章详细解析了Keras实现代码，包括编码器、残差块、量化层等组件，并展示了采样重构过程。此外，还介绍了结合自回归先验模型的方法，通过Transformer学习离散编码分布以实现无条件生成。整个系统分为两阶段：先训练VQ-VAE进行特征离散化，再训练先验模型生成新样本。
2025-11-04 17:29:08
1046
原创 AI4S-记录一些半路出家搞AI交叉遇到的离奇训练过程
针对神经网络训练集收敛但验证集波动大的问题，提出四点改进方案：首先统一数据量纲，消除0-1与0-1000等不同分布范围的影响；其次减小批量大小，从64调整至32；然后引入批归一化和10%的Dropout层；最后降低优化器的学习率。这些措施共同作用可提升模型泛化能力，缓解验证集波动问题。
2025-11-01 22:28:35
143
原创 大型数据集的分析
摘要：针对自制数据集中分布无规律、异常值多导致的过拟合问题，作者尝试了增加网络层数和防过拟合措施但效果不佳。转而从数据预处理入手，通过42维特征分析（包括极值、均值、四分位数、偏度、峰度、零值比和异常值比等统计指标）来指导数据处理策略。根据数据特征，建议采用对数变换处理右偏数据、RobustScaler处理高异常值，并针对不同分布选择sigmoid/tanh激活函数和Huber损失函数。该方法通过量化分析数据特性来优化神经网络训练，比单纯调整网络结构更有效。
2025-10-27 11:28:33
873
原创 高性能服务器总是重启的原因记录
摘要：通过事件查看器分析发现是系统意外重启（事件ID41），主要原因可能是电源功率不足或CPU过热。在训练时CPU占用率达100%会触发过热保护，通过限制CPU使用率（设置环境变量和线程数）暂时解决了重启问题。彻底解决还需排查电源供电能力和散热系统。文中提供了Windows日志分析方法和Python/TensorFlow限制CPU使用的代码示例。
2025-10-26 21:01:19
344
原创 在word中点击zotero Add/Edit Citation没有反应的解决办法
3.往下滑找到Microsoft Word，点重新安装加载项。2.进入Zotero左上角编辑-引用。重新安装了word插件。
2025-06-05 16:59:32
1683
1原创 为什么使用 edges.src 而不是直接操作 nodes
在图神经网络（GNN）中， 的核心逻辑是通过 来定义节点（nodes）之间的交互，而不是直接操作所有节点。这种设计是出于 和 的考量。以下详细解释：edges.srcnodes。
2025-05-07 17:23:30
212
原创 拆解GCN（Graph Convolutional Network）单层迭代公式
用5个节点（每个节点10维特征）为例，详细拆解GCN（Graph Convolutional Network）单层迭代公式中各矩阵的和。
2025-05-05 15:10:31
728
原创 图神经网络入门代码（2）-逐行分析
GnnLayer__init__：定义一个自定义的图神经网络层，继承自PyTorch的nn.Module。in_feats：输入特征的维度（例如每个节点的特征向量长度）。out_feats：输出特征的维度（经过该层后的特征向量长度）。neighbr：每个节点的最大邻居数（用于权重矩阵维度计算）。bias：是否在层中添加可学习的偏置项（True表示添加）。activation：是否在该层后使用激活函数（True表示使用）。：将输入参数保存为类的成员变量，供后续使用。
2025-04-16 21:03:46
451
原创 图神经网络入门-相关环境安装及不错的学习链接
一共有四种依赖，分别是torch_scatter，torch_sparse，torch_cluster，torch_spline_conv。需要注意的是最后，还需要安装，这个时候需要寻找geometric对应的版本，不能偷懒直接安装，不然会报错。所以安装用的11.3的版本，python环境用3.8，都是用whl文件安装，不会报错。目前版本，cuda显示是11.4，但是pytorch的版本不包含11.4。去寻找对应的版本，最后import一下确认不报错，就安装成功了。到对应的版本的geometric。
2025-03-18 13:48:47
333
原创 python神经网络训练自制数据集
# 自己采集的数据经过数据处理以后保存成了CSV文件，但是每次训练时，都要花很长时间加载数据，找了一些自制数据集的方法，加速加载。
2024-12-09 17:11:57
624
原创 新手使用服务器应该怎么做？/如何正确安装pytorch
检查硬件完整性： 在开始部署之前，确保物理机 H100 的硬件完整且无损坏。连接网络： 将物理机 H100 连接到可用的网络中，确保网络连接正常。连接外设： 连接键盘、鼠标、显示器等外设，以便进行后续的设置和配置。
2024-12-02 16:03:53
282
原创 MNIST手写字体识别：python不使用深度学习库函数
MNIST手写字体识别：python不使用深度学习库函数，仅使用numpy，训练精度97.75%
2024-06-13 14:13:02
311
原创 通信系统的组成
通信指需要信息的双方或多方在不违背各自意愿的情况下采用任意方法，任意媒介，将信息从一方准确安全的传递到另一方。通信系统：传输信息所需技术设备的总和。信源：信息的发送源，信息通过信号承载，信源信号分为模拟信号，数字信号；模拟信号：特征量取值连续的信号（振幅、频率、相位）数字信号：特征量取值离散的信号；发送设备将信源和传输媒介匹配起来，将信源产生的消息信号变换成便于传送的形式。可能包含：变换、放大、滤波、编码、调制等过程；对于多路传输，还包括多路复用器；
2024-05-24 21:55:25
985
原创 GRNN（广义回归神经网络）-RBF的一种
个人感觉GRNN就是计算测试样本和训练样本之间的相似度，所有的现有数据都会对预测起作用，是另一种形式的归一化，但是这种方法应该更适合小样本，或者写好了优化算法的。其中一个节点输出S_D为模式层输出的算术和，其余节点输出S_Ni均为模式层输出的加权和，具体的计算公式如下，其中ω_ij为加权系数，即第i个输入对应的输出。注意：平滑因子对网络性能影响较大，需要使用优化算法优化。其中x_i为训练样本，x_j为学习样本，σ为平滑因子，GRNN网路结构如图所示，包括四层：输入层、节点数为输出样本数+1,
2024-05-18 17:41:30
781
原创 神经网络训练流程-网络结构选择和训练
网络结构的基本类型取决于待解决的问题。网络结构需确定网络的层数、每层神经元的个数，输出神经元的个数以及在训练中选择哪种类型的性能函数。网络的基本结构依据需要解决的问题决定。通常情况下从单隐层开始，逐层添加结构。对于困难的问题，通常需要并行计算或者GPU计算才能在合理的时间内训练好一个深度多层网络。。通常有5种方法用于产生最简神经网络，包括生长法、剪枝法、全局搜索法、正则化法以及提前终止法。生长法从无到有逐渐增加神经元数量直到网络满足性能需求。
2023-04-14 16:55:57
404
原创 神经网络训练流程-数据收集和数据预处理
神经网络是一种由数据决定效果的办法，其数据必须也仅需覆盖神经网络可能用到的输入空间。数据需要分为训练集，验证集和测试集（7：1.5：1.5），需要确保训练集，验证集和数据集均覆盖输入空间。训练集用于计算梯度和更新权值，验证集用于在过拟合之前停止训练，测试集用于预测网络将来的性能。a.如果训练集结果优于验证集和测试集结果，出现了过拟合，减小网络规模或者使用较慢的训练算法，同时b.如果训练集和验证集结果较好，测试集结果不好，存在四种可能：网络陷入局部最优解、缺少足够的神经元拟合数据、网络外推继续采样。
2023-04-13 10:53:04
1090
原创 Anaconda配置指定环境，常用总结
Conda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同版本的软件包及其依赖，并能够在不同的环境之间切换
2023-03-26 14:44:00
1083
原创 NP-Hard？大白话学习P问题、NP问题、NP完全问题和NP难问题
## 该笔记自用为主，记录一些日常学习过程中看到的不熟悉的知识和从未接触过的知识，用于回看和记录。其中有一些个人理解，如有错误请讨论指正。
2023-02-24 20:50:22
10272
原创 神奇的h5py包：保存h5模型，却只有0KB 2.Process finished with exit code -1073741819 (0xC0000005)
1.欠完备自编码器保存h5模型，却只有0KB 2.Process finished with exit code -1073741819 (0xC0000005)
2022-06-01 17:20:32
348
MNIST手写字体识别：python不使用深度学习库函数
2024-06-13
手写体数字分类问题可以采用多种方法进行解决
2024-06-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人