BetterBench的博客

在深度学习的训练过程中，数据加载是一个关键步骤，它直接影响到模型训练的效率。为了提高运行速度，我们通常会采用多种方法，比如数据预处理、多线程加载、缓存策略等。然而，有一个经常被忽视的优化点——调整torch.utils.data.DataLoader中的参数，这可以在某些情况下带来高达10倍的速度提升。

本文介绍了机器遗忘技术的分类、优缺点、威胁、攻击、防御机制以及评估方法。首先将机器遗忘技术分为精确遗忘和近似遗忘两大类，并对每类中的不同方法进行了详细讨论。精确遗忘技术涉及SISA结构、图模型、k-Means和联邦学习等，而近似遗忘技术则基于影响函数、重新优化、梯度更新和特定于图数据的方法。此外指出这些技术在存储、假设、模型效用、计算成本和处理动态数据方面的局限性。

电脑配置Windows 11cuda 12.0RTX4090。由于tensorflow2官网已经不支持cuda11以上的版本了，配置cuda和tensorflow可以通过以下步骤配置实现。

DVSGesture数据集是一个专注于动态视觉传感（Dynamic Vision Sensor, DVS）技术的数据集，它包含了基于事件的图像记录，用于手势识别任务。DVSGesture数据集由一系列动态图像组成，这些图像是通过动态视觉传感器捕获的，与传统的基于帧的图像不同，DVS技术对场景中的变化（如运动）非常敏感。据集主要用于手势识别研究，它包含了多种不同的手势类别，这些类别可以用于训练和测试机器学习模型，以识别和分类不同的手势动作。

脑启发的连续学习方法主要分为四类：突触启发方法、双系统启发方法、睡眠启发方法和模块化启发方法。经典连续学习方法主要分为三类：重放方法、正则化方法和稀疏化方法。

加载word2vec词向量，每次加载都是几分钟，效率特别低。如何提高加载的速度，有三种解决方法。

来源：李宏毅2022课程第10课的作业。图片攻击是指故意对数字图像进行修改，以使机器学习模型产生错误的输出或者产生预期之外的结果。这种攻击是通过将微小的、通常对人类难以察觉的扰动应用于输入图像来实现的。图片攻击是对深度学习系统中的鲁棒性和安全性的一种测试，也可以用于欺骗、隐私侵犯、对抗性水印等。

使用TensorFlow1.x版本来实现手势识别任务中，并用图像增强的方式改进，基准训练准确率0.92，测试准确率0.77，改进后，训练准确率0.97，测试准确率0.88。2 读取数据集3 创建占位符① TensorFlow要求您为运行会话时将输入到模型中的输入数据创建占位符。② 现在要实现创建占位符的函数，因为使用的是小批量数据块，输入的样本数量可能不固定，所以在数量那里要使用None作为可变数量。

这是一个非时间序列的回归任务，预测公共场所获取的人群数据，预测会发生COVID-19阳性的人数。改进角度，参考博客**：http://t.csdnimg.cn/fUAzT。我将老师给的代码重构了结构，便于组员之间协作编程，无需修改的代码都放到了utils.py中。只需要修改特征选择、神经网络、模型训练部分的代码就可以。

在非时间序列的回归任务中，深度学习和机器学习都是常用的方法。为了进一步提升模型的性能，可以通过改进数据处理、数据增强、特征选择、模型选择、模型正则化与泛化、优化器、学习率、超参数调优等方面，来提升模型的性能和可解释性。

我想用json格式保存MATLAB生成是数据集，包括数据data，数据Label。然后用python读取JSON文件作为训练集。

PyTorch 是基于 Torch 库的计算机软件的一部分，它是 Python 的开源机器学习库。它是由 Facebook 人工智能研究小组开发的深度学习框架。它用于。

TensorFlow是一个基于Python的库, 用于创建机器学习应用程序。它是执行复杂数学的低级工具包。它为用户提供了可定制性选项, 以构建实验性学习体系结构。它还可以帮助用户与他们合作, 并将他们转变为正在运行的软件。它最初由Google Brain团队的研究人员和工程师创建, 并于2015年成为开源。TensorFlow由两个词Tensor和Flow组成；张量被称为多维数组的数据表示, 流意味着对张量执行的一系列操作。

实验二：猫狗识别一、实验目的利用深度学习实现猫狗动物识别，采用Kaggle提供的公开数据集，训练深度学习模型，对测试集猫狗中的图片准确分类。通过该实验掌握深度学习中基本的CV处理过程。二、实验原理（1）采用用卷积神经网络训练卷积神经网络由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更好的结果。这一模型也可以使用

实验一：手写数字识别一、实验目的利用深度学习实现手写数字识别，当输入一张手写图片后，能够准确的识别出该图片中数字是几。输出内容是0、1、2、3、4、5、6、7、8、9的其中一个。二、实验原理（1）采用用全连接神经网络训练全连接神经网络模型是一种多层感知机(MLP)，感知机的原理是寻找类别间最合理、最具有鲁棒性的超平面，感知机最具代表的是SVM支持向量机算法。神经网络同时借鉴了感知机和仿生学，通常来说，动物神经接受一个信号后会发送各个神经元，各个神经元接受输入后根据自身判断，激活产生输出信号后汇总从

目录1 原理1.1 简介1.2 原理2 分类2.1 计算区域2.2 所用信息2.3 结构层次2.4 模型方面2.5 相似度计算方式3 Keras实现1 原理1.1 简介Attention是注意力机制，本质上对关注的多个对象有个不同的权重，从而关注重点不同。Attention是Transformer、Bert、GPT的基础。引入Attention机制的原因参数少：相对于RNN、CNN复杂度小，参数小速度快：解决了RNN不能并行计算的问题效果好：解决了长距离的信息会被弱化问题，Attentio

目录1 引言2 详解3 优缺点3.1 优点3.2 缺点4 应用领域5 面经5.1 第一部分5.2 第二部分1 引言Transformer中抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。更准确地讲，Transformer主要由多头self-Attenion和Feed Forward Neural Network组成。一个基于Transformer的可训练的神经网络可以通过堆叠Transformer的形式进行搭建，作者的实验是通过搭建编码器和解码器各6层，总共12层的Enco

目录1 思维导图2 大纲3 经典GAN简介3.1 SGAN3.2 Conditional GAN3.3 Bidirectional GAN (BiGAN)3.4 InfoGAN3.5 Auxiliary Classifier GAN (AC-GAN)3.6 Boundary Equilibrium GAN (BEGAN)3.7 Self-attention GAN (SAGAN)3.8 Deep Convolutional GAN (DCGAN)3.9 MSG-GAN1 思维导图2 大纲序号对应论

目录1 引言2 提出问题3 Few-shot learning小样本学习4 Meta-learning元学习5 如果通过机器学习学习出区分不同事物的能力？6 传统监督学习与小样本学习的区别7 Meta-learning中相关概念1 引言人工智能技术有机器学习、深度学习、强化学习、元学习。元学习是其实是深度学习上的一个发展，为了解决小样本问题的，注意这是有区别机器学习和深度学习中的有监督学习的。接下来举例来讲解Meta-learning是什么？怎么做？以及和机器学习或深度学习中的监督学习的区别2 提出

1 模型融合把强分类器进行强强联合，使得模型融合后的模型效果更强投票法线性融合Stacking机器学习元算法将弱分类器通过学习算法集成起来，变成很强的分类器Bagging个体学习器不存在依赖关系，可同时对样本随机采样并行化生成个体学习器。代表作为随机森林(Random Forest)Boosting个体学习器存在依赖关系,基于前面模型的训练结果误差生成新的模型，必须串行化生成。代表的算法有：Adaboost、GBDT、XGBoost...

问题环境Nvidia RTX 2070Tensorflow 2在利用GPU运行了程序。中断重新运行程序，就会报错,GPU内存不够，显然是被占用了F tensorflow/stream_executor/cuda/cuda_driver.cc:175] Check failed: err == cudaSuccess || err == cudaErrorInvalidValue Unexpected CUDA error: out of memory解决办法因为程序虽然没有运行了，但进程还

1 问题环境Deepin 20 OS linux系统Tensorflow2.0Python3.6GPU Rtx 2070cuda 10.0cudnn 10.0在使用双向LSTM时tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(64)),报以下错误信息tensorflow.python.framework.errors_impl.UnknownError: [Derived] Fail to find the dnn im

使用pytorch，可以使用如下语句查询GPU是否可用：import torchprint(torch.__version__) # 查看torch当前版本号print(torch.version.cuda) # 编译当前版本的torch使用的cuda版本号print(torch.cuda.is_available()) # 查看当前cuda是否可用于当前版本的Torch，如果输出True，则表示可用...

在文件中加入一行代码tf.compat.v1.enable_eager_execution()

安装方法pip install iterative-stratification开源源码介绍MultilabelStratifiedKFold是用于多标签多分类的K折交叉验证from iterstrat.ml_stratifiers import MultilabelStratifiedKFold, MultilabelStratifiedShuffleSplit# 5折nfold = 5kf = MultilabelStratifiedKFold(n_splits=nfold, shuf

原理实现logloss的实现def logloss(y_true, y_pred, eps=1e-15): import numpy as np # Prepare numpy array data y_true = np.array(y_true) y_pred = np.array(y_pred) assert (len(y_true) and len(y_true) == len(y_pred)) # Clip y_pred between e

目录1 引言2 开源源码2.1 使用DeepComplex的所有源码汇总2.2 实现复数技术扩展的工具箱2.3 实现复数CNN的源码2.4 实现复数LSTM的源码1 引言复数的深度学习首次在2018年提出Deep Complex Networks (ICLR 2018)复数的应用非常广泛，比如在音频处理、信号处理、核磁共振信息处理都涉及到复数技术作者首次开源了复数处理技术的代码，并提出了卷积神经网络的复数处理技术，后者也有人陆续提出LSTM 的复数处理。接下来估计还会在提出以下方面的复数技术cl

实现如果总共有5类，并标记为0-4当一个label有1,2两个标签时，执行如下array([[0, 0, 1, 1, 0]])当一个label有0 2 3 4标签时，执行如下