<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[zhu_ba的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/zhu_ba</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; zhu_ba]]></copyright><item><title><![CDATA[day02]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/145862427</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/145862427</guid><author>zhu_ba</author><pubDate>Tue, 25 Feb 2025 22:05:13 +0800</pubDate><description><![CDATA[为 Activity 设置2种不同的启动模式并通过 adb 命令进行查看任务栈信息，并且打印生命周期方法执行日志step1：生成第二个Activity和相应配置、一个是singleTask模式，还一个是mainActivity的默认格式step2：打印生命周期在摁下按钮，启动第2个前，mainactivity处于正在运行状态。按下按钮后，画面切换，但是main没有退出，所以处于pause，让出了资源和内存。同时，第二个activity创建 启动Step3：adb查看任务栈。]]></description><category></category></item><item><title><![CDATA[slowfast network]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/136720072</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/136720072</guid><author>zhu_ba</author><pubDate>Thu, 14 Mar 2024 19:48:47 +0800</pubDate><description><![CDATA[在SlowFast网络中，慢速路径主要负责捕捉视频中的静态信息和全局动态信息，而快速路径则主要负责捕捉视频中的局部动态信息。而在SlowFast网络中，慢速路径和快速路径提取的特征会经过特定的融合策略进行融合，以产生最终的视频表示。总的来说，SlowFast网络相对于传统的双流网络具有更复杂的架构和更高的效率，在处理视频数据时能够更好地捕捉到静态和动态信息，从而取得更好的性能。SlowFast网络可以有效地处理视频中的时间信息，通过对时间维度的特殊处理，使得网络能够对视频序列中的动态信息进行建模。]]></description><category></category></item><item><title><![CDATA[Expected tensor for argument #1 ‘input’ to have the same device as tensor for argument #2 ‘weight’；]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/136321906</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/136321906</guid><author>zhu_ba</author><pubDate>Tue, 27 Feb 2024 14:47:33 +0800</pubDate><description><![CDATA[RuntimeError Expected tensor for argument #1 'input' to have the same device as tensor for argument_runtimeerror: expected tensor for argument #1 'inp-优快云博客。定义调用b模块的函数，并在a模块里启动该函数。造成gpu设备的连接混乱。定义调用b模块的函数，并在a模块里启动该函数。是由于模型中的涉及到gpu等设备的函数调用问题。]]></description><category></category></item><item><title><![CDATA[时间注意力——给时间步赋予权重（有的时间不重要，权重很低，有的时间步重要，权重很高）]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/135305844</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/135305844</guid><author>zhu_ba</author><pubDate>Sat, 30 Dec 2023 15:31:06 +0800</pubDate><description><![CDATA[时间注意力机制是深度学习中用于的一种技术。它允许模型在处理序列数据时，对不同时间步的信息或关注度。这个机制使得模型能够更有效地不同部分的，并根据需要调整其关注的焦点。描述时间注意力机制的一种常见方法是使用基于注意力机制的循环神经网络（RNN）或者变种（比如长短期记忆网络 LSTM、门控循环单元 GRU 等）。在这些模型中，时间注意力机制通过学习权重来确定每个时间步上的输入的重要性，从而产生对应时间步的加权表示。]]></description><category></category></item><item><title><![CDATA[video数据的维度及维度变形]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/135299518</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/135299518</guid><author>zhu_ba</author><pubDate>Fri, 29 Dec 2023 23:30:23 +0800</pubDate><description><![CDATA[B*C*D*H*W的值并不是指输入模型的样本的总大小，它。]]></description><category></category></item><item><title><![CDATA[ViT中的上采样和下采样——patch merge]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/135199587</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/135199587</guid><author>zhu_ba</author><pubDate>Mon, 25 Dec 2023 16:12:28 +0800</pubDate><description><![CDATA[在视觉Transformer（Vision Transformer，ViT）中，上采样和下采样通常指的是在不同层之间调整特征图的空间分辨率，以便在不同层次上捕获图像的不同尺度的信息。与传统的卷积神经网络（CNN）不同，ViT使用自注意力机制而不是卷积操作来处理输入图像，因此上采样和下采样的方式也有所不同。总体而言，ViT中的上采样和下采样主要是通过池化和插值等操作来实现的，以在不同层次上处理输入图像的尺度信息。原本的特征图的大小（h，w，c），变成了（h/2, w/2, 2c）。在ViT中，通常使用。]]></description><category></category></item><item><title><![CDATA[对GPU进行压力测试]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/135106823</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/135106823</guid><author>zhu_ba</author><pubDate>Wed, 20 Dec 2023 14:12:20 +0800</pubDate><description><![CDATA[GPU压力测试工具安装指导（RHEL8.2） - 知乎 (zhihu.com)]]></description><category></category></item><item><title><![CDATA[linux系统实时查看cpu和显卡温度的代码，并且实时保存]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/135094393</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/135094393</guid><author>zhu_ba</author><pubDate>Tue, 19 Dec 2023 21:04:29 +0800</pubDate><description><![CDATA[请注意，如果你的系统上没有NVIDIA显卡，或者没有安装NVIDIA驱动，GPU温度的获取可能会失败。它使用sensors命令获取CPU温度，然后使用nvidia-smi获取NVIDIA显卡的温度。获取到的温度信息会追加到一个文本文件中。下面是一个简单的脚本，使用watch命令来实时监视CPU和显卡温度，并将监测到的数据保存到一个文本文件中。请注意，为了运行这个脚本，你的系统需要安装sensors和nvidia-smi。通常，你可以通过安装lm-sensors和nvidia-smi包来获取这些工具。]]></description><category></category></item><item><title><![CDATA[大模型讲座]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/135082457</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/135082457</guid><author>zhu_ba</author><pubDate>Tue, 19 Dec 2023 17:29:41 +0800</pubDate><description><![CDATA[解决1：对loss和梯度等多维状态实时监测。对数据、学习率、参数精度、模型梯度进行针对性调整和断点恢复。调整学习率的代码如下。调整参数、梯度类似。断点恢复。]]></description><category></category></item><item><title><![CDATA[Linux 实时观察GPU动态]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/134629757</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/134629757</guid><author>zhu_ba</author><pubDate>Sun, 26 Nov 2023 16:49:33 +0800</pubDate><description><![CDATA[Linux 实时观察GPU动态。]]></description><category></category></item><item><title><![CDATA[在第一个 epoch 的训练中 loss 正常，但是在之后的 epoch 中 loss 变为 NaN]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/134524872</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/134524872</guid><author>zhu_ba</author><pubDate>Sun, 26 Nov 2023 16:48:53 +0800</pubDate><description><![CDATA[在深度神经网络训练中，如果在第一个 epoch 的训练中 loss 正常，但是在之后的 epoch 中 loss 变为 NaN，通常说明模型在训练过程中发生了某种问题。在诊断问题时，逐步排除可能的原因，同时监控训练过程中的中间状态，例如梯度大小、权重分布等，可以帮助更准确地定位问题。2.如果学习率过大，权重更新可能会导致参数值爆炸，使 loss 变为 NaN。11.网络结构可能存在问题，如层之间的连接错误或某些层参数的异常初始化。14.在计算中使用了不稳定的数值计算方法，可能导致数值溢出或下溢。]]></description><category></category></item><item><title><![CDATA[高斯分布。]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/133939926</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/133939926</guid><author>zhu_ba</author><pubDate>Tue, 21 Nov 2023 09:56:14 +0800</pubDate><description><![CDATA[(5 封私信 / 80 条消息) 正态分布 - 搜索结果 - 知乎 (zhihu.com)σ决定了分布的幅度。正态分布的概率密度函数曲线呈钟形，因此又称之为。（Normal Distribution），也称常态分布，又名。（Gaussian Distribution），是一个常见的。（类似于寺庙里的大钟）。当μ=0，标准差σ=1时的正态分布是。为σ2^{2}的正态分布，则记为X∼N(μ,σ2)X。为正态分布，期望值μ决定了其位置，其。若随机变量X服从一个数学期望为μ、]]></description><category></category></item><item><title><![CDATA[模型的一些名词]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/134370764</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/134370764</guid><author>zhu_ba</author><pubDate>Mon, 13 Nov 2023 09:56:29 +0800</pubDate><description><![CDATA[这个主干网络大多时候指的是提取特征的网络，其作用就是提取图片中的信息，共后面的网络使用。经常设置的参数 bottle_num=256，指的是网络输出的数据的维度是256 ，可是输入进来的可能是1024维度的。的意思，既然说是主干网络，就代表其是网络的一部分，那么是哪部分呢？翻译的很好，主干部分，哈哈哈哈，已经具有提取特征的能力了，在我们的训练过程中，会对他进行微调，使得其更适合于我们自己的任务。4.bottleneck:瓶颈的意思，通常指的是网网络输入的数据维度和输出的维度不同，输出的。]]></description><category></category></item><item><title><![CDATA[thresholding（阈值化）]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/134359602</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/134359602</guid><author>zhu_ba</author><pubDate>Mon, 13 Nov 2023 09:54:55 +0800</pubDate><description><![CDATA[这一过程的目的是为了简化模型的复杂性，特别是在将一个大型模型的知识迁移到一个小型模型时。阈值化的过程涉及到将教师模型输出的概率分布转化为硬性的决策，即将概率值大于某个设定的阈值的类别作为最终的输出。这样的阈值化过程有助于将教师模型的复杂输出变为更简单的输出，从而适应学生模型。在蒸馏学习中，通常有一个教师模型（大型复杂模型）和一个学生模型（小型简化模型）。总体来说，thresholding在蒸馏学习中起到了简化输出、降低模型复杂度的作用，有助于在保持性能的同时减小学生模型的规模。]]></description><category></category></item><item><title><![CDATA[熵、优化置信度、全连接正确率、监督、1X1卷积核]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/132869246</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/132869246</guid><author>zhu_ba</author><pubDate>Fri, 06 Oct 2023 15:19:09 +0800</pubDate><description><![CDATA[信息论中的熵概念与公式： 在信息论中，熵是衡量随机变量不确定性的度量。对于一个离散随机变量X，其概率分布为P(X)，熵H(X)定义如下：其中，Σ表示对所有可能的取值进行求和，p(x)表示随机变量X取值为x的概率。熵的单位通常是比特（bit）或纳特（nat）等，取决于使用的对数基数。熵的直观理解是表示随机变量X的平均信息量。： 在分类任务中，使用（指数归一化函数）将模型的，用于。然后，。这里的交叉熵损失函数可以看作是最小化目标类别的熵，使得模型在训练过程中更有确定性地预测正确的类别。]]></description><category></category></item><item><title><![CDATA[多实例学习MIL（easy / hard）]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/133322811</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/133322811</guid><author>zhu_ba</author><pubDate>Fri, 06 Oct 2023 15:15:32 +0800</pubDate><description><![CDATA[多示例学习（Multiple Instance Learning） - 知乎 (zhihu.com)]]></description><category></category></item><item><title><![CDATA[集成学习]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/133611642</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/133611642</guid><author>zhu_ba</author><pubDate>Fri, 06 Oct 2023 15:15:18 +0800</pubDate><description><![CDATA[在Bagging方法中，利用bootstrap方法从整体数据集中采取有放回抽样得到N个数据集，在每个数据集上学习出一个模型，最后的预测结果利用N个模型的输出得到，具体地：分类问题采用N个模型预测投票的方式，回归问题采用N个模型预测平均的方式。预测的时候，随机森林中的每一棵树的都对输入进行预测，最后进行投票，哪个类别多，输入样本就属于哪个类别。也是一种Boosting的方法，与AdaBoost不同，GBDT每一次的计算是为了减少上一次的残差，GBDT在残差减少（负梯度）的方向上建立一个新的模型。]]></description><category></category></item><item><title><![CDATA[损失函数loss和优化器optimizer]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/132861027</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/132861027</guid><author>zhu_ba</author><pubDate>Wed, 13 Sep 2023 20:49:06 +0800</pubDate><description><![CDATA[它是必要的，因为PyTorch默认会在反向传播过程中累积梯度，如果不清零，梯度将会累积在后续迭代中，导致结果不正确的参数更新。我们在计算 loss = criterion(out, input)时，这里的out就等于y就等于w1X1+w2X2+w3X3，（虽然y是一些具体的值，但是这些值是由w1X1+w2X2+w3X3构成的），所以。，这里面的参数就是tensor，其有两个地址，分别存放当前值和反向求导的值，loss.backward()后，这个时候就每个参数里面都有导数，然后。]]></description><category></category></item><item><title><![CDATA[微调（fine-tune）]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/132810828</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/132810828</guid><author>zhu_ba</author><pubDate>Mon, 11 Sep 2023 17:16:59 +0800</pubDate><description><![CDATA[通过修改预训练网络模型结构（如修改样本类别输出个数），选择性载入预训练网络模型权重（通常是载入除最后的全连接层的之前所有层 ，也叫瓶颈层）再用自己的数据集重新训练模型就是微调的基本步骤。模型微调就是一个迁移学习的过程，模型中训练学习得到的权值，就是迁移学习中所谓的知识，而这些知识是可以进行迁移的，把这些知识迁移到新任务中，这就完成了迁移学习。3）Fine-tune：冻结预训练模型的部分卷积层（通常是靠近输入的多数卷积层），训练剩下的卷积层（通常是靠近输出的部分卷积层）和全连接层。]]></description><category></category></item><item><title><![CDATA[谱聚类的代码 测试版]]></title><link>https://blog.youkuaiyun.com/zhu_ba/article/details/132767129</link><guid>https://blog.youkuaiyun.com/zhu_ba/article/details/132767129</guid><author>zhu_ba</author><pubDate>Fri, 08 Sep 2023 20:30:39 +0800</pubDate><description><![CDATA[【代码】谱聚类的代码 测试版。]]></description><category></category></item></channel></rss>