Uncertainty Loss in Multi-Task Learning: Automating Loss Weighting with Task-Dependent Uncertainty

AI对战五子棋——深度学习策略网络 在本篇博文中,我们完成了:✔ 构建一个 CNN 五子棋策略网络✔ 让神经网络输出落子概率✔ 使用 Policy Gradient 强化学习训练 AI✔ 让 AI 实现人与 AI、AI 自对弈博弈。 阅读详情

1. 多任务学习的“甜蜜负担”:为什么手动调权重是个坑?

大家好,我是老张,在AI模型调优这个坑里摸爬滚打了十来年。今天想和大家聊聊一个在多任务学习里特别实际,也特别让人头疼的问题:损失权重怎么调。如果你也试过同时训练一个模型去干好几件事,比如让一个神经网络既识别人脸,又判断年龄,还估计性别,那你肯定对下面这个场景不陌生。

模型要同时优化好几个目标,每个目标都有自己的损失函数。最简单的做法,就是把几个损失加起来,或者给它们分别乘上一个权重,然后求个总和作为最终损失。公式看起来特简单:总损失 = w1 * L1 + w2 * L2 + ...。问题来了,w1、w2这些权重,你设成多少?1:1?凭感觉?还是说,你得花上几天甚至几周的时间,像炒菜一样不停地“加盐少许”、“酱油适量”,反复实验,直到找到一个“看起来还行”的组合?

我踩过这个坑,而且踩得挺深。早期做一个智能摄像头的项目,需要模型同时输出场景的深度图(几何信息)和语义分割图(这是什么物体)。深度回归任务用L1损失,语义分割用交叉熵损失。一开始我天真地给了个1:1的权重,结果模型彻底“偏科”,深度预测得一塌糊涂,光顾着学好分割了。后来手动调,调成深度损失权重是分割的5倍,效果才好一点。但换个数据集或者任务复杂度一变,这个“黄金比例”又失效了,又得重新调。这个过程不仅耗时耗力,而且非常不优雅,完全依赖于人的经验和运气,根本没法保证模型学到的是多个任务间最优的平衡。

这种手动调参,就是多任务学习的“甜蜜负担”。任务少还好,要是任务多起来,比如五六个,那权重的组合空间就爆炸了,手动调参基本成了不可能完成的任务。更重要的是,不同任务之间的“难度”和“量纲”本身就是动态变化的。在训练初期,可能任务A很简单,损失下降得快;任务B很难,损失值很大。如果权重是固定的,那么总损失就会被任务B主导,模型会拼命去优化B,而忽略了A。这显然不是我们想要的。我们理想的状态是,模型能“智能地”感知到每个任务当前的学习状态,自动分配注意力:对于已经学得不错的任务,可以少花点力气;对于还比较难、误差大的任务,就多投入一些资源。

那么,有没有一种方法,能让模型自己学会给不同的损失分配合适的权重,把我们从繁琐的手动调参中解放出来呢?这就是我们今天要深入探讨的核心:基于任务依赖不确定性的损失加权(Uncertainty Loss)。它不再把权重当作需要人工设定的超参数,而是将其转化为模型可以自己学习和优化的参数。这个想法的源头,来自一篇非常经典的论文《Multi-task learning using uncertainty to weigh losses for scene geometry and semantics》。接下来,我们就剥开理论的茧,看看这个聪明的机制到底是怎么工作的,以及我们如何亲手把它实现出来。

2. 不确定性:从直觉到数学模型的桥梁

要理解不确定性损失,我们得先搞明白“不确定性”在这里到底指什么。别被这个词吓到,我们可以用一个非常生活的例子来类比。

想象一下,你是一位经验丰富的老师,正在辅导两个学生:小明和小红。你的目标是让他们在期末考中都取得好成绩。小明基础好,学数学很轻松,每次练习错误都很稳定且少;小红则对数学有些吃力,她的练习成绩波动很大,时好时坏。现在,你要根据他们每次的练习情况(损失),来调整你的教学重点(权重)。

  • 对于小明(任务A),他的错误很“确定”,水平稳定。这种不确定性低,说明你对他当前的能力有清晰的认知,不需要投入过多额外精力去纠正,权重可以低一些。
  • 对于小红(任务B),她的错误很“不确定”,波动大。这种不确定性高,可能意味着这个任务对她来说更难,或者你还没找到教她的最佳方法。因此,你需要分配更多的注意力(更高的权重)来帮助她。

在概率模型的世界里,不确定性通常被分为两大类:

  1. 认知不确定性:这源于“我们不知道我们不知道什么”。简单说,就是模型因为训练数据不足,对世界认知不全而产生的不确定性。增加数据可以减少它。
  2. 偶然不确定性:这源于数据本身固有的噪声或无法解释的信息。即使有无限的数据,这种不确定性也存在。它又可以细分为两种:
    • 数据依赖(异方差)不确定性:它随着输入数据的变化而变化。比如在图像中,模糊的区域比清晰的区域预测不确定性更高。
    • 任务依赖(同方差)不确定性:这是我们今天的主角。它不随输入数据变化,而是任务本身的属性。它衡量的是某个任务本身的“难度”或“噪声水平”。在多任务学习中,不同任务的同方差不确定性,直接反映了它们之间的相对难度。

在数学上,我们如何刻画这种“任务难度”呢?一个常见且有效的假设是:每个任务的预测误差,服从一个均值为0、方差为σ²的高斯分布。这里的方差σ²,就是衡量该任务不确定性的关键!σ²越大,说明这个任务的预测误差波动越大,任务越“难”或者噪声越大;σ²越小,说明任务越“简单”或越确定。

有了这个假设,神奇的推导就开始了(我们略去复杂的数学推导过程,直接看精华结论)。当我们从概率最大化的角度出发,去优化多任务模型时,最终得到的总体损失函数会呈现出这样的形式:

对于两个任务的情况,总损失 ≈ (1/σ₁²) * L₁(w) + (1/σ₂²) * L₂(w) + log(σ₁²) + log(σ₂²)

让我们仔细品味一下这个公式:

  • L₁(w) 和 L₂(w) 是任务一和任务二原始的损失值。
  • σ₁² 和 σ₂² 分别是两个任务的不确定性(方差)。
  • 1/σ² 成为了损失的自动权重!

这意味着什么?如果一个任务的不确定性σ很大(任务难),那么1/σ²就会变小,从而降低该任务原始损失在总损失中的贡献。模型会想:“这个任务本身噪声就大、难度高,它的损失大一点是正常的,我不必对它每一个波动都反应过度。” 反之,如果一个任务的不确定性σ很小(任务确定、简单),那么1/σ²就会变大,放大该任务损失的贡献。模型会认为:“这个任务很明确,损失就应该小,现在损失大了,必须认真对待,赶紧优化!”

而后面的 log(σ²) 项,可以看作是一个正则化项,防止不确定性参数σ²变得无穷大(那样权重就为0了)或者无穷小(导致权重爆炸)。它鼓励模型学习到一个合理的、非极端的不确定性估计。

这样一来,损失权重 1/σ² 不再是需要我们手动敲定的数字,而是变成了模型参数的一部分,可以和网络权重w一起,通过梯度下降来学习。模型在训练过程中,会动态地感知每个任务的难度,并自动为损失分配合适的权重,从而实现更均衡、更智能的多任务优化。这个设计,在我看来,堪称是多任务学习领域的一股清流,将人的经验转化为了可学习的参数,极大地提升了方法的自动化程度和鲁棒性。

3. 手把手实现:用PyTorch将不确定性损失代码化

理论听起来很美妙,但能不能跑起来,才是我们工程师最关心的。下面,我就结合自己实战的经验,带大家用PyTorch一步步实现这个不确定性损失模块,并聊聊实现过程中的关键细节和那些容易踩的“坑”。

首先,我们定义一个名为 UncertaintyLoss 的模块。

import torch
import torch.nn as nn

class UncertaintyLoss(nn.Module):
    def __init__(self, num_tasks):
        """
        初始化不确定性损失模块。
        参数:
            num_tasks (int): 需要加权的任务数量。
        """
        super(UncertaintyLoss, self).__init__()
        # 将不确定性参数sigma初始化为可训练参数。
        # 使用randn初始化,注意我们实际使用的是sigma(标准差),而非方差sigma^2。
        # 初始值设为随机小值,模型会自己调整。
        self.log_sigma = nn.Parameter(torch.zeros(num_tasks))
        self.num_tasks = num_tasks

    def forward(self, *task_losses):
        """
        前向传播计算加权总损失。
        参数:
            *task_losses: 可变参数,按顺序传入各个任务的原始损失值(标量Tensor)。
        返回:
            total_loss (Tensor): 加权后的总损失标量。
        """
        assert len(task_losses) == self.num_tasks, \
            f"输入的任务损失数量({len(task_losses)})与初始化数量({self.num_tasks})不符!"

        total_loss = 0
        for i, loss in enumerate(task_losses):
            # 核心公式: loss / (2 * sigma_i^2) + log(sigma_i)
            # 这里我们参数化的是 log(sigma^2) 以保证正值,计算更稳定。
            # sigma_i^2 = exp(log_sigma[i])
            precision = torch.exp(-self.log_sigma[i]) # 等于 1/(sigma^2)
            total_loss += precision * loss + 0.5 * self.log_sigma[i]

        return total_loss

这段代码有几个需要特别注意的实现细节,也是我踩过坑的地方:

  1. 参数化技巧:我们没有直接学习 sigma 或 sigma^2,而是学习 log(sigma^2)。这样做有两个巨大好处:一是保证了 sigma^2 = exp(log(sigma^2)) 始终为正数,符合方差的定义;二是在优化时梯度更稳定,避免了直接对 sigma 求导可能出现的数值问题。
  2. 初始化:将 log_sigma 初始化为 0。这意味着初始的 sigma^2 = exp(0) = 1,初始权重 1/sigma^2 也为1。这相当于从一个平等的加权开始(类似1:1加权),让模型在训练初期平等看待所有任务,然后根据学习过程自行调整。
  3. 正则项系数:注意公式中的 2 * log(sigma) 项。在我们参数化为 log(sigma^2) 后,log(sigma^2) = 2 * log(sigma)。所以代码中 0.5 * self.log_sigma[i] 正好对应原公式中的 log(sigma)。这个项至关重要,它防止模型为了最小化损失而将 sigma 推向无穷大(那样权重就为零了)。

接下来,我们看看如何在训练循环中使用它。假设我们有一个模型 model,它同时产生两个任务的输出,我们分别计算了损失 loss1 和 loss2。

# 初始化模型和不确定性损失模块
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = YourMultiTaskModel().to(device)
uncertainty_loss_func = UncertaintyLoss(num_tasks=2).to(device)

# 将不确定性损失模块的参数也加入到优化器中!
# 这是最关键的一步,否则sigma无法被更新。
optimizer = torch.optim.Adam(
    list(model.parameters()) + list(uncertainty_loss_func.parameters()),
    lr=1e-4,  # 注意:学习率不宜过大!
    betas=(0.9, 0.999)
)

# 训练循环
for epoch in range(num_epochs):
    for data, target in dataloader:
        data, target = data.to(device), target.to(device)
        optimizer.zero_grad()

        # 模型前向传播,获取两个任务的预测
        out1, out2 = model(data)

        # 计算两个任务的原始损失
        loss1 = F.l1_loss(out1, target1)  # 例如,回归任务
        loss2 = F.cross_entropy(out2, target2)  # 例如,分类任务

        # 使用不确定性损失模块计算加权总损失
        total_loss = uncertainty_loss_func(loss1, loss2)

        # 反向传播与优化
        total_loss.backward()
        optimizer.step()

    # 可以打印一下学习到的不确定性参数,观察其变化
    with torch.no_grad():
        sigma1 = torch.exp(0.5 * uncertainty_loss_func.log_sigma[0]).item()
        sigma2 = torch.exp(0.5 * uncertainty_loss_func.log_sigma[1]).item()
        print(f"Epoch {epoch}: Task1 sigma={sigma1:.4f}, Task2 sigma={sigma2:.4f}")
        print(f"          Implied weights: w1={1/(sigma1**2):.4f}, w2={1/(sigma2**2):.4f}")

这里有一个超级重要的实战经验:学习率(LR)不要设置太大! 我最初实验时,曾沿用常规分类网络的学习率(如1e-3),结果训练极不稳定,损失经常出现NaN。这是因为不确定性参数 log_sigma 对梯度非常敏感。较大的学习率容易导致 sigma 的更新步幅过大,可能使 sigma 瞬间变得很小,使得权重 1/sigma^2 巨大,进而导致梯度爆炸。我的建议是,使用比主模型更小的学习率,或者使用Adam等自适应优化器(它已经能部分缓解这个问题),并将初始学习率设置在 1e-4 到 1e-3 这个范围的下限开始尝试。

4. 超越加权:不确定性损失带来的性能跃迁

当我们把不确定性损失应用到实际的多任务模型中,它带来的好处远不止是“自动调参”这么简单。它实际上是从优化原理的层面,重塑了多任务学习的过程,从而在多个维度上提升了模型的性能。

首先,最直接的提升是模型收敛更稳定,最终性能更好。 因为损失权重是自适应学习的,模型在训练初期不会因为某个任务损失量纲大而“偏科”。它能够更平滑地在不同任务间分配学习容量。在我参与的自动驾驶感知项目中,我们需要模型同时进行车辆检测(2D框)、深度估计和运动预测。使用固定权重时,检测任务由于损失计算方式(如GIoU Loss)数值通常较大,容易主导训练。改用不确定性损失后,模型自动为深度估计任务分配了更高的相对权重(因为其像素级回归任务噪声相对更明显),最终三个任务的精度得到了更均衡的提升,整体融合感知的得分提高了约5%。

其次,它提供了一种解释任务相对难度的视角。 训练结束后,我们学到的 sigma 值本身就是一个非常有用的指标。sigma 值大的任务,意味着模型认为该任务的不确定性高、难度大。这可以反馈给我们算法开发者:是不是这个任务的定义本身模糊?标注噪声大?还是模型结构对该任务不适配?例如,在同时做语义分割和实例分割的任务中,我们可能会发现实例分割的 sigma 持续高于语义分割,这符合我们的直觉——实例分割(区分同一类别的不同个体)通常比像素分类的语义分割更难。

再者,它增强了模型的鲁棒性和泛化能力。 由于正则项 log(sigma) 的存在,模型不会通过无限增大某个任务的 sigma 来“作弊”式地降低总损失。它被迫学习一套对所有任务都“公允”的权重分配策略。这种策略是基于任务内在的统计特性,而非训练集的偶然特征,因此学到的模型在面对分布外数据时,往往表现出更好的泛化性。有研究论文在多个标准多任务数据集上进行了验证,相比手工调参或等权重方法,不确定性损失在测试集上的平均性能提升更为显著。

为了更直观地对比,我们可以看下面这个简单的表格,总结了不同损失加权策略的特点:

加权策略是否需要调参是否自适应可解释性训练稳定性适用场景
等权重求和否否低一般,易受损失量纲影响任务简单、损失量级相近的快速原型
手动调整权重是,且工作量随任务数指数增长否中(依赖人的假设)依赖调参经验,不稳定任务数少(2-3个),且有充足调参资源
基于不确定性学习权重否(权重是参数)是(动态学习)高(sigma值反映任务难度)好(需注意学习率设置)任务数多、损失量纲差异大、追求自动化与均衡性能的场景

从表格可以看出,不确定性损失方法在自动化、自适应性和可解释性上取得了很好的平衡。当然,它也不是银弹。它的一个潜在“缺点”是引入了额外的可学习参数(每个任务一个 log_sigma),但这点参数量在现代动辄数百万参数的神经网络中几乎可以忽略不计。另一个需要注意的点是,它基于“任务不确定性是同方差的”这一假设。对于不确定性确实随输入数据剧烈变化的异方差任务(如像素级深度估计,远处像素不确定性更高),更精细的建模可能需要结合数据依赖的不确定性。

5. 实战扩展:当不确定性遇到复杂多任务网络

掌握了基础的不确定性损失模块后,我们可以把它应用到更复杂的多任务网络架构中。现代的多任务模型往往不是简单的共享主干网络,而是有着复杂的结构,例如分叉的Decoder、任务间的交互模块,甚至是动态路由网络。在这些场景下,不确定性损失的应用也需要一些灵活的变通。

场景一:多尺度预测与多任务结合。 很多视觉任务(如目标检测、分割)会在特征金字塔的不同层级进行预测。假设我们的网络在三个不同尺度上都进行语义分割和边缘检测两个任务,这就产生了6个损失项(3个尺度 x 2个任务)。一种简单的做法是为每个任务只学一个全局的 sigma(即2个参数),所有尺度的该任务损失共享这个不确定性。但更精细的做法是,为每个任务在每个尺度上都学一个独立的 sigma(即6个参数)。这样,模型可以感知到“在浅层特征上做边缘检测”和“在深层特征上做语义分割”的难度是不同的。实现上,只需将 UncertaintyLoss 的 num_tasks 设为6即可。

场景二:损失项并非完全独立。 有时,我们的总损失包含一些混合项或正则项。例如,在知识蒸馏中,除了各个任务的损失,还有一个让学生模型模仿教师模型的蒸馏损失。这个蒸馏损失和具体任务损失是什么关系?我们可以把它视为一个独立的“任务”,赋予其可学习的不确定性权重。又或者,有一个所有任务共享的特征正则化损失(如权重重衰减),这个损失通常比较稳定,可以固定一个小的权重,或者也纳入不确定性学习框架。关键在于,将每一类你希望模型自适应平衡的“代价项”,都视为一个子任务。

场景三:处理极端不平衡的任务。 不确定性损失虽然能自适应,但如果任务间难度差异极端巨大(例如一个任务是简单的二分类,另一个是高精度的3D姿态回归),在训练初期,困难任务的巨大损失和巨大 sigma 可能会让优化陷入一个平凡的局部最优解:即模型直接放弃困难任务(将其 sigma 学得非常大,权重接近0),只优化简单任务。为了防止这种情况,我有两个实用的技巧:

  1. 热身训练:在训练的前几个epoch,使用固定的、手工设定的、倾向于困难任务的权重(比如给困难任务损失乘10),让模型先在所有任务上都进行一定程度的优化。然后再启用不确定性损失模块,让其在此基础上进行微调。这相当于给优化器一个更好的起点。
  2. 对 sigma 施加约束:可以为 log_sigma 添加一个约束,比如限制其取值范围(通过 clamp 函数或添加一个将其限制在某个区间的惩罚项),防止它变得过大或过小。例如,可以约束 sigma 在 [0.1, 10] 之间,这样对应的权重范围就在 [0.01, 100],避免出现极端权重。
# 技巧示例:对学习到的sigma进行值域约束
class ConstrainedUncertaintyLoss(UncertaintyLoss):
    def forward(self, *task_losses):
        # 在计算前,先对log_sigma进行约束,确保sigma在[0.1, 10]之间
        # log(0.1^2) ≈ -4.6, log(10^2) ≈ 4.6
        self.log_sigma.data = self.log_sigma.data.clamp(-4.6, 4.6)
        return super().forward(*task_losses)

最后,调试和监控是必不可少的。在训练时,除了看总损失下降,一定要把每个任务的原始损失 L_i 和学习到的权重 1/sigma_i^2 都记录下来并可视化。你会看到一幅有趣的动态图:随着训练进行,不同任务的损失曲线和权重曲线会相互交织、动态调整。当某个任务损失突然增大时,它的权重可能会相应调低,以防止干扰其他任务;当它被优化得较好时,权重又可能回升。这个过程,就像是模型内部有一个智能的调度器在实时工作。

在我最近的一个多模态任务项目中,模型需要处理图像、文本和音频三种模态的联合学习。我采用了为每种模态的每个主要子任务(分类、重构)都配备不确定性权重的策略。训练初期,音频重构任务的 sigma 很高(权重低),因为从嘈杂音频中重构清晰波形非常困难;但随着训练,其 sigma 逐渐降低,权重增加,模型开始更认真地优化它。最终,三个模态的学习进度达到了一个比我手动调参更好的平衡点,验证集上的整体指标提升了约8%。这个经历让我深刻体会到,将人的先验知识(任务难度不同)转化为可学习的参数,让模型在数据驱动下自己找到最优平衡,是通向更强大、更智能的多任务学习系统的关键一步。

尚硅谷Redis 7学习笔记 阅读详情

相关推荐

Minitab正交试验设计:从入门到精通的完整指南

本文提供了一份使用Minitab进行正交试验设计的完整指南。从正交试验省时省力的原理讲起,详细介绍了在Minitab中创建正交表、填入数据、执行分析(包括解读ANOVA和P值)以及寻找最优参数组合的全流程。文章旨在帮助读者,特别是工艺优化和研发人员,快速掌握这一高效工具,从而用最少的实验次数锁定关键影响因素,提升工作效率与成果。

weixin_29201313的博客 470

RNNoise-SpeexDSP-WebRTC使用说明

本文介绍RNNoise、SpeexDSP与WebRTC音频处理库的下载、调用及参数配置方法,适用于Android语音工程集成。RNNoise基于深度学习,适合非稳态噪声降噪,需48kHz输入;SpeexDSP支持多采样率与回声消除,适用于全双工场景;WebRTC提供轻量级窄带处理。三者可串联使用:麦克风信号先经前级降噪(RNNoise或SpeexDSP),再进入WebRTC媒体引擎进行编码。重点说明各库的典型应用场景、接口调用方式、关键参数调节策略及采样率转换注意事项,帮助开发者高效集成与优化语音处理链路。

知识共享,你我皆是知识的搬运工 239

从RJPG到温度地图:基于大疆TSDK的热红外数据精准处理与Pix4D拼接实战

本文详细解析了如何利用大疆TSDK将无人机拍摄的热红外RJPG图像精准转换为带有地理坐标的温度TIFF文件,并完成Pix4D拼接生成正射温度地图的全流程。文章重点阐述了辐射定标的原理、TSDK关键参数(测量距离、湿度、发射率、反射温度)的设置与微调方法,以及Pix4D处理中的常见报错解决方案,旨在帮助用户实现从原始数据到可分析温度地图的精准处理。

docker7nomad的博客 466

Transformer 为什么能取代 RNN?从自注意力讲起

2017 年谷歌在《Attention Is All You Need》中提出 Transformer,核心是。它如今是 GPT、BERT、ChatGPT 的共同底座。

anew___的博客 979

全新RGB-D及平面法线数据集DIODE

丰田工业大学联合芝加哥大学和北航发布全新RGB-D及平面法线数据集 DIODE (Dense Indoor and Outdoor DEpth)。

qq_43477338的博客 1540

RustFS vs MinIO:深入对比分布式存储的性能、功能与选型指南

RustFS与MinIO是两款热门分布式存储系统,分别针对高性能与通用场景设计。RustFS基于Rust语言,在吞吐量(最高提升46%)、延迟(降低37%)和资源效率(内存占用减少67%)上显著优于MinIO,适合AI训练、金融级应用等高性能需求。MinIO凭借成熟的S3兼容性、云原生集成和企业级功能,更适用于混合云及现有S3生态。许可方面,RustFS采用Apache 2.0,MinIO为AGPLv3。选型建议:优先RustFS应对性能敏感场景,选择MinIO注重生态兼容性,也可考虑混合架构策略。

分布式存储与RustFS的博客 2024

基于深度学习的商品评论情感分析系统-毕业设计

面向商品评论的中文情感分析系统,支持单条预测、批量分析、情感分布与关键词、报告导出。TextCNN、BiLSTM、Transformer 在同一词表、同一数据切分、同一种子与超参下公平对比,测试集 F1 分别为 0.9101、0.9089、0.9075。结论是这一规模下模型复杂度未带来收益,但误差结构不同。附技术栈、截图、文档预览与演示视频。

csbysj2020 158

告别OLE!Delphi操作Excel的3种轻量级方案横向评测(FlexCel/XLSReadWriteII/LibXL)

本文深入评测了Delphi操作Excel的三种轻量级方案:FlexCel、XLSReadWriteII和LibXL。通过技术架构、API设计、性能测试和实战案例的全面对比,帮助开发者选择最适合的工具,提升Excel文件处理效率,告别传统OLE方案的依赖和性能问题。

onion的博客 934

图解循环神经网络(RNN)

RNN(循环神经网络)就是“带记忆的网络”:让网络拥有一块“记忆”,在处理当前数据时,能同时参考之前看过的内容;它不一次性看完全部输入,而是像人读书一样,一个字一个字地读,每读一个字就更新一次脑子里的记忆,然后用这份记忆去理解当前这个字。但便签一直在被改写,新信息不断挤占旧信息,传到第 40 步时,“巴黎”的痕迹已经淡得几乎没了。读到“贵”的时候,网络并没有重新去查“好看”这个词——但“好看”的影响已经融在了便签里(那个 1.5)。这三个困难的共同点:答案不在当前这一个字里,而在“前面那串东西”里。

技术管理两手抓,两手都要硬. 427

一文吃透 SAP HANA JSON Document Store:从架构到实战的完整指南

本文详细介绍了SAP HANA的JSON Document Store功能,包括其定位、架构、典型场景以及具体使用方法。文章首先分析了半结构化数据场景下传统关系模型的局限性,说明Document Store如何通过集合(Collection)存储JSON文档来提供灵活性。随后详细阐述了启用方式、SQL语法、与Column Store的联动机制,并提供了大量可直接复用的实战案例。特别强调了Document Store作为HANA内建服务的优势,包括企业级一致性、备份恢复等能力。最后给出了数据类型处理和跨引擎协

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 202

Open3D 使用CPD算法对点云配准【2025最新版】

Coherent Point Drift相干点漂移算法实现点云配准(python代码)博客长期更新,本文最近更新时间为:2025年2月2日。

点云侠的博客 8万+

【原创深度学习项目】基于深度学习的建筑工地防护装备检测系统|安全帽与反光衣检测系统(RT-DETR-L 模型)

本文设计并实现了一套基于RT-DETR-L的建筑工地防护装备检测系统,采用Django+Vue前后端架构,实现对安全帽、反光背心等7类装备及“无PPE”“未戴安全帽”等缺失状态的精准识别。系统支持图片、视频、摄像头实时检测,具备参数可调、数据可视化与统计分析功能,有效解决小目标漏检、误检及管理难问题,助力智慧工地安全管理落地。文末可获取源码。

qq_1445749146的博客 232

OpenClaw 在 Docker 容器中的部署实战——零配置启动

本文介绍了OpenClaw在Docker容器中的快速部署方法,对比了本地部署与容器化部署的优势。通过官方镜像和Docker Compose两种方式,5分钟即可完成部署,并详细讲解了配置管理方案(挂载配置文件和环境变量)。文章还提供了飞书集成配置方法,以及生产环境下的日志管理、资源限制、健康检查等优化建议。最后包含常见问题排查指南,帮助开发者快速实现OpenClaw的容器化部署。

刘一说的IT专栏 915

神经网络入门指南:从 CNN、RNN 到 Attention

神经网络的学习,本质是“预测—比较—纠错”的循环;CNN 通过局部连接与权重共享理解图像;RNN 通过隐藏状态传递上下文;LSTM 和 GRU 用门控机制管理记忆;Encoder–Decoder 把理解与生成拆成两个阶段;Attention 则让模型在每一步都能主动寻找最相关的信息。到这里,我们已经走完了从普通神经网络到 Attention 的完整路线。下一篇将正式进入 Transformer,看看它如何摆脱 RNN 的顺序计算,又如何让每个 Token 直接找到与自己相关的信息。

爱敲代码的小黄 396

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

AI 学习第 15 课:变长序列不 pack 直接喂 RNN,隐状态全被 0 污染

NLP 的 batch 里句子长短不一,短句垫 0 补齐后直接喂 RNN,看似能跑,实际上每个 0 垫步都在更新隐状态——短序列的最后一步输出根本不是它真实句子的结果。这一课用 torch 2.15(

aifannihao的博客 161

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

CNN 卷积神经网络深度解析:卷积、池化与特征提取的底层原理

卷积核(Kernel),也叫滤波器(Filter),本质上是一个可以训练的权重矩阵。1 0 -11 0 -11 0 -1这个卷积核可以对图像中的局部像素进行加权计算。不同的卷积核能够提取不同类型的特征:水平边缘特征垂直边缘特征纹理特征角点特征局部形状特征在传统图像处理中,滤波器通常由人工设计。而在 CNN 中,卷积核的权重通过训练数据和反向传播自动学习得到。这也是 CNN 能够自动提取图像特征的关键。# 第一层卷积padding=1# 第二层卷积padding=1。

2503_90237586的博客 294

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

图解常用深度学习优化器

来隐式构造 Hessian 逆的近似,从而直接估计出“谷底在哪”,而非仅仅判断“哪边最陡”。即SGD/Adam 主要看“当前坡度”,LBFGS 还会看“最近几步坡度怎么变”,像用局部地形图来规划路线。训练 Transformer 时,有些层梯度大,有些层梯度小。如果用 Adam + L2,梯度大的参数反而可能被“少衰减”,正则效果不稳定;:你要下山,但每次迈步前都要派侦察兵把整座山的每一个坡面都测量一遍,算出“绝对最陡”的方向才走一步。:还是下山,但这次你只问身边一个路人“哪边最陡”,然后就走。

技术管理两手抓,两手都要硬. 219

【无标题】无人机视角道路坑洞坑洼目标检测数据集深度学习 目标检测 无人机航拍 道路坑洞 路面病害 YOLO格式 数据集发布9032期

(一)类别构成该数据集聚焦单一类别——坑洞(类别 ID 为 0),任务指向明确,围绕无人机俯视视角下的道路坑洞目标开展检测标注。类别体系精简,与公路路面病害巡检的实际需求高度契合,图像中的坑洞样本可直接作为路面破损识别的核心正样本,便于对接道路养护排查流程。(二)数据数量数据集规模为 3285 张无人机俯视航拍图像,采用标准 YOLO txt 标注格式,标注框总计 4457 个,其中带有效标注的图片 2007 张,全部图片均带有有效标注。

qq_2529413168的博客 187

基于深度学习的猫图像目标检测方法研究:YOLOv8s模型海选、多种子对比训练与Django+ONNX部署实现详解

本课题基于深度学习研究猫图像目标检测问题。数据集含1000张猫图像、1188个标注框,按固定比例划分并冻结清单;训练前在多个候选族中短训海选,确定YOLOv8s为主模型,经学习率搜索与显存标定后完成150轮训练,验证集mAP50达到0.92,并以7个随机种子的对比实验验证稳定性。最优权重导出为ONNX接入Django系统,提供图片、视频、摄像头三种识别方式,配套识别记录管理与统计大屏,形成从训练到应用的完整闭环。

WEIXIN_JSJBSZDS的博客 221

第 05/24 期:计算图与自动微分:深度学习如何计算梯度

本文系统阐述了神经网络训练中梯度计算的本质:损失对参数的敏感性。通过构建计算图,将复杂函数分解为基本运算,利用链式法则实现反向传播。核心在于反向模式自动微分——以一次前向计算为基础,通过传播输出对中间变量的敏感性,高效求得所有参数梯度。相比前向模式,反向模式在参数多、目标为标量的场景下更高效。计算图不仅适用于神经网络,也广泛适用于任意可微程序。关键思想是:梯度是局部导数与上游敏感性的乘积,分支路径的贡献需累加,从而保证导数计算的正确性与效率。

weixin_47502228的博客 331

【深度学习项目实战·30】PM2.5短期预测:用LSTM构造没有未来信息的滑动窗口

本文基于北京PM2.5数据,使用LSTM实现从最近24小时历史观测预测下一小时PM2.5。重点解决时间切分、因果填补、滑动窗口构建与标准化等关键问题,确保模型仅依赖过去信息,避免未来泄漏。通过滚动单步预测与持续性基线对比,评估在原始单位下的MAE/RMSE,验证模型有效性。强调时间顺序与数据完整性,为时序预测提供可复现的实践框架。

银尘博客 519

深度学习 目标检测 无人机巡检 防震锤 电力设备 YOLO格式 数据集发布

深度学习 目标检测 无人机巡检 防震锤 电力设备 YOLO格式 数据集发布 9038期

qq_2529413168的博客 335

无人机巡检道路路面异常检测数据集 深度学习 目标检测 无人机巡检 道路病害 路面异常 YOLO格式 数据集发布9028期

无人机巡检道路路面异常检测数据集 深度学习 目标检测 无人机巡检 道路病害 路面异常 YOLO格式 数据集发布9028期

qq_2529413168的博客 213

AI 学习第 14 课:CNN 训 6 轮卡在 0.5352,数据没打乱

第 13 课把 Conv2d 的参数量和池化后的尺寸算清了,这课把卷积块拼成一个能训练的完整网络,跑满 6 个 epoch。第一版直接卡死:loss 从 2.6104 掉到 0.6989 就再也不动,

aifannihao的博客 252

深度学习基本原理:从数学基础到神经网络训练

深度学习训练的核心,是先确定模型结构,再通过前向计算得到损失,利用链式法则和反向传播计算梯度,最后借助优化器与学习率不断更新参数。真正理解这条链路,后续学习更复杂的网络结构才有可靠的基础。

chh563的博客 167

计算机毕业设计选题推荐:【基于深度学习的车辆损坏严重程度评估方法研究】ResNet50 图像分类

系统用 ResNet50 完成轻微、中度、严重三档分类,输出类别、置信度和单次耗时;视频按每秒一帧抽帧识别,历史区同步出图,没识别出来的帧也保留原图;识别记录可检索、看详情和删除,大屏按类别、时段和任务类型做统计。训练采用迁移学习,部署走 ONNX,推理前加纯色和域外两道拒识,尽量避免把非车损画面硬判成某一类。

BYSJLG的博客 238
上一篇: ZYNQ双网口共享MDIO接口的配置与优化实践
下一篇: 从拒稿到录用:我的计算机视觉SCI投稿实战复盘
study
博客等级 码龄27年 67粉丝 1642原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值