【DSN】Deeply-Supervised Nets

深度监督网络(DSN)旨在使隐藏层学习更直接和透明,减少分类错误,提高特征的鲁棒性和区分性。通过引入伴随目标到每个隐藏层,DSN在MNIST, CIFAR-10, CIFAR-100, SVHN等数据集上取得了优于先前最佳结果的表现。DSN结构结合了CNN和SVM,优化了整体损失和伴随损失,解决了梯度消失和爆炸问题,且能更快收敛。" 103274467,1201153,理解UniRx:序列操作Sample、Scan、Switch等详解,"['C#', 'Unity', '编程', '异步', 'Rx']

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在这里插入图片描述
这是一篇2014年的论文,还是有点年代感的,因为在Unet++中有使用到深度监督的思想,所以来打个卡。

概述


  • 设计目的?
    • 让隐藏层的学习过程可以更加直接(direct)和透明(transparent)。
    • 减少分类的错误。
    • 让学习的特征更加的鲁棒性和discriminativeness(易区分的,独特的)
    • 更好的解决梯度爆炸和梯度消失的问题。
  • 如何做,内容?
    • Introduce Companion objective to hidden layer(类正则化)
  • Results
    • 使用的数据集Benchmark dataset:MNIST, CIFAR-10, CIFAR-100, SVHN。
    • 在以上数据集取得了比以往的state-of-the-art results更好的结果。
  • 对当时DL framework的问题总结?
    • 1、中间隐藏层在训练时候的不透明
    • 2、梯度消失和梯度爆炸
    • 3、算法缺乏全面的数学理解
    • 4、依赖于大量的数据
    • 5、手工调整网络的复杂性

细节部分


1、Motivation

结构上是将SVM模型不止在output层上而是接在每一个层上。

  • 分类器在highly discriminative features上训练会得到一个更好的结果。
  • properties of companion objective:
    • 可以表现出正则化的性质,在不牺牲训练准确率的情况下提高了测试集合的准确率。
    • 可以更快的收敛,特别是在小训练集上。

2、结构

  • 基础结构还是和标准的CNN框架一样。然后在output和隐藏层增加SVM model或者Softmax。这样就是DSN-SVM,和DSN-Softmax。【早期已经有了将CNN和SVM结合起来的paper,但是动机和这篇paper的不一样。】

3、Formulation

  • CNN weights: W = ( W ( 1 ) , . . . , W ( M ) ) W=(W^{(1)}, ..., W^{(M)}) W=(W(1),...,W
IBM DSN3902-530 是一个与 IBM Db2 数据库相关的错误代码。此错误通常出现在 z/OS 平台上,表示在执行 SQL 语句时遇到了数据转换问题,具体来说是字符集或编码方案不匹配导致的错误。 ### 错误描述 DSN3902-530 指示在将数据从一种字符集转换为另一种字符集时失败。这可能发生在使用不同字符集的应用程序与数据库之间传输数据时,尤其是在涉及多语言支持的情况下。例如,在将数据从客户端应用程序插入到数据库表中时,如果客户端使用的字符集与数据库期望的字符集不兼容,则可能会触发此错误。 ### 常见原因 1. **字符集不匹配**:源系统和目标系统的字符集定义不一致。 2. **无效的字符**:尝试插入或更新包含目标字符集无法表示的字符的数据。 3. **NLS(国家语言支持)配置问题**:数据库或会话级别的 NLS 参数设置不当,导致字符转换异常。 ### 解决方案 1. **检查字符集配置**: - 确认客户端和服务器端的字符集设置是否一致。 - 使用 `SELECT * FROM SYSIBMADMADMENV` 查询当前数据库的字符集信息。 2. **验证数据内容**: - 检查即将插入或更新的数据是否存在非法字符。 - 对于特殊字符,确保它们在目标字符集中是有效的。 3. **调整 NLS 设置**: - 如果需要处理多种语言,考虑使用 Unicode 字符集(如 UTF-8)以提高兼容性。 - 修改会话级别的 NLS 设置,例如通过 `ALTER SESSION SET NLS_LANGUAGE='AMERICAN'` 和 `ALTER SESSION SET NLS_TERRITORY='AMERICA'` 来调整语言和区域设置。 4. **使用适当的转换函数**: - 在必要时显式使用字符转换函数,例如 `CONVERT()` 或 `TRANSLATE()`,以确保数据在不同字符集之间正确转换。 ### 示例 以下是一个简单的 SQL 示例,展示如何检查当前数据库的字符集信息: ```sql SELECT * FROM SYSIBMADMADMENV; ``` 该查询将返回有关当前数据库环境的信息,包括字符集、排序规则等。 ### 相关问题 - 如何确定 IBM Db2 数据库的字符集? - 在 IBM Db2 中如何处理字符集转换问题? - 如何修改 IBM Db2 数据库的 NLS 设置?
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值