菜菜小孙的blog

Learning to Reweight Examples for Robust Deep Learning一、总结二、翻译abstract深度神经网络已被证明是非常强大的建模工具，为许多监督学习任务涉及复杂的输入模式。然而，它们也可以很容易地过度适应训练集的偏差和标签噪声。除了各种正则化器外，示例重加权算法是解决这些问题的流行解决方案，但它们需要仔细调整额外的超参数，例如挖掘计划（mining schedule）和正则化超参数。与过去的重加权方法不同，过去的重加权通常由每个例子的成本值的函数（co

Data Dropout: Optimizing Training Data for Convolutional Neural Networks小孙研二的第一篇博客，不知不觉时间真快，要努力了哦~一、总结这篇文章是Understanding Black-box Predictions via Influence Functions这篇工作的简化版，利用influence functions模拟’leave one out’的思想，在给定的验证集上计算每个训练样本的影响值，进一步提出了data drop

Why choose lifelong learning in medical images?最近几年顶会上将lifelong用在medical images中的文章，可参考，附abstract和introduction，arxiv上几乎都可以下载，部分需要springer。如有添加，后续会补~PAPERYEARCONFERENCEmethodA Lifelong Learning Approach to Brain MR Segmentation Across Scanners

EEC: LEARNING TO ENCODE AND REGENERATE IMAGES FOR CONTINUAL LEARNING二、翻译0. 摘要abstract：持续学习的两个主要障碍是灾难性的遗忘和数据存储的内存限制。为了应对这些挑战，我们提出了一种新颖的、受认知启发的方法，该方法可以训练具有神经样式传递功能(Neural Style Transfer)的自动编码器来编码和存储图像。在进行新任务的训练期间，将重播编码事件中的重建图像，以避免灾难性的遗忘。对重建图像的损失函数进行加权，以降

Cognitively-Inspired Model for Incremental Learning Using a Few Examples二、翻译0. 摘要abstract：增量学习尝试开发一个分类器，该分类器从分离为不同类的数据流中连续学习。 深度学习方法在逐步学习新类时会遭受灾难性的遗忘，而大多数增量学习方法每个类都需要大量的训练数据。 我们仅使用几个训练示例（称为“few shot incremental learning”（FSIL））来研究增量学习的问题。 为了解决这个问题，我们提出

A Lifelong Learning Approach to Brain MR Segmentation Across Scanners and Protocols冲冲冲冲冲冲冲！文章目录A Lifelong Learning Approach to Brain MR Segmentation Across Scanners and Protocols一、总结二、翻译0. 摘要1. 引言2. 方法3. 实验3.1 数据集：3.2 训练细节3.3 实验3.4 结果4. 结论三、纸质版材料一、总结

Dynamic memory to alleviate catastrophic forgetting in continuous learning settings冲冲冲冲冲冲冲冲冲冲冲冲冲冲冲！文章目录Dynamic memory to alleviate catastrophic forgetting in continuous learning settings一、总结二、翻译0. 摘要1. 引言相关工作贡献2.方法3. 实验和结果3.1 数据集3.2 实验3.3 结果4. 结论三、纸质版材料

Learning multiple visual domains with residual adapters二、翻译0. 摘要abstract：人们越来越需要学习很好地解决许多不同类型的问题和数据的表示形式。 在本文中，我们特别着眼于学习单一视觉表示的任务，该视觉表示可以成功地用于分析非常类型的图像，从狗的品种到停车标志和数字。 受最近关于预测另一个参数的学习网络的研究的启发，我们开发了一种可调整的深度网络体系结构，该体系结构可通过适配器残差模块即时转向各种视觉域。 我们的方法在保持甚至提高特定于

Unifying Multi-Domain Multi-Task Learning:Tensor and Neural Network Perspectives二、翻译0. 摘要abstract：多领域学习旨在从几个不同但相关领域的同时学习中获益。在这篇文章中，我们提出了一个单一的框架，将多领域学习(MDL)和相关但更好的研究方向多任务学习(MTL)相结合。通过利用语义描述符的概念，我们展示了我们的框架如何包含各种经典的和最近的MDL/MTL算法，结合不同语义描述符编码，作为具有的特殊情况。作为第二

二、翻译0. 摘要abstract：新型冠状病毒（COVID-19）的爆发，在世界各地引起了灾难性的局面，并已成为近百年来最严重的疾病之一。全球范围内，COVID-19的患病率每天都在迅速上升。虽然目前还没有发现这种流行病的疫苗，但深度学习技术已证明是临床医生用于自动诊断COVID-19的武器库中的强大工具。本文旨在概述最近开发的基于深度学习技术的系统，这些系统使用不同的医学成像方式，如计算机断层扫描(CT)和X射线。这篇综述专门讨论了使用深度学习技术为COVID-19诊断开发的系统，并提供了对用于训

Pareto Multi Objective Optimization一、总结1.1 Pareto多目标优化摘自该文章多目标优化问题的数学模型一般可以写成如下形式f1(x),f2(x),...,fn(x)f_1(x),f_2(x),...,f_n(x)f1​(x),f2​(x),...,fn​(x)表示n个目标函数，目的都是使之达到最小1：解A优于解B（解A强帕累托支配解B）假设现在有两个目标函数，解A对应的目标函数值都比解B对应的目标函数值好，则称解A比解B优越，也可以叫做解A强帕累托支

Multi-task, multi-domain learning: Application to semantic segmentation and pose regression二、翻译0. 摘要abstract：我们提出了一种方法，可以利用不同任务标注的数据集（例如不同标签集的分类）来提高每个数据集上的预测准确性。域适应技术可以纠正数据集偏差，但当任务不同时，它们不适用，而需要补充它们来处理多任务设置。我们提出了一种新的选择性损失函数，它可以集成到深层神经网络中，利用来自多个数据集的训练数据，

Multi-Task Learning as Multi-Objective Optimization二、翻译0. 摘要abstract：在多任务学习中，多个任务共同解决，它们之间共享归纳偏差。多任务学习本质上是一个多目标问题，因为不同的任务可能会发生冲突，因此需要进行权衡。常见的折衷方案是优化代理目标（proxy objective），以最小化每个任务损失的加权线性组合。但是，这种解决方法仅在任务不竞争时才有效，这种情况很少发生。在本文中，我们明确地将多任务学习视为多目标优化，其总体目标是找到帕累

翻译摘要abstract：在检测不同尺度物体的识别系统中，特征金字塔是一个基本的组件。但是最近的深度学习物体检测方法都避免了金字塔表达，在某种程度上因为需要大量计算和内存。在这篇文章，我们利用了深度卷积网络固有的、多尺度的、金字塔层级来构建几乎没有额外损失（marginal extra cost）的特征金字塔。我们提出了一个带有横向连接的自上而下的结构，用来建立所有尺度的高层语义特征图。这个被称为FPN的网络结构作为通用的特征提取器在不同应用中都展现了显著的改进。在一个基本的Faster R-CNN系

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks开始于2020年7月27日 晚八点结束于2020年7月因为本学期看的第三篇FPN论文是和faster rcnn网络结合，并没有学习过什么是faster rcnn，斗争了一下，菜菜的小孙决定来看这篇文章了，于是这篇文章成为了小孙本学期精读的第四篇论文。翻译0. 摘要abstract：SOTA的目标识检测网络依赖于区域提案/候选框生成（regi

翻译摘要abstract：　　在这篇文章中，我们提出了一个全新的的更强的用于医疗影像分割的网络结构UNet++。我们的结构本质上是一个深度监督（ deeply-supervised）的编码-解码的网络，编码解码的子网络通过一系列的嵌套的（nested）稠密的跳跃路径（dense skip pathways）相连接。重设计跳跃路径的目的是减少编码、解码子网络特征图的语义缺失（semantic gap）。当解码和编码网络的特征图语义类似的时候，我们认为这个优化器将会处理一个更简单的任务。我们在多个医疗影像

学习心得 U-Net: Convolutional Networks for Biomedical Image Segmentation原文链接一、翻译摘要人们普遍同意，成功地训练深度网络需要大量已标注的训练样本。在本文中，我们提出了一种网络和训练策略。为了更有效的利用标注数据，我们使用数据扩张的方法(data augmentation)。该体系结构包括两部分：用于捕获上下文的收缩路径（a contracting path）和用于进行精确定位的对称扩展路径（a symmetric expanding