Dropout Feature Ranking for Deep Learning Models

朝朝暮暮Quake

已于 2024-04-24 14:22:42 修改

阅读量1.1k

点赞数 20

文章标签：深度学习人工智能

于 2024-04-23 23:29:30 首次发布

本文链接：https://blog.youkuaiyun.com/qq_43578042/article/details/138109855

版权

本文介绍了一种新的深度学习特征排序方法，通过应用变分dropout技术。这种方法能够有效地对特征进行排序，尤其在非线性特征交互和相关特征中表现突出。在多个数据集和任务上，该方法与经典和深度学习特征排序方法对比，展现出优势。在药物反应预测问题上，该方法也显示出识别关键基因的能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要

深度神经网络( deep neural networks，DNNs )在多个领域取得了最新的研究成果。不幸的是，DNNs因其不可解释性而臭名昭著，从而限制了其在生物和医疗保健等假说驱动领域的适用性。此外，在资源受限的环境下，设计依赖更少信息特征的测试是至关重要的，这将在合理的预算范围内实现高精度的性能。我们旨在通过提出一种新的面向深度学习的通用特征排序方法来弥合这一差距。我们展示了我们的简单而有效的方法在静态和时间序列场景中，在从分类到回归的任务中，在两个模拟和5个非常不同的数据集上，与8个“草人”、经典和深度学习的特征排序方法进行了比较。我们还说明了我们的方法在药物反应数据集上的使用，并表明它识别了与药物反应性相关的基因。

简介

深度神经网络( Deep Neural Networks，DNNs )已经开始在生物学和医疗保健领域崭露头角，包括基因组学( Xiong et al . , 2015)、医学影像( Esteva et al , 2017)、EEG ( Rajpurkar et al , 2017)和EHR ( Futoma et al , 2017)。然而，DNNs是黑盒模型，因其不可解释性而臭名昭著。在生物学和医疗保健领域，为了推导出可以通过实验验证的假设，提供关于哪些生物学或临床特征驱动预测的信息是至关重要的。所需的数据收集可能非常昂贵，因此，在合理的预算范围内生成收集最有效数据的实验设计也很重要。因此，对de进行特征排序有很强的需求。我们旨在通过提出一种新的面向深度学习的通用特征排序方法来弥合这一鸿沟。
在这项工作中，我们提出了通过变分dropout ( Gal et al , 2017)对特征进行排序。Dropout是一种常用于正则化神经网络的有效技术，通过随机移除隐藏节点值的子集并将其设置为0。在这项工作中࿰