机器学习论文笔记（六）HIERARCHICAL REPRESENTATIONS FOR EFFICIENT ARCHITECTURE SEARCH

最新推荐文章于 2024-11-12 01:00:00 发布

原创

最新推荐文章于 2024-11-12 01:00:00 发布 · 2.7k 阅读

6 ·

CC 4.0 BY-SA版权

本文介绍了ICLR2018的论文，探讨了如何使用分层表示来实现高效的神经网络架构搜索。文章提出了一种基于简单演化算法的方法，通过堆叠基本操作（如卷积、最大池化）构建复杂的网络结构，减少了搜索空间的冗余。此外，通过跳跃链接实现深层次网络，如ResNet和DenseNet。论文还讨论了锦标赛式的进化算法和训练过程，并指出这种方法在CIFAR-10数据集上取得了良好的效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

机器学习论文笔记（六）

标签（空格分隔）：陈扬

机器学习论文笔记（六）
- 分层表示高效的架构搜索（HIERARCHICAL REPRESENTATIONS FOR EFFICIENT ARCHITECTURE SEARCH
  - 优点摘要：
  - 抛砖：
  - 引玉
  - 定义部分
  - 元操作
  - 进化
  - 初始化
  - 算法
  - 训练结果
- 总结：

分层表示高效的架构搜索（HIERARCHICAL REPRESENTATIONS FOR EFFICIENT ARCHITECTURE SEARCH

）
又是选错了，ICLR2018的文章，只能开荒了

github：https://github.com/markdtw/awesome-architecture-search （还没开源代码）
arxiv：https://arxiv.org/abs/1711.00436
简介：这篇文章讲的是如何利用高效的搜索算法来搜索网络的拓扑结构。用一个简单但功能强大的演化算法。这个方法可以发现具有卓越性能的新架构。它这篇文章很大程度上借鉴了GECNN的一些东西，或者说，我之前写了GECNN的论文笔记，里面也是讲演化算法的：https://zhuanlan.zhihu.com/p/36758195 。

优点摘要：

1）通过分层图学习的方法，大大减少了冗余的搜索空间
2）引入分层表示来描述神经网络体系结构。
2）通过堆叠简单的基元（比如conv，maxpooling），实现了复杂的结构，使用简单的随机搜索，也可以获得用于图像分类的竞争架构，这体现了搜索空间构建的重要性。
3）可以通过跳跃链接实现resnet，densenet等深层次的网络（为resnet引用都快破