深度学习中创新点比较小，但有效果，可以发（水）论文吗?

原创 2022-08-29 10:01:15 4.7k 阅读 AI写同款

收录于

人工智能

FightingCV

码龄9年墨衍会员 · AI 创作全网分发

154粉丝105篇原创

关注

AI摘要

本文探讨了深度学习领域中即使是小创新也可通过多种方法包装成有价值的研究成果。提供了刨根问底、移情别恋、声东击西及移花接木四种策略，并强调了写作的重要性。

深度学习中创新点比较小，但有效果，可以发（水）论文吗?

来源：https://www.zhihu.com/question/528654768

作者：王晋东不在家

首先，当然可以发。不过即使你不提点，也可以发。

然后，重点是如何发？给出一些讨论以供参考：

**刨根问底法：**此种方法最为直接，即知其然也要知其所以然。如果你提的小改进使得结果变好了，那结果变好的原因是什么？什么条件下结果能变好、什么条件下不能？提出的改进是否对领域内同类方法是通用的？这一系列问题均可以进行进一步的实验和论证。你看，这样你的文章不就丰富了嘛。这也是对领域很重要的贡献。
**移情别恋法：**不在主流任务/会议期刊/数据集上做，而是换一个任务/数据集/应用，因此投到相应的会议或期刊上。这么一来，相当于你是做应用、而不是做算法的，只要写的好，就很有可能被接受。当然，前提是该领域确实存在此问题。无中生有是不可取的，反而会弄巧成拙。写作时一定要结合应用背景来写，突出对领域的贡献。
**声东击西法：**虽然实际上你就做了一点点提升和小创新，但你千万不能这么老实地说呀。而是说，你对这个A + B的两个模块背后所代表的两大思想进行了深入的分析，然后各种画图、做实验、提供结果，说明他们各自的局限，然后你再提自己的改进。这样的好处是你的视角就不是简单地发一篇paper，而是站在整个领域方法论的角度来说你的担忧。这种东西大家往往比较喜欢看、而且往往看题目和摘要就觉得非常厉害了。这类文章如果分析的好，其价值便不再是所提出的某个改进点，而是对领域全面而深刻的分析。
**移花接木法：**不说你提点，甚至你不提点都是可以的。怎么做呢？很简单，你就针对你做的改进点，再发散一下，设计更大量的实验来对所有方法进行验证。所以这篇paper通篇没有提出任何方法，全是实验。然后你来一通分析（分析结果也大多是大家知道的东西）。但这不重要啊，重要的是你做了实验验证了这些结论。典型代表：Google家的各种财大气粗做几千个实验得出大家都知道的结论的paper，比如最近ICLR’22这篇：Exploring the Limits of Large Scale Pre-training

以上介绍了几种常用的办法。更多的办法，以后再更新。

最后说一句，不管上述哪种方法、甚至即使你有特别大的创新时，写作永远都是重要的。

作者：HeptaAI

当然可以，但是你自己要明白，自己的工作的意义是什么。就算性能下降了，如果你能找出性能下降的理由，并且提出前人忽略的地方，也是非常好的文章。发文章首先要思考自己的工作对于学界的贡献，现在大部分文章都在刷点，能够静下心来想想为什么自己的点数上去的反而不多。比如一个benchmark，你套一个图论上去，性能就上去了。但是为什么呢？是因为图论引入的拓扑关系可以提升网络的structure性吗？是因为图论增加了知识间的关联度吗？反之，如果点数反而下降了，是因为图论和任务不兼容吗？是因为图论带来了冗余的知识吗？如果是，那又是什么冗余知识呢？可以通过消融实验来佐证你的观点吗？如果不行，可以用前人做过的实验说明图论可能会带来冗余知识吗？这些都需要静下心来认真思考，才能提升自己的思维质量。

研究工作在很大程度上是对整体思维的提升，而非对某种技术的掌握。研究人员与程序员最大的区别就在于没有详细的任务界定，很多东西根本不是良定义的，很多东西根本没法建模，很多东西无法用劳动力去衡量。程序员团队做出的产品，是有肉眼可见的实际价值的，而且有比较完善的任务体系，实现的是一个业务功能；研究团队一般由一两名科学家带头，做出的主要产品是在学界业界都有参考价值的研究报告，而代码和性能只是次要产品。不难发现，研究代码一般都比较散乱，很多程序员为此不齿，其实如果自己去写，写出来的代码根本好不到哪里去；最主要原因是研究的方向和任务都不是确定的，修改代码是非常正常的事情，改着改着又一定会出问题，例如想要加入某一些观测，这个时候代码又要改。研究在很大程度上在意的是你是如何得到这个东西的，而不是你得到的这个东西有多好。如果这个东西通过一些小聪明比原来好了一点点，你却不知道是怎么做出来的，那么你的贡献是微小的。

所谓的水论文，就是指这一类。胡乱改一通，调了一下参数，甚至干脆换了一个种子，好了，性能提升了2个点，开始写文章。文章丝毫不提相关工作，只介绍自己的架构，做起来好像跟自己模仿的工作没有任何关系，以此掩盖是非，弄虚作假，骗过审稿人的眼睛，发上顶会。相比之下，那些发到一般的期刊和会议的一些文章，虽然并没有提升多少性能，但是提出了看问题的另一个角度，通过这个角度重新分析某一个模型的性能为什么好，反而给社区带来了很大的启发，诞生了诸如Mask RCNN这样的工作。

因此，只要你不故弄玄虚，秉着严谨的态度写论文，通过调查先前的研究，思考自己的创新点到底在哪里，为什么会提升性能，你用了哪些方法来证明你的性能提升是因为这个原因，之前工作为什么没有思考到这个创新点，你又是怎么想到的，这些全部用朴素的文字表达出来，用有深度的思考呈现给编辑看，这根本不是水论文，这种文章的含金量甚至比单纯的提点更高。

作者：知行

深度学习属于人工智能的连接学派。如果你仔细看看或许觉得神经网络和集成电路比较相似。这里面暗含了一个基本思想：模块化。所以深度学习通俗一点就是“积木游戏”。所以深度学习创新可以类比积木游戏创新就主要来源于三个方面：（1）创造新的积木类型。（2）创造新的堆积木的方式，堆出不同形状。（3）堆积方法用于不同的游戏场景。

以下从这三个方面展开来讲：

（1）创造新的积木类型

拿激活函数举例：relu、leakly relu、parameter relu… sigmoid、tanh。按网络基础构成算子举例：全连接fc，卷积conv，循环算子lstm，gru。

尝试着从数学库里面找一个理论，将它算子化，也许这就是一篇不错的论文。以前专家总是手工来寻找这样的算子，现在google的大神们借助算力使用automl，autodl来自动寻找算子，如果你也有功能强大的算力你也可以尝试着用算力自动寻找新的“积木算子”，如果这个算子恰好又是神奇的提高了神经网络的性能，那么人工智能深度学习领域又将多一个大神一样的人，而这个人恰好就是你。

（2）创造新的堆积木方式

resnet很大程度受益于highway network的启发，将X直连到下一层这个概念在论文发出来之后其实看看觉得蛮直观的，但为什么其他人都想不到呢？这个问题我也在问自己，O(∩_∩)O哈哈~。再举个例子：Conv层如何堆，是同型Conv堆积还是不同kernel size的conv进行堆积，也许这就是alexnet，googlenet等不同卷积网络的区别。

目前google也借助遗传算法等自动找到新的堆积木的方式，发了很多高水平的论文，如果我告诉大拿科学家他们这仅仅是堆积木的方法不同“无他但手熟尔“，他们会不会生气打我。