本文以炼丹为比喻，探讨了深度学习研究中的不确定性和技术信仰的重要性。作者指出，深度学习如同炼丹，需要不断尝试和迭代，面对困难时，技术信仰能帮助克服心理障碍，推动创新。文中提到，通过随机梯度下降等方法，可以逐步优化并超越局部极值。在实践中积累的技术信仰，如端到端优化、benchmark意识等，能引导研究员在挑战中找到突破。文章鼓励研究人员保持信念，相信自己能解决遇到的问题，以此推动技术进步，为社会带来实质改变。
编者按
炼丹，中国秘术也。
从灵材采撷到丹炉选取，从丹方配制到真火运用，乃是集天地之气，与日月同光的修行之道
深度学习，机器学习进阶也。
从海量原始数据抓取到模型的新数据预测，乃是图像识别和自然语言处理等领域的重要算法
炼丹讲究方法和参悟，而深度学习同样需要丹师们灵活组合各类单方灵材，并且拥有自己的体悟和追求。
我们推出的新栏目——“炼丹心得”便是从AI“炼丹”出发，不定期邀请优秀丹师们同大家一起分享“AI炼丹之术”，助力大家在AI炼丹之路上撷取各类“灵材丹方”。
本期王者级炼丹师——旷视研究院极智感知组组长范浩强，将分享他在研究深度学习算法时的炼丹心得，让我们一起跟随他的脚步“修炼”吧。
关于信仰的重要性，范浩强认为，这是因为炼丹的高度不确定性决定的，而且很多时候我们要克服心灵上和思想上的阻碍，用另一股力量去对抗它，这股力量就叫做“炼丹的技术信仰”。
01
我们为什么需要“炼丹的技术信仰”
首先，“炼丹”具有高度不确定性，需要进行大量尝试工作。可能一个idea绝大多数情况下都不work，需要不停沿着某一方向进行迭代和尝试。如果在这一过程中，我们无法凭借坚强的意志继续坚持，那么最终产出很可能无法实现。
比如，如果我们想在一些创新领域里走到引领者的位置，这就需要我们凭借信仰在前人的研究中再前进一步，然而好走的路已经被很多人试过，剩下的路会满是坎坷。
而在荆棘路上探索出的研究方法天生成功概率较低，我们在更新这些方法时还伴随自身认知的更新，而这一认知更新往往和我们的直觉背道而驰，会让我们难以习惯。
为了克服这一心灵和思想上的不习惯感，我们要用另一股力量去对抗，这股力量就叫做“炼丹的技术信仰”。这一力量不仅关乎商业价值的创造，更关系着人类福祉的提升，它让每位算法研究员拥有了一种使命——以技术服务社会，为真实世界里每个人的生活带来质的改变。
在我们进行“超画质”研发工作的时候，以往对光学指纹算法的认知还停留在基础阶段，而我们凭借着自己的信仰，引入算法，扭转了对其原有的认知，实现深层次的思考，于是我们看到了无需漫长曝光的纯净手机夜景拍摄；普通机型的手机用户也能拥有的效果拉满的虚化、HDR、分割等。
这便是我们坚信的技术信仰力量带来的改变。
02
如何在炼丹中获得信仰
我见过很多同学尝试过多种算法创新方法，然而一旦发现结果不理想，便会陷入绝望。你是否也遇到过类似情况呢？
我建议大家尝试“随机梯度下降”这个方法。很多算法或技术创新需要通过各种步骤和改变才能实现，但我们在进行每一次增量式改变的时候，结果可能变好也可能变差，这是一个非常稀疏的回报。
同时，受到具体实验条件、细节、场景等随机因素的影响，很多实验会带有大量噪声，如果我们仅通过当前某一步反馈就认为自己只用改动一个地方就能让内容变好，便停止工作，这会让我们最终难以获得需要较大改变幅度才能得到的创新结果。
炼丹术语讲“克服局部极值”，即我们进行反馈工作的方式，由从当前孤立的实验判断涨点或掉点，变成我们在一定原则指导下思考整个思路和设计的方式，从而看其是否走在正确的路上。通过大量经验得出的指导性意见会比我们一两次工作反馈更加有效，这也能让我们跳出“局部极值”。
我们在经过长时间实践后往往会积累一些技术信仰，比如端到端优化、benchmark意识、计算量原理、数据量原理。一个经验是，如果大家在实验中发现某件事情的结果有悖于自身之前的认识，那它背后很可能会衍生出更加深刻的现象。
从另一个角度来看，即便这件事出现错误，但它能引起我们的关注，帮助我们去更加平缓、系统性的思考这一实验和方法。当然，这其中最重要的是要相信自己，相信我们遇到任何问题总能想到解法，这便是我们最本源的技术信仰。
以上就是范浩强关于技术信仰的分享，希望各位研究员能够有所启发，在这所炼丹场学好、用好、“修炼”好。
下期，我们将深入探讨“如何打造属于你的技术修行天梯”，敬请期待～
扫一扫
305
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
