Mike Ferguson ，麻省理工学院大脑和认知科学系 (MIT BCS) 担任研究软件工程师/ML工程师。专门研究 Brain-Score（一种衡量类脑 AI 的工具）。他于 2021 年春季毕业于弗吉尼亚大学，获得计算机科学和应用数学学士学位，以及认知科学和哲学学士学位。图注：Mike Ferguson在本文中，Mike分享了在麻省理工学院人工智能实验室一年中学到的 5 件事，包括他生活、成功和知识的一些看法，希望你觉得有趣或有用。1『承认自己的盲区，质疑一切』Mike在开始在麻省理工学院工作之前，

大家好，我是对白。今天给大家分享一位朋友在大疆做算法工程师的日常，工作内容还是比较有趣的，也给我们科普了大疆的一些福利，以下为原文。作者：全之 | 编辑：对白的算法屋https://zhuanlan.zhihu.com/p/491400284参加过大疆校招或者从网上多多少少了解过大疆的人应该知道，算法算得上是大疆的强势技术之一了。但现在我更想以一个普通员工的视角，讲讲在大疆做算法到底在做什么，体验有什么不一样。首先是工作内容，算法迭代优化、部署调试、算力评估、规划业务推进方向等都可以算是我工作的日常。这份工

大家好，我是对白。ACM SIGIR 2022是CCF A类会议，人工智能领域智能信息检索（ Information Retrieval，IR）方向最权威的国际会议。会议专注于信息的存储、检索和传播等各个方面，包括研究战略、输出方案和系统评估等等。第45届国际计算机学会信息检索大会（The 45rd International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR 2022）计划于今年

点击上方，选择星标或置顶，每天给你送上干货作者 | 对白出品 | 对白的算法屋自监督学习（Self-supervised learning）最近获得了很多关注，因为其可以避免对数据集进行大量的标签标注。它可以把自己定义的伪标签当作训练的信号，然后把学习到的表示（representation）用作下游任务里。最近，对比学习被当作自监督学习中一个非常重要的一部分，被广泛运用在计算机视觉、自然语言处理等领域。它的目标是：将一个样本的不同的、增强过的新样本们在嵌入空间中尽可能地近，然后让不同的样本之间尽可

点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋大家好，我是对白。目前，越来越多的互联网公司内部都有自己的一套框架去训练模型，而模型训练时需要的数据则都保存在分布式文件系统（HDFS）上。Hive作为构建在HDFS上的一个数据仓库，它本质上可以看作是一个翻译器，可以将HiveSQL语句翻译成MapReduce程序或Spark程序，因此模型需要的数据例如csv/libsvm文件都会保存成Hive表并存放在HDFS上，那么问题就来了，如何大规模地把HDFS中

点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋大家好，我是对白。今天我们来聊一聊推荐系统中不得不学的Contrastive Learning方法，近年来Contrastive Learning在CV和NLP领域的应用越来越广泛，在推荐系统中当然也不例外。我想大家将对比学习与推荐系统结合主要有以下四个原因：一、是因为数据的稀疏性。众所周知，在推荐系统中有点击的数据是非常少的，可能系统推荐了十篇文章，用户只点击了一篇文章，因此我们可以通过自监督学习对点击数

点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋我为大家整理了对比学习在最新各大顶会上的论文合集及相应代码，所列举的论文涉及领域包括但不限于CV, NLP, Audio, Video, Multimodal, Graph, Language model等，GitHub地址：https://github.com/coder-duibai/Contrastive-Learning-Papers-Codes（请大家多多点赞支持ヽ(✿ﾟ▽ﾟ)ノ，笔芯！）大家好，

点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋大家好，我是对白。本次我挑选了ICLR2021中NLP领域下的六篇文章进行解读，包含了文本生成、自然语言理解、预训练语言模型训练和去偏、以及文本匹配和文本检索。从这些论文的思想中借鉴了一些idea用于公司自身的业务中，最终起到了一个不错的效果。Contrastive Learning with Adversarial Perturbations for Conditional Text Generation

点击上方，选择星标或置顶，每天给你送上干货对比学习方法（CV）对比学习要做什么？有监督训练的典型问题，就是标注数据是有限的。目前NLP领域的经验，自监督预训练使用的数据量越大，模型越复杂，那么模型能够吸收的知识越多，对下游任务效果来说越好。这可能是自从Bert出现以来，一再被反复证明。所以对比学习的出现，是图像领域为了解决“在没有更大标注数据集的情况下，如何采用自监督预训练模式，来从中吸取图像本身的先验知识分布，得到一个预训练的模型”。对比学习是自监督学习的一种，也就是说，不依赖标注数据，要从无标注图像中自

大家好，我是对白。最近又有几家互联网大厂正在裁员，比如腾讯和美团，裁员势头越发猛烈。最近有小伙伴向我询问offer选择，华为与腾讯该选择哪家，我个人认为：华为企业文化偏国企，所以有很多条条框框，看似时长多，但是想苟住很容易。腾讯虽然看似比较自由，但是在产出方面还是很残酷的。华为这边看部门，硬件如数通无线这些普遍加班多，消费者这些软开工作时长少很多，然后年终奖还很香。腾讯同样，CSIG和PCG相对微信是比较轻松的。今天给大家分享一位朋友今年从华为跳腾讯的经历，让我们来一起看一看。我在华为待了4年多，刚来腾讯4

大家好，我是对白。今天给大家分享一位腾讯朋友清明节后的第一天就被公司优化的真实案例，昨天也登上了脉脉热榜。如果员工拼死拼活为公司卖命，最终还被公司所优化，这样真的值吗？以下为原文。来源：脉脉作者：洋葱在写文档  | 编辑：对白的算法屋一、会议邀请2022年4月6日，清明节放假归来第一天，一大早在群里面看见有人在说HR约了一个名曰“沟通会”的腾讯会议，让上午集中去会议室“沟通”。看看会议预约通知，才发现自己也被邀请了，当时顿感不妙，因为这个会议很蹊跷，首先它是HRBP约的会，没有显示会议主

有幸在去年4月份，被分配到鹅厂推荐组，接触了国内顶尖的算法团队，截止现在自己做推荐也有半年时间了，如果说以前自己的成长速度是线性成长，那么在这半年时间，自己的成长可以说是指数级成长。鉴于目前工作上越来越驾轻就熟，逐渐从小白状态脱离出来，回答一下这个问题，算是给自己这半年算法工作的一个记录。先给大家奉上，一名合格的推荐算法工程师所需要掌握的各项知识点和技能图：如题主所说，推荐系统涉及到的知识点“大而杂”，是一项复杂的工程，那么一条完整的推荐系统学习进阶路径，需要包含哪些方面呢，我认为至少需要包含以下6大方面：

大家好，我是对白。今天给大家分享一位朋友上个月从算法岗转工程岗的血泪史，当你做的算法方向非常小众，且不能带来较大的业务收益时，不妨换个组或转岗试试，以下为原文。一、背景本人目前开发经验两年（其实是一年多）在第一次跳槽（2022年3月）中收获阿里、腾讯、滴滴等公司的offer，从跳槽动机、准备、面试等角度去复盘这次跳槽，希望对自己和读者（尤其是校招和短经验社招背景的读者）都能有所收获。1.1 校招入职：从算法到工程，理想到现实我在2020年的7月份从某个双非本科的毕业后进入某个互联网公司工作，入职的岗位是算法

大家好，我是对白。今天给大家分享一位清华计算机系庞天宇师兄的读博心得，他本科毕业于清华，之后直博计算机系并师从朱军教授，博士期间共发表20多篇顶会和顶刊，包含CVPR、ICCV、NIPS、ICLR和TPAMI等，还获得了百度、微软等奖学金，科研能力在我认识的清华同学里，也是数一数二的。他将自己的经验分享了出来，相信一定会对很多人有所启发，以下为原文。马上要结束五年的直博生涯了，在这个过程中对很多事情有了新的感悟和理解，写在这里作为一个记录，简单分享一下。一、从竞争到合作在小学、中学以及本科的时候，我们处于应

如果说「LSTM」已死，它为何依然能够在Kaggle竞赛中成为赢家呢？长短期记忆（Long Short-Term Memory，LSTM）是一种时间循环神经网络（RNN），论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。在过去几十年里，LSTM发展如何了？密切关注机器学习的研究者，最近几年他们见证了科学领域前所未有的革命性进步。这种进步就像20世纪初，爱因斯坦的论文成为量子力学的基础一样。只是这一次，奇迹发生在AlexNet论文的推出，该论文一作为

大家好，我是对白。今天给大家分享一位42岁码农跳槽找工作的经历，这个年龄再找工作压力是很大的，体力和学习能力已经完全赶不上年轻人了，看了后颇有感触，以下为原文。作者：胡说 | 编辑：对白的算法屋https://zhuanlan.zhihu.com/p/461526410给自己记录一下。32岁的时候还在硅谷大厂做架构师，35岁的时候回国在阿里P8+，然后自己任性的去挑战各种奇葩的方向。现在一个大型外企里面做着一些不疼不痒的工作。最近觉得工作确实碰到天花板了。各种方向上都觉得无所适从。换了新老板之后，又觉得有点

大家好，我是对白。最近各大互联网公司都在裁员，还有的公司已经锁死了HC，只出不进，公司内部也不让转正以及活水，周围的同事们也越来越卷，深怕自己被领导约谈。很多小伙伴也在问我，相比于互联网大厂，现在去外企是不是一个更好的选择？今天分享一位朋友刚进微软的体验，希望对于求职的小伙伴们，在选择offer上有所帮助。作者：FreewheelLee | 编辑：对白的算法屋https://zhuanlan.zhihu.com/p/486283887加入微软满三个月了，感觉是时候简单聊聊一些体验和感想。前两天发了个想法也征

大家好，我是对白。今天无聊刷GitHub看到一个让我血压上来的项目乍一看，2.4k star，应该不像是什么小项目应该是比较有用的项目，但接下来的事情属实是让我气的很对于开源项目我是不喜欢下载预构建的成品的，我更喜欢自己动手从源代码构建，所以我熟练的clone到本地根据readme里面写的指引构建构建完我一运行，既然上面写着支持学堂在线，那就输个学堂在线的地址进去试试呗很快啊就给我返回了一个视频链接不合法那就翻翻代码看看是不是哪里有需要微调的地方呗这一翻代码不得了啊，我根本没在代码里找到学堂在线相关的组件…

转自：新智元 | David 小咸鱼约翰·冯·诺依曼是20世纪最有影响力的人物之一。从原子弹，到计算机、再到量子力学、气候变化，你可能很难出对我们今天的世界和生活影响更大的科学家了。在20世纪的天才中，有几个杰出的人物：爱因斯坦、图灵、霍金，毫无疑问，冯·诺依曼也属于他们中的一个，尽管许多人不知道他是谁。 约翰·冯·诺依曼是20世纪最有影响力的人物之一。他可能比过去150年中任何一位伟大的思想更直接地影响了你的生活，他的研究涉及从量子力学到气候科学的一切。  冯·诺依

关注 ▲对白▲ 和百万AI爱好者，一起向上生长这是对白的第 77 期分享来源 l 千寻    出品 l 对白的算法屋大家好，我是对白。推荐系统技术，总体而言，与 NLP 和图像领域比，发展速度不算太快。不过最近两年，由于深度学习等一些新技术的引入，总体还是表现出了一些比较明显的技术发展趋势。在写技术趋势前，照例还是对推荐系统的宏观架构做个简单说明，以免读者迷失在技术细节中。实际的工业推荐系统，如果粗分的化，经常讲的有两个阶段。首先是召回，主要根据用

大家好，我是对白。今天给大家分享一下在推荐中召回和粗排是如何构造负样本的。推荐系统通常分为召回->粗排->精排->重排这几个漏斗。深度模型也从精排逐步下沉到了粗排和召回。拿业界常用的粗排DSSM模型来说，模型训练样本的构造方式一般是复用精排下发的正负样本，但这会造成一个问题：粗排训练样本和实际线上打分样本分布不一致，训练样本仅是线上打分样本一个比较小的子集。面对这个问题大家通常的解法是，从精排未下发的样本里采一部分，添加至粗排模型的训练负样本中，通常会带来一定的提升。其中的原理是什么呢？以

大家好，我是对白。经常有学弟学妹问我，在公司里领导PUA下属一般是怎样的，下面我将自己或周围同事听过的这类话语总结如下，不分岗位：你这个问题的底层逻辑是什么？顶层设计在哪？最终交付价值是什么？过程的抓手在哪？如何保证回答闭环？你比别人的亮点在哪？优势在哪？你的思考和沉淀是什么？这个问题换成我来问是否会不一样？你的独特价值在哪？......如果以上问题你被领导问过大部分，那么恭喜你，你已经被PUA了。众所周知，阿里的领导们特别喜欢PUA，俗称”阿里味“。那么问题来了，如果将阿里味用编程语言该怎么写？从程序员c

关注 ▲对白▲ 和百万AI爱好者，一起向上生长这是对白的第 78 期分享来源 l  乐谷说    出品 l 对白的算法屋大家好，我是对白。见过身边的阿里P8，记录一下我的观察，这里仅说技术线的P8，有同学有想问的直接评论区留言：1、薪资水平上，现在字节挖阿里P8的报价已经能谈到100万税前现金年薪 + 50-100万期权，阿里P8去字节低于这个数是侮辱（已跳槽的可以自查一下是不是被低估了），字节入职即巅峰，竞业协议保证你进得去出不来。2、

大家好，我是对白。今天给大家总结了101道Transformer的面试题，建议收藏：1，请阐述 Transformer 能够进行训练来表达和生成信息背后的数学假设，什么数学模型或者公式支持了 Transformer 模型的训练目标？请展示至少一个相关数学公式的具体推导过程。2，Transformer 中的可训练 Queries、Keys 和 Values 矩阵从哪儿来？Transformer 中为何会有 Queries、Keys 和 Values 矩阵，只设置 Values 矩阵本身来求 Atte

大家好，我是对白。今天想和大家聊一聊跳槽的话题。我认为跳槽是一件一定要经常关注，但尽可能少做的事情。在互联网公司中，一般来说，只要下家待遇符合预期，工作内容合适，涨幅有个30%-50%，就可以选择跳槽。而一般跳槽的年限是3年一跳最好，因为2年议价能力稍微有点弱，4年时间又有些长。而对于一些职级比较高的人来说，跳槽考虑的就不再只是现金了，例如一位百度的高T,一家猎头开出了500W年薪却被婉拒：原因如下：我来给大家算一笔账。首先这里的 500 万年薪指的是总包，总包的组成为月工资*12 + 年终奖 + 股票/期

关注 ▲对白▲ 和百万AI爱好者，一起向上生长这是对白的第 83 期分享作者 l 对白    出品 l 对白的算法屋大家好，我是对白。今天给大家解读一篇NIPS2021中GNN与对比学习结合的论文，后面会持续更新NIPS2021中关于对比学习（Contrastive Learning）论文的解读，欢迎大家关注。这篇论文来自美国普渡大学，通过引入对抗学习作为图数据增强方法，从而避免在训练期间捕获冗余信息导致下游任务效果差的问题。一、摘要由于现实世界图/网络数据

关注 ▲对白▲ 和百万AI爱好者，一起向上生长这是对白的第 84 期分享作者 l 对白    出品 l 对白的算法屋大家好，我是对白。BERT在工业界落地已经很普遍了，主要在搜索、推荐和NLP中广泛应用，我将自己运用BERT的心得总结如下：BERT在工业界的落地：新数据预训练、多任务、蒸馏/裁剪、双塔的在线应用；如何蒸馏模型；在BERT基础上有哪些有效的改进点；如何融入知识图谱；相关性的框架：考虑到业务效果，必要的前置/后置规则可能有效；两阶段分别

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：知乎—trouble地址：https://zhuanlan.zhihu.com/p/43361015501UPRec: User-Aware Pre-training for Recommender Systems [submitted t

2020年疫情刚开始的时候，《动手学深度学习》的英文版相较中文版已经多出不少内容了。我们书第一版的不少老读者表示，疫情在家虽然想学习，但第一版早就刷完，于是只好刷阿信和小抖。沐神和我的第一反应是：这样对眼睛不好。于是不等英文版完成，我们就立即发起中文版2.0的项目。具体来说：我们继续在英文版添加新内容和改进已有内容。何孝霆与Rachel（瑞潮儿）两位主力选手和d2l-ai/d2l-zh GitHub社区众多小伙伴共同努力，不断将英文版的最新内容同步到中文版，包括PyTorch和TensorFlow的实现。沐

你好，我是对白，今天分享一位毕业一年有余的程序员裸辞之后在家接单赚钱的经历，非常有意思！下面是正文。背景鄙人本科毕业一年有余，计算机专业。全栈工程师，但更喜欢前端的工作，于是在一家游戏公司任职前端工作。在这个内卷的时代，身处一线城市，来自全国各地的优秀学院/培训机构人才辈出，涌入市场，竞争激烈，各大公司并驱争先用丰厚的薪水，优渥的待遇去吸引更优秀人才入职。但是，现在已经过了 ”不会但我会学“ 就能感动面试官的时代，随着供需关系的变化，不论是对于面试官还是面试者，面试的成本越来越高。为了筛

大家好，我是对白。今天在知乎上看到了田渊栋老师最新写的 《技术之外三部曲》，看了后感觉受益匪浅，很多时候我们不能一直沉迷于技术，也需要跳出纯技术的圈子去思考问题。我将这三部曲进行了汇总，特此分享给大家，希望能对你们有所感悟与启发，以下为原文。技术之外一：交流最近太忙，很久没在知乎上写专栏了，这次乘着ICML结束后稍微写一点。从小到大，中国家长都训练孩子考高分，啥事不用管，只要闷头做题就好了。现在还有“做题家”的称呼。虽然“一个人把活干了”值得惊叹，也能赢得一时的赞誉，但这并非长久之计。我去年写过要

大家好，我是对白。为今年校招的同学准备了一份笔面试经验大礼包。主要结合本人当年校招时候的经验以及近两年工作学习过程中的感悟收获。主要面向搜推广nlp岗位的同学。总体而言，个人认为算法岗要找的好，除了本身的长期积累沉淀的硬实力之外(Paper，比赛，实习，项目)，主要考核的就是两个方面的能力："基础扎实程度"和"前沿知识广度"。文章内容包括四个部分：基础能力(基础扎实程度)、搜推知识(前沿知识广度)、nlp知识(前沿知识广度)、总结。其中，基础部分变化不大，前沿知识部分相较于我当年校招时变化较大，在此做了更新

大家好，我是对白。Prompt tuning，作为NLP领域中的一个“新宠”，甚至曾被学者誉为NLP预训练新范式。那么，它能否借鉴到CV领域并产生同样的成绩呢？现在，来自康奈尔大学和Meta AI等机构，通过Prompt来调整基于Transformer的视觉模型，结果发现：完全可以！比起全面微调，Prompt性能提升显著。无论模型的规模和训练数据怎么变，24种情况中有20种都完全胜出。与此同时，它还能大幅降低每项任务所需的存储成本。只使用不到1%的模型参数大家一贯使用的全面微调（full fine-tuni

大家好，我是对白。最近脉脉上有一个很热的帖子，一个“大牛”因为有“技术”但是没有“学历”，拿到抖音 2-2 Offer 以后选择造假，包括学历、工作经历，具体如下图所示：那么你觉得这波骚操作如何呢？先让我们看看大家的风向吧：其实大家普遍认为这个 Offer 还是拒了吧，每个公司对诚信啊、价值观等认定不一样，重视程度也不一样，所以类似题主面的这家公司态度决绝的也是有的。背调公司在这其中只是把客观信息反馈给企业HR，具体的决定权都在企业这边。说到背调什么我专门以公司 Hr 的身份联系了一下某背调公司，反馈的内容

大家好，我是对白。就在刚刚，我在B站上传了自己制作的第一个短视频，终于我也成为了一名UP主，视频还是最新鲜的，大家可以点击文末的阅读原文。视频内容主要是给一位在华为实习的学妹答疑，她本人目前研二在读，在华为一个算法组全职实习，但因为不是Research组，没有发paper的机会，于是向我求助，如何在秋招能拿到更好的offer。早在去年我就有成为一名UP主的想法了，但奈何工作实在太忙，加上自己又在搞内推、写书，于是便耽搁了下来。刚好这周换到了搜索推荐组，新leader布置的任务还能cover，就开始制作我的第

刚开始做算法的朋友会有遇到很多误区，比如沉迷新的模型，忽视基础等等。我强烈建议大家沉下心来读一下香侬科技李纪为博士的这个文章，对你会很有帮助。以下是原文。ACL2019投稿刚刚落幕，投稿数超过了2800篇，可以说是历史以来最盛大的一届ACL。在深度学习的推动下，自然语言处理这个子领域也逐渐被推上人工智能大舞台的最前列。最近在跟同学的邮件、或者知乎留言中的交流中，不少同学尤其是刚入（jin）门（keng）的同学，提到了深度学习背景下做NLP科研的很多迷茫。基本可以归纳为如下几点：如今一个模型，几十行Tenso

大家好，我是对白。昨天朋友圈被北大童哲跑路刷屏了，作为隔壁清华校友，清北两所学校的同学关系一直很不错，但是看到童哲居然跑了，为母校抹黑的事情这人居然做得出来，我深深感到人不能只看学历，人品更加重要！看回事件本身。万门大学，连夜跑路？不仅是VIP群于凌晨解散，学员们一觉醒来发现自己被踢出了群。甚至连内部员工也突然之间无法登录公司App。根据网友爆料，万门的工作人员们今早上班是酱婶的：人到公司，刚看到VIP群被解散。昨天工资没发，今早CEO童哲已联系不上。再一看，好家伙，公司在2017年就已经被列入经营异常名单

大家好，我是对白。近日有网友们质疑西湖大学全是“天坑”专业，面对这类问题，校长施一公坐不住了。在本科招生宣讲直播上，他公开为“生化环材”站台：我相信，任何一个西湖大学的学生从进入之日开始，就不会再想生化环材是“四大天坑”这句话。这是即将招生的西湖大学第一次直播答疑，回答了外界各方面的关注和质疑。然而施一公回应之后，网友们争论声音却更大了，知乎相关热度已达上百万。不少网友表示，看了后感觉 “有点不识人间疾苦”、“大神距离我等凡人太远”。这究竟是怎么回事？西湖大学开设“天坑”专业事件的起因，还得从西湖大学本科开

关注 ▲对白▲ 和百万AI爱好者，一起向上生长这是对白的第 87 期分享作者 l 知乎@吴家丫头1990    出品 l 对白的算法屋大家好，我是对白。本文主要分享一下Google今年提出的《Self-supervised Learning for Large-scale Item Recommendations》如何采用对比学习解决推荐长尾问题 。一、 定义长尾效应：20%的热门item占据了80%的曝光量，剩下80%的小众、

转载自机器之心这是一篇计算机视觉领域的经典论文。李沐曾经说过，假设你在使用卷积神经网络，有一半的可能性就是在使用 ResNet 或它的变种。前几天，人们发现 ResNet 论文被引用数量悄然突破了 10 万加，距离论文的提交刚过去六年。《Deep Residual Learning for Image Recognition》在 2016 年拿下了计算机视觉顶级会议 CVPR 的最佳论文奖，相比 NeurIPS 最高热度论文《Attention is All You Need》，ResNet 的被引数多出了