大家好，我是对白。了解图神经网络的朋友对于深层GNN中的过平滑问题一定不陌生，随着网络层数的增加，模型的效果反而急剧下降，令人心痛。回忆一下，常见的解决过平滑的方案有DropEdge、基于残差的方法还有Normalization等，但效果却不尽人意。今天在KDD2022看到一篇有趣的文章，它没有止步于GNN中的过平滑问题，而是从另一个新视角去思考深层网络效果骤降的问题——特征维度的过相关问题。所谓特征维度的过相关，顾名思义，指我们所学习到的特征维度之间高度相关，意味着高冗余以及学习到的维度编码的信息较少，从

大家好，我是对白。前两天刚好刷到KDD2022的一篇文章，是介绍快手在它们短视频上的一项推荐重排新算法，不仅在用户观看时长和视频播放量都有了较大提升外，用户观看视频的标签数也有了显著增长，这说明该算法同时兼具****相关性和多样性两点。为了测试其效果，我顺便下载了一下快手这款app，于是就出现了这篇文章的封面：左图是用户冷启动推给我的第一个短视频，一个穿着短裙的小姐姐，紧接着第二个短视频就是右图的另一位小姐姐，而后面的几个短视频也出现了电影、美食等其它方向，**探索和利用（Exploit&Explore）*

大家好，我是对白。多任务模型中各个任务难以调参、收敛、效果平平，是一件令人头疼的事情。有没有什么可以令人省心省力的“自适应”方法呢？笔者浏览了一些最近的顶会文章，读了一些相关文章，今天挑选一篇分享给大家~说到多任务学习，想必大家都不陌生。在理想的推荐场景中，通过与辅助任务的联合学习，可以提升目标任务的预测效果。例如，在社交推荐中，用户偏好的学习可以与辅助任务（预测用户之间的联系与信任）联合训练。但理想归理想，现实却往往“事故多发”。说不定，在加了多个辅助任务，并经历艰难的调参之后，目标任务的效果却令人头秃。

Keras报错：TypeError: (‘Keyword argument not understood:‘, ‘offset‘)

大家好，我是对白。今天给大家分享一篇至今是我看过最全面的CV算法工作总结，作者是一名大厂算法工程师，文字真诚而又朴实，其中很多观点都是一点点积累得到的，希望能给即将工作的朋友们一点启发与帮助，以下为原文。作者：CV伍六七 | 编辑：对白的算法屋https://zhuanlan.zhihu.com/p/363354912大佬可以写总结给别人指导，菜鸟可以写总结给别人指坑。最近反思了很多事情，也找到了很多不足之处。怕以后忘记了，就想到什么写什么，什么没想到以后就补上。一. 算法篇虽然我没有发表过顶会论文，谈不上

大家好，我是对白。ACL 2022的paper list终于放出来了！！！本文汇总了ACL2022信息抽取方向的论文，包括但不限于通用信息抽取、命名实体识别、关系抽取、事件抽取、事件关系抽取、基于事件的观点挖掘等。一、信息抽取Automatic Error Analysis for Document-level Information Extraction. Aliva Das, Xinya Du, Barry Wang, Kejian Shi, Jiayuan Gu, Thomas Porter

Mike Ferguson ，麻省理工学院大脑和认知科学系 (MIT BCS) 担任研究软件工程师/ML工程师。专门研究 Brain-Score（一种衡量类脑 AI 的工具）。他于 2021 年春季毕业于弗吉尼亚大学，获得计算机科学和应用数学学士学位，以及认知科学和哲学学士学位。图注：Mike Ferguson在本文中，Mike分享了在麻省理工学院人工智能实验室一年中学到的 5 件事，包括他生活、成功和知识的一些看法，希望你觉得有趣或有用。1『承认自己的盲区，质疑一切』Mike在开始在麻省理工学院工作之前，

大家好，我是对白。今天给大家分享一位海外程序媛面试谷歌到接收offer的全过程，她一共经历了八轮面试，最终收获了心仪的offer，也侧面反映出在海外想进谷歌难度还是比较大的，以下为原文。这篇文章来详细地记录下我面试谷歌到offer的详细过程。1. 面试机会去年10月底，我在领英上收到了谷歌的面试机会，随后我安排了约聊的时间，很巧的是，在跟hr电话聊的时候，恰好亚麻发来了拒信，心里是一阵失落，有那么一刻我不知道对方在讲什么，我马上即时调整我的注意力，调整语气，最后将电面(Phone technical scr

大家好，我是对白。今天给大家分享一位博主自己从华为转正到离职的经历，整篇文章记录了他在华为的整段心路历程，看完后让作为程序员的我非常有感触，以下为原文。作者：Bai Bing | 编辑：对白的算法屋https://zhuanlan.zhihu.com/p/485029198前段时间发布过一篇文章《华为工作试用期的感触》，记录了我在华为试用期的经历。遗憾的是，我转正后看到了大家的能力和努力，也意识到在预期的时间内难以达到我想要的高度，最终经过各方面的考虑，决定放弃这个职位，重新回到外企找回适合我的节奏。依依不

大家好，我是对白。今天给大家分享一位同学中稿ACL论文的经历。众所周知，深度学习的兴起一大要素是数据，训练一个深度学习模型的前提是具备足够的高质量数据。自然语言处理领域也是如此。在我们的合作项目中，需要自己标领域专用的训练数据，经过调研和亲身体验，发现已有的公开标注工具并不适合我们的项目需求，例如当时用户量较大的brat，因此我们实验室决定自己开发一个面向领域的通用文本标注工具。过程:2020年，与实验室的伙伴们一起开发完这个标注工具的初版，2021年进行了细节优化并撰写了论文（这里十分感谢我的导师对我论文

大家好，我是对白。今天给大家分享一位22届学弟在字节实习8个月后成功转正的经历，他向我们展示了在字节实习的日常工作，以及转正答辩该如何准备，最后告诫学弟学妹们今年秋招会很激烈，一定要尽早投递。本文堪称大厂实习转正的教科书，相信一定会对你有所帮助，以下为原文。作者：F~~~J | 编辑：对白的算法屋https://www.nowcoder.com/discuss/940461春招快结束了，很多学弟学妹问过我要不要投实习，我22届毕业，在字节转正实习成功。整理了被问过的一些问题，分享出来，希望能给大家一点参考。

大家好，我是对白。今天给大家分享一位朋友赤小豆的经历，她在大厂和小厂都工作过，正好最近写了一篇心得与体会，内容真实而富有情感，希望能帮助到正在抉择offer的小伙伴们，以下为原文。毕业后到底应该去大厂工作还是小厂好，这是个老生常谈的话题了。小豆从毕业至今正好 6 年的时间，经历过火速发展并成功在纳斯达克上市的初创公司，也体验过国内和国外大厂的文化。我认为这个话题，不能够简单地说哪个更好，而应该仔细权衡，根据个人的情况因地制宜。我刚毕业的时候，大众创业、万众创新的口号非常响亮，那时候行情一片大好。互联网还处于

大家好，我是对白。ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。本文对ACL 2022接受列表中的的602篇主会长文论文，按不同的研究主题进行分类整理（分类标准参考 ACL 官方投稿主题），整理过程中难免有疏漏，欢迎大家在下方评论留言，交流探讨！论文列表已经同步更新到 GitHub，欢迎大家关注和 Star。目录Adversari

大家好，我是对白。不知道大家对杭电这所大学有没有了解，以前就听闻很不错，像计算机、电子等专业都挺强的。这不前段时间，就在杭州电子科技大学人工智能学院就出了一个学霸「王炸班」。怎么讲？ 一班56人，34人考研上岸。 再具体点，8名上浙大，2名清华，1名北大，剩下已就业的学生人均起薪30多万。 另外，全班56个学生获得省级以上各类学科竞赛奖励加起来就有146个。 这一话题一下登上微博热搜，引来网友纷纷围观。 双非杭电AI专业首届毕业生：起薪30万+据报道，考进清

大家好，我是对白。今天给大家介绍一位MSRA朋友，他参加了2022秋招，并拿到了字节、腾讯、阿里等各大厂SSP +offer，希望他的经历能对你有所借鉴与启发，以下为原文。 前言 是安徽985小硕，研究方向是自然语言处理和推荐，去年秋招拿到了字节腾讯阿里等各大厂ssp+算法offer以及华为的16级。从身边的情况看，offer情况勉强算中上吧，和身边腾讯大咖，A+大佬们还是没法比。首先提醒一下，每一年的就业行情，公司政策不尽相同。本文的内容根据笔者秋招经历撰写，具体情况以当年招聘为准。本

大家好，我是对白。还记得上周在极客时间做直播的时候，跟大家聊了很多我去年参加秋招的一些心得和体会，为了当时的分享，我准备了一下午的PPT和讲稿，所幸后来收获了很多人的认可与喜欢：当时观看的人数有将近两万人，没赶上那场直播的小伙伴，也可以加我好友，我会把当时的PPT课件发给你们。今天和大家分享的主要是我上周在极客时间做直播的时候，给一位同学回答的问题。他当时提问的内容是：“双非学生还有可能进大厂做算法岗吗？”很快，这条视频就在B站收获了10W的播放，两千多的点赞，相信很多读者也刷到了我的这期视频。在这里贴一下

转自：量子位 杨净 | 编辑：Jack Cui微软亚洲研究院——MSRA，被曝停招国防七子高校及北邮的学生！直白说，北京理工大学，北京航空航天大学，南京理工大学，南京航空航天大学，哈尔滨工业大学，哈尔滨工程大学、西北工业大学，以及北京邮电大学的学生，之后将难以进入MSRA实习，至于校招和就业是否也会受影响，尚未可知。随着更多的网友爆料显示，此次MSRA停招不仅包括上述学生，还包含所有实体清单上的大学。比如：西安交大、同济大学等等。而且消息虽然尚未官宣证实，但从不同渠道的种种反馈

大家好，我是对白。今天给大家分享一位百度应届生从刚进公司遭遇leader跑路，再到整个部门只有他一个研发，最后独揽重任并做出成绩的故事，对于初入职场迷茫的同学会很有帮助，以下为原文。1. 从池子里爬出来的最开始让我去百度，其实我是拒绝的。当我得知被百度录用的部门是XX部的时候，我内心忐忑不安。这部门的产品放到十年前横行互联网，没一个能打的。但放到今天，随便挨打。你说我有扶大厦将倾,挽狂澜于既倒的能力吗？我想是没有。那我就别跟着瞎凑合了，万一哪天被裁了哭都来不及。就这样，我最想去的公司被我拒绝了。跟HR小姐姐

2022年4月初，一起AI界的学术不端事件可谓是「引爆」了整个学术圈。 涉及到的100位作者，无一不是业内大佬。 知乎讨论也从第一天最初的几万浏览量，飞涨到了现在的600多万。对此，我们可以引用知乎用户、伦敦玛丽皇后大学学子「谢圜不是真名」的一句话来进行总结： 「学术声誉的建立是一辈子的事情，然而要推倒只需要一瞬间。」 智源官方宣布道歉2022年4月13日晚，智源研究院作为这一综述文章的组织者，在知乎的官方账号上发表公开致歉信，称「从互联网上获悉」此事，承认涉事论文有

你期待吴恩达在知乎的深度学习课程吗？吴恩达来知乎开课了！昨天，吴恩达在知乎开设了自己的账号，并回答了第一个提问。开设账号第一天，吴恩达就收获了 6 千多的关注。第一个回答「如何系统学习机器学习」也已经获得了 2 千多赞同。在这个回答中，吴恩达提出了三个系统学习机器学习的步骤：1、学习基础编码知识；2、学习机器学习及深度学习；3、专注于一个角色。在第一个步骤中，吴恩达提到，基本的编程技能是先决条件；数学知识也很重要，但也不必将精力过多投入到诸如线性代数、概率和统计这样的数学基础上。在第二个步骤中，吴恩达推荐了

点击上方，选择星标或置顶，每天给你送上干货作者 | Feng整理 | 对白的算法屋编者寄语：很多小伙伴都了解对比学习，但要说温度系数的作用可能就不太清楚了。卷友们好，我是对白。对比学习中的温度系数是一个神秘的参数，大部分论文都默认采用小的温度系数来进行自监督对比学习（例如0.07，0.2）。然而并没有对采用小温度系数的解释，以及温度系数是如何影响学习过程的，即温度系数这个角色的意义。今天给大家介绍一篇CVPR2021中研究对比损失（Contrastive Loss）温度系数的论文，由我校出品，解释

大家好，我是对白。今天要给大家推荐一下我校计算机系NLP实验室的最新成果：OpenPrompt开源工具包。有了它，初学者也可轻松部署Prompt-learning框架来利用预训练模型解决各种NLP问题，下面就让我们一起来看看吧。如何高效地使用大规模预训练语言模型（Pre-trained Language Models， PLMs）是近年NLP领域中的核心问题之一。一直以来，传统的微调（fine-tuning范式）一直是驱动大模型的“基本操作”。在微调范式中，我们需要在预训练模型上引入额外的目标函数来，从而将

点击上方，选择星标或置顶，每天给你送上干货作者 | 得未曾有出品 | 对白的算法屋编者寄语：通过对比学习来区分李沁和孙怡。Contrastive Learning (对比学习) 是这两年深度学习非常热的话题，可以说是刷新了很多人对无监督学习对认知。最初谷歌写的Representation Learning with Contrastive Predictive Coding (CPC) 公式十分抽象，不好理解。我在做完了一个CPC的项目以后，决定做一张超直观的图帮助大家摆脱公式理解。在讲

▐  背景阿里妈妈展示广告召回大多采用 Tree-based Deep Model(以下简称TDM)模型，它通过对候选广告的聚类，构造了深达十余层的二叉树索引，并使用 beam search 在此索引上进行检索[1]。由于线上服务的 latency 约束及当时的硬件算力限制使我们不能直接对整个候选集（百万甚至千万量级）进行模型打分。随着近几年硬件（GPU & ASIC）的发展，我们在模型上的计算能力有了很大提升。于是，算法同学从扩大打分量和提升模型复杂度的两个方向对目前的模型进行

【本文共计14372字，预计阅读时间为20分钟】前序在本文开始以前，首先需要声明的是这篇超详细面经并不是笔者本人的求职笔记，它是笔者学校隔壁实验室22届毕业学弟的面试心路历程和经验心得。由于笔者和这位学弟经常讨论校招求职和职业发展的问题，并且在秋招以前就和他打好了招呼，于是就有了这篇学弟应邀输出的万字ssp面经：这位学弟可以说是非常谦虚了简单而言，接下来你要看到的这篇2022届秋招算法面经，具备以下这几个特点：全生命周期：学弟的经验心得覆盖“论文/项目->实习->岗位投递->面试”的全部流

都说Transformer适合处理多模态任务。这不，在视频目标分割领域，就有人用它同时处理文本和视帧，提出了一个结构更简单、处理速度更快（每秒76帧）的视频实例分割框架。这个框架只需一串文本描述，就可以轻松将视频中的动态目标“抠”出来：

大家好，我是对白。今天妇女节，我们不谈技术，而是聊一聊程序媛这个话题。工作这些年，我发现女程序员比我想象中的要多很多，至少算法岗，我看过的女程序员就不在少数。网上流传着这么一个段子：但其实，我认识的很多女程序员都挺厉害的，她们不仅是AI圈里的大佬，人还优秀而漂亮。下面，给大家分享几个，「真」大神级女程序员：魏俊年同学有个谷歌大神女朋友，当他看到有个大神级女朋友是什么体验这个问题的时候，他是这么说的。魏俊年： 老婆是Google的程序媛，现在在无人车团队Waymo做一颗勤勤恳恳的螺丝钉。是不是大神我不好说，但

转载自新智元近三年，刘永进教授课题组在该方向上已经发表了四篇PAMI和CVPR论文。而这4篇论文有着相同的一作：易冉。易冉现在是上海交通大学计算机系助理教授。她于2016年获得清华大学工学学士学位，2021年获得清华大学工学博士学位。她的研究方向包括计算机图形学、计算机视觉和计算几何。近五年共发表录用20余篇论文于IEEE PAMI、ACM TOG、TVCG、CVPR、ICCV、AAAI等国际期刊和会议。2021年12月，易冉获得中国图象图形学学会2021年度石青云女科学家奖。她的博士学位论文《艺术肖像画的

转载自机器之心深度学习大规模应用之后，人们一直期待真正的通用人工智能出现，能够带来进一步的技术突破。对此，Meta 首席科学家、图灵奖获得者 Yann LeCun 最近提出了一种新思路：他认为让算法预测世界内在运行规律的「世界模型」将是关键。他的思考引发了人们的关注。在本周的一次线上活动中，LeCun 用一个小时的时间介绍了自助人工智能的新思路，并提出联合嵌入预测架构（JEPA）是未来的发展方向。尽管 AI 研究最近取得了显著进展，但我们离创造出像人一样思考和学习的机器还有很长的路要走。正如 Yann Le

在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。来源：知乎—trouble地址：https://zhuanlan.zhihu.com/p/43361015501UPRec: User-Aware Pre-training for Recommender Systems [submitted t

BERT在工业界落地已经很普遍了，主要在搜索、推荐和NLP中广泛应用，我将自己运用BERT的心得总结如下：BERT在工业界的落地：新数据预训练、多任务、蒸馏/裁剪、双塔的在线应用；如何蒸馏模型；在BERT基础上有哪些有效的改进点；如何融入知识图谱；相关性的框架：考虑到业务效果，必要的前置/后置规则可能有效；两阶段分别

拿捏了

建议收藏！

大家好，我是对白。今天给大家分享一下在推荐中召回和粗排是如何构造负样本的。推荐系统通常分为召回->粗排->精排->重排这几个漏斗。深度模型也从精排逐步下沉到了粗排和召回。拿业界常用的粗排DSSM模型来说，模型训练样本的构造方式一般是复用精排下发的正负样本，但这会造成一个问题：粗排训练样本和实际线上打分样本分布不一致，训练样本仅是线上打分样本一个比较小的子集。面对这个问题大家通常的解法是，从精排未下发的样本里采一部分，添加至粗排模型的训练负样本中，通常会带来一定的提升。其中的原理是什

这是对白的第 51 期分享作者 l 清雨卢    出品 l 对白的算法屋前言真的是千呼万唤始出来emmmm，去年春招结束写了篇面试的经验分享。在文中提到和小伙伴整理了算法岗面试时遇到的常见知识点及回答，本想着授人以渔，但没想到大家都看上了我家的 ！但因本人执行力不足，被大家催到现在才终于想着行动起来分享给大家，笔者在这里给各位读者一个大大的抱歉，求原谅呜呜~~相信今年参加秋招的小伙伴们一定都拿到理想的offer啦，明年准备找工作的小盆友如果觉得本文还有些用可以收藏哈。

| 作者：没什么大不了| 学校：复旦大学| 来源知乎：https://zhuanlan.zhihu.com/p/420995638最近在做行为序列相关的工作，在这里对看过的论文做个总结。行为序列数据蕴含着用户的兴趣偏好，对该信息的挖掘可以提高推荐结果的准确性。对行为序列的建模可以归纳为两方面，特征工程和模型结构。特征是对某个行为过程的抽象表达，特征工程旨在更精确地刻画行为过程，需要对具体的业务场景有一定理解。构建完特征后，还需要运用合适的技术有效地挖掘数据中的信息，所以特征和模型两者缺一不可。学术界的一些工

关注对白，与我一起悄悄拔尖，惊艳所有大家好，我是对白。今天写点技术干货来回馈一下我的粉丝们。本来想继续写对比学习（Contrastive Learing）相关类型的文章，以满足我出一本AI前沿技术书籍的梦想，但奈何NIPS2021接收的论文一直未公开，在arxiv上不停地刷，也只翻到了零碎的几篇。于是，我想到该写一下双塔模型了，刚进美团的第一个月我就用到了Sentence-BERT。为什么呢？因为双塔模型在NLP和搜广推中的应用实在太广泛了。不管是校招社招，面试NLP或推荐算法岗,这已经是必问的知识点了。接

点击上方“对白的算法屋”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨ronghuaiyang来源丨人工智能前沿讲习PyTorch在学术界和工业界的应用研究中都获得了很多关注。它是一个具有很大灵活性的深度学习框架，使用了大量的实用工具和函数来加快工作速度。PyTorch的学习曲线并不是那么陡峭，但在其中实现高效和干净的代码可能会很棘手。在使用它超过2年之后，以下是我最喜欢的PyTorch功能，我希望我一开始学习它就知道。1 DatasetFolder当学习PyTorch时，人们首先要做的事情之一是实

点击上方，选择星标或置顶，每天给你送上干货作者 | 对白出品 | 对白的算法屋编者寄语：世界是二元的，对比学习去噪用于下一个购物篮推荐。卷友们好，我是对白。在我们使用天猫或京东购物时，平台常常会进行购物篮推荐。而购物栏推荐也是序列化推荐的一个应用场景，今天我们介绍SIGIR2021的一篇关于推荐系统的文章，将对比学习与序列化推荐相结合，并且在四个真实数据集上取得了SOTA的效果，不禁感叹，对比学习真的厉害！‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍一、背景介绍下一个购物篮推荐旨在通过考虑

点击上方“对白的算法屋”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨伟大是熬出来的@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/410776234导读 Self-Attention作为Transformer最为核心的思想，其相关内部机理以及高维繁复的矩阵运算公式等却阻碍我们对其理解，本文作者首先总结了一些Transformer的基础知识，后详细的介绍了最让人头秃的QKV三个矩阵，帮助大家真正的理解矩阵运算的核心意义。一年之前，初次接触Transforme