专访领英工程副总裁张仁辉：如何驯服算法，打造世界级的职位推荐系统？

大数据文摘出品

作者：魏子敏、宋欣仪

 

作为全球最大的职业社交网络，创建于2003年的LinkedIn在过去 6 年间，从一个 7000万左右年营收的企业，增长至30亿美元营业额的企业。五年间LinkedIn业务增长超过40倍，这种增长速度在企业服务领域是惊人的。

 

 

领英改变了传统的先由企业发布职位信息然后求职者响应投简历接着企业通过简历筛选，面试甄别，求职者单向信息不对称、主动性不对称的流程，让企业可以主动对中高端人才进行邀约，人才可以享受到被动的求职服务。

 

通过信息工具主动挖掘到更多符合自身特点的人才，结合社交关系、档案资料、人脉评价等比简历更立体的信息，对候选人进行考核甄别，再进行邀约面试的考核。

 

但是人力资源管理中的场景非常复杂，并且常常面对数据不对称、有偏见的各种问题。6月20日，在北京召开的O’Reilly AI Conference上，LinkedIn的工程副总裁张仁辉作了题为《人工智能对未来招聘和人才市场的影响》的演讲，并在会后向大数据文摘介绍了领英在训练自己的算法模型中遇到的各种难题及应对之道。

 

LinkedIn的工程副总裁张仁辉作了题为《人工智能对未来招聘和人才市场的影响》的演讲

 

 

人力资源管理中使用数据科学技术的挑战

 

 

曾担任雅虎工程副总裁、Tinder 首席技术官，张仁辉对于传统的搜索和推荐系统非常了解。她告诉大数据文摘，与传统的搜索和推荐系统只关注如何评估一条内容和给定查询的相关度不同，人才搜索领域需要招聘人员和候选人就本岗位互相彼此感兴趣。

 

换句话说，不仅需要所显示的候选人必须与招聘人员的查询相契合，而且需要招聘人员联系的候选人必须对岗位机会表现出兴趣。因此，使用适当的指标来优化模型以及在线的 A/B 测试至关重要。

 

此外，人才搜索系统的底层查询可能非常复杂，它结合了一些结构化字段（如规范化头衔、规范化技能和公司名称）和非结构化字段（例如自由文本式关键字）。

 

最后，个性化对于人才搜索系统而言非常重要，网站需要根据招聘人员所寻找应聘者的类型来模拟他们的意图和偏好，这也是人力资源中人工智能应用需要跨过的一道门槛。

 

人力资源数据的偏见与担忧

 

除了这些未知的挑战，在人力资源领域，人工智能还出现了许多已经有的偏见。

 

最为人熟知的可能是亚马逊被关闭的自动化招聘算法。据路透社报道，自2014年以来，亚马逊就专门成立了团队开发电脑程序以审查求职者的简历，以将寻找顶尖人才的任务自动化。

 

这一试验性招聘工具使用AI给应聘者打分，分数从一星到五星不等，直到2015年，亚马逊意识到其新系统对于软件开发人员和其他技术职位求职者存在性别偏见判断。这是因为，亚马逊的电脑模型经过了培训，通过观察过去10年被提交给该公司的简历找出固有模式，并以此来审查应聘者。

 

亚马逊立刻关闭了这一系统，但依然暴露了人工智能的一大缺陷：基于历史数据，算法会把人类世界无意识的偏见进一步扩大。

 

驯服算法，打造无偏见个性化的职位推荐系统

 

“在消除偏见方面，领英一直在试图在算法中提升透明度、可建性和个人意识。”

 

张仁辉向大数据文摘介绍了领英通过相关产品LinkedIn Talent Insights，把统计数据跟决策者、人力资源部和招聘部门进行分享，让他们了解团队的薪酬水平和整体的市场情况，使情况更加透明，这样大家可以了解到当前的AI系统和实际的差距所在，并尽量缩小这样的差距。

 

此外，张仁辉表示，为了实现个性化服务，领英采用了能够从多角度理解内容的机器学习算法。通过将机器学习与会员意图信号、档案数据和会员人脉网络信息结合起来，实现会员推荐和搜索结果的高度个性化。

 

 

领英的职位推荐系统是世界级领先的，其基础是通过大量用户数据建立的知识图谱和研发针对自然语言的标准化技术。领英针对每位用户的简历，都使用基于深度学习模型的标准化技术来实现信息抓取，比如LSTM, CNN等等。对于工作职位也做了同样的事情。

 

六七年前，领英的职位推荐是一个线性模型，比如说求职者是一个软件工程师，系统就会推荐一个软件工程师的职位。但后来使用中发现，根据用户简历和工作职位的描述来做推荐，不一定能够完全实现个性化，领英还希望根据用户之前的职位申请，为他推荐更多类似的职位，即深度的个性化。之后又研发了Generalized Linear Mixed Model（GLMix），针对每个用户和每个职位建立一个单独为他们服务的模型，这样使得模型的参数量达到了上百亿的规模。同时也成功地把职位申请的数量提高了30%。领英中国团队把这个模型用在中国的数据上，又将职位申请的数量额外提高了11%。

 

进一步地，领英还建立了一个Deep & Wide的模型，其中整合了深度学习，树状结构模型，以及GLMix，极大地提升了领英的用户体验。为了实时更新上百亿的模型参数以及在毫秒级别内满足用户的职位推荐需求，领英搭建了大规模运算平台来实现人工智能模型的技术。这个平台包括线下和线上两个模块——线下模块自动收集用户的反馈、基于Spark自动训练，之后把模型结果和参数上传到线上。线上使用实时数据传输和搜索引擎技术来实现低延迟的模型运算。

 

并且，领英专门研发了一个叫做Pro-ML的“人工智能自动化”系统，为所有工程团队集中管理特征和机器学习模型。这一系统为机器学习模型的整个开发、培训、部署、测试提供单一化平台，已经极大加快了领英开发及上线新产品的速度。

 

就这样一步步，领英打造了如今的复杂高效的世界级推荐系统。

 

 

正如张仁辉在6月20日的演讲《人工智能对未来招聘和人才市场的影响》中提到的，“我们拥有同理心、创造力、道德标准和伦理感，而人工智能会从重复性的工作和危险的工作中解放我们，让我们得以更好、更自由地表达并发展自己，让我们更好地相互连接，从而让世界更加美好。”

 

虽然现在人工智能的算法虽然非常的先进，可以下棋、打败电竞选手、玩视频游戏，但是人工智能没有同理心的能力，它没有办法了解另外一个人的情感。招聘工具可以取代重复的工作，比如每天要重复看简历来找候选人或者安排面试，但是这个工具永远不会取代人。

 

我们可以通过握手，直视面试者并微笑，听他们的故事，进而了解他们，但人工智能不可以。所以人工智能是不会取代我们，而是会让招募人员可以有更多的时间来和候选人进行人与人之间的交流，进行彼此的了解。

 

各行各业向AI招聘的转变创造了一个就业搜索环境，而这种环境将会持续下去。对于应聘者来说也有启示，企业将越来越多地使用基于AI的软件来对求职者进行分类。这意味着求职者需要用直白的语言来描述他们的背景，使用通用的语言来展示相关的工作经历。申请者还应准备进入招聘程序，让AI试图将他们理解为“人”，而不是作为一份成就清单。未来我们都应该学会如何与AI合作，如何与AI沟通。