Evaluating the Promise and Pitfalls of LLMs in Hiring Decisions

一、文章主要内容总结

本文聚焦大型语言模型（LLMs）在招聘决策中的应用评估，通过对比多个主流通用LLMs（如OpenAI的GPT系列、Anthropic的Claude、Google的Gemini、Meta的Llama等）与专有领域模型Match Score，探究其在候选人-职位匹配中的准确性与公平性。

研究使用约10,000个真实的近期候选人-职位对作为数据集，以“候选人是否成功进入后续环节（如面试、收到offer）”作为真实标签，从两方面展开评估：

• 准确性：通过ROC曲线下面积（ROC AUC）、精确率-召回率曲线下面积（PR AUC）、F1分数衡量模型对候选人与职位匹配度的预测能力；
• 公平性：通过不同人口统计群体（性别、种族及交叉群体）的“影响比”（Impact Ratio，即不同群体评分率的最小值与最大值之比，越接近1表示越公平）评估模型是否存在偏见。

结果显示，专有领域模型Match Score在两方面均显著优于通用LLMs：

• 准确性上，Match Score的ROC AUC为0.85，高于最佳LLMs的0.77；
• 公平性上，Match Score在种族群体中的最小影响比为0.957（接近平等），交叉群体中为0.906，而最佳LLMs的对应值分别为0.809和0.773。

文章还分析了LLMs存在偏见的原因（如预训练数据中的社会偏见），强调在招聘等高风险领域需依赖领域特定模型并进行偏见审计，而非直接使用现成LLMs；同时实证证明，准确性与公平性并非对立，设计良好的算法可