18、大规模同伴评分的最新进展

大规模同伴评分的最新进展

1. 引言

同伴评分是评估研究工作的标准做法，近年来在在线教育中也变得必不可少。例如，科学会议的程序委员会要决定哪些论文能被接受展示，专业协会成员要选出应获奖的成员，在线课程的教师要将考试评估工作外包给学生等。在这些情况下，都需要汇总个人的评分以得出最终结果。

然而，由于个人评分通常是片面且不准确的，如何保证评估结果的有效性是一大挑战。以大型科学会议为例，提交的论文数量可能多达数千篇，没有一个程序委员会成员能全面了解所有论文，每个成员通常只评审少数几篇。学生互评时的不准确情况更明显，即使是专家也可能存在严重问题。比如，2014年NIPS会议的组织者成立了两个独立的程序委员会，对约900篇提交的论文进行评审，其中166篇由两个委员会共同评审，结果显示决策过程存在惊人的随机性，一个委员会接受的论文有一半以上被另一个委员会拒绝。

接下来，我们将聚焦大规模开放在线课程（MOOC）考试评分这一极具挑战性的场景。假设参加考试的学生数量极大（趋近于无穷），这样能将规模、片面性和评分不准确等问题推向极致。同时，我们将介绍一种受社会选择理论启发且带有机器学习特色的方法，该方法已被证明既简单又有效。

2. 大规模开放在线课程

像Coursera和EdX这样支持在线课程的平台已成为教育趋势，吸引了大量风险投资和顶尖学者的支持。2015年的数据显示，至少参加一门在线课程的学生总数超过3500万，较2014年增长了100%。2016年，全球有500多所大学参与了4200多门在线课程，课程涵盖计算机科学、商业管理、工程等热门技术领域，以及社会科学和人文学科。

MOOC的成功与否取决于能否找到合适的商业模式并确保收入来源