7、COLIEE 2022竞赛任务解析与成果总结

COLIEE 2022竞赛任务解析与成果总结

1. 任务1：案例检索

在任务1中，多个团队采用了不同的方法进行案例检索。
- 各团队方法
- LED团队 ：能够为检索任务生成有效的查询表示，还提出了一种基于聚类驱动的重排序方法，利用Sentence - BERT模型为查询和候选文档的句子生成嵌入，最后采用线性聚合方法结合传统信息检索（IR）模型和基于神经网络模型的相关性得分。
- UA团队（3次运行） ：使用基于Transformer的模型生成段落嵌入，计算查询案例与正负案例段落之间的相似度，将结果用于生成特征向量（两个案例所有成对比较的10 - bin直方图），再用梯度提升分类器判断案例是否需要关注，还应用了预处理和后处理启发式方法，在当前COLIEE版本的任务1中排名第一。
- nigam团队（3次运行） ：结合了基于Transformer和传统IR技术，使用Sentence - BERT和Sent2Vec进行语义理解，并结合BM25。先根据BM25排名选择前K个候选，再用预训练的Sentence - BERT和Sent2Vec模型生成每个句子的表示特征，使用余弦相似度和最大池化策略得到最终文档得分。
- siat团队（3次运行） ：展示了基于Longformer的对比学习如何处理数千个标记的序列，除了这种基于Longformer的方法，还探索了传统检索模型，在COLIEE 2022任务1中总体排名第二。
- 任务1结果