大家好~我是SP_FA~

LLM 在各个方面都表现出了强大的能力。然而，当将它们应用于高度专业化、安全关键的法律领域时，尚不清楚他们拥有多少法律知识以及他们是否能够可靠地执行与法律相关的任务。为了弥补这一差距，文章提出了一个综合性评估基准 LawBench。LawBench 经过精心设计，从三个认知层面对 LLM 的法律能力进行精确评估：（1）法律知识记忆：LLM 是否能够记住所需的法律概念、文章和事实;（2）法律知识理解：LLM 是否理解法律文本中的实体、事件和关系;

我们提出了DISC-LawLLM，这是一个利用大型语言模型的智能系统，以提供广泛的法律服务。我们采用法律三段论提示策略，构建中国司法领域的监督微调数据集，并建立具有法律推理能力的 Law LLM。我们通过检索模块增强了 LLM，以增强模型获取和利用外部法律知识的能力。提出了一个综合性法律基准，即 DISC-Law-Eval，用于评估客观和主观因素的智能法律系统。DISC-Law-Eval 的定量和定性结果表明，我们的系统在为不同法律场景中的各种用户提供服务方面是有效的。

OpenCompass 是一个用于评测语言大模型和多模态大模型的算法库，中文文档连接：https://opencompass.readthedocs.io/zh-cn/latest/index.html。

LLMs 的兴起及其在法律界的应用引发了一个问题：LLMs 能够执行哪种类型的法律推理？为进一步研究这一问题，我们提出了 Legalbench：一个由协作构建的法律推理基准，涵盖了六种不同类型的法律推理，共162个任务。Legalbench 是通过跨学科过程构建的，在这个过程中，我们收集了由法律专业人士设计和精心制作的任务。由于这些主题专家在构建中起到了主导作用，任务要么测量实际有用的法律推理能力，要么测量律师感兴趣的推理技巧。