Re29：读论文 D2GCLF: Document-to-Graph Classifier for Legal Document Classification

已于 2022-11-24 12:02:05 修改
阅读量683 收藏 2
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 人工智能学习笔记 文章标签： 自然语言处理 GNN D2GCLF legalAI 文本分类
于 2022-09-06 14:30:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/PolarisRisingWar/article/details/126711341
本文介绍了一种针对法律文书的深度学习模型D2GCLF，它通过构建实体关系图（包括实体-事项、实体-行为、实体-关键词和SRL图）并利用GAT进行图分类，以识别民事案件的纠纷类型。研究者强调了传统文本分类方法在法律文书中的局限性，并展示了模型在民事诉讼文书分析中的应用实例和实验结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

诸神缄默不语-个人优快云博文目录

论文标题：D2GCLF: Document-to-Graph Classifier for Legal Document Classification
NAACL官方下载地址：https://aclanthology.org/2022.findings-naacl.170/
（这个PDF文档参考文献有缺失内容，我已经发邮件问过作者了，所以如果也有此需要的话可以直接问我要）

本文是2022年NAACL论文，关注法律领域的文书分类任务。是将每篇文书都构建为了4个图，然后将4个关系图合并，用GAT实现图分类任务。

本文的分类标签是民事案件的纠纷类型（从400类中选出语义上最相近的20类）：
在这里插入图片描述

本文提出模型Document-to-Graph Classifier (D2GCLF)，从案例中抽取主要当事人之间的关系作为事件，用4张relation graph来代表一篇法律文书。

文章目录

1. Background

和传统分类任务不同，不同类的法律文书也可能在语义上高度相似：

DOCSCRH（商业住房产权纠纷）类型（只有房地产公司能出售商业住房）：在这里插入图片描述

DOCSPHP（房屋买卖合同纠纷）类型：
在这里插入图片描述

本文认为，有两点原因造成传统文本分类方法不适用于法律领域：

  1. 传统文本分类没有充分利用文本结构信息。一些过去的方法用句子关系来解决这一问题，但并非所有句子都于预测任务有利。
  2. 法律案例中事实与理由部分最重要，但现在的词贡献图难以表征关键事实，且含大量与预测任务无关的词语。

本文认为法律文书分类任务最重要在理解事实，本文表示为实体之间的关系。

2. D2GCLF

从法律抽取中抽取关键当事人（原告和被告）的事实构成4个图：

  1. Entity-Matter
  2. Entity-Action
  3. Entity-Keyword（主题）
  4. Semantic Role Labeling (SRL)：建模更广泛的关系，包括有第三方人事的

然后组合4张图，过GNN（GAT），得到图表征，作为文书表征，实现分类。

整体架构图：
在这里插入图片描述

2.1 Motivation和民事诉讼文书数据分析

民事诉讼文书组成部分：

  • Entity information sections：诉讼当事人的信息
  • Facts
  • Reason：原告诉讼理由
    （当事人关系常存于facts和reason部分）
  • Miscellaneous items：相关法律、程序、证据的讨论，与文书类型关系不大，因为同一法律可能应用于不同纠纷中

组成部分示意图：
在这里插入图片描述

不同类型借贷纠纷的示例（DOCPL是私人贷款合同纠纷，例子1讨论借贷行为，例子2、3提到借贷诉讼的目的和原因；DOCS是保人合同纠纷）：
在这里插入图片描述
如果模型不知道句子之间的关系，可能会忽略关键词guarantor。

2.2 建图

2.2.1 Entity-Matter Graph

matters：识别纠纷类别的重要证据
常是名词，和原被告出现在同一句，所以本文用POS解析器1抽取每一包含原被告的句子里的名词。为了理解matters上发生的动作，我们也抽取了形容被抽取名词的动词，如table2中的borrowed和dollar。

文书节点，原告节点A，被告节点B：
在这里插入图片描述

2.2.2 Entity-Action Graph

案例中，纠纷必然对应某些原被告之间的动作。
本文抽取出现原被告句子中的动词，和每个动作的对象。

在这里插入图片描述

2.2.3 Entity-Keyword Graph

生成原被告相关的主题。
本文用TextRank抽取含有所有当事人句子中的关键词。

在这里插入图片描述

2.2.4 SRL Graph

(subject, predicate, object)
predicate谓语
用LTP工具2从每一句中抽取。

在这里插入图片描述

2.2.5 Combined graph

在这里插入图片描述

2.3 GNN

本文用预训练的词嵌入作为初始节点表征，用GAT聚合得到document节点表征，然后后面的就是常规MLP分类模型了。

3. 实验

3.1 数据集

本文算是给出了一部分的数据集？就给了这些：https://drive.google.com/file/d/1bZVv0TPSjIRsRjO0P67v8Y-K-tb-o7IE/view
在这里插入图片描述

4000个案例（每类最新200个案例），20类。70%训练集，30%测试集。替换指示代词为原被告真名。

3.2 baseline

词嵌入用的是https://github.com/Embedding/Chinese-Word-Vectors
传统机器学习方法词嵌入用的是https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip
深度学习方法词嵌入用的是https://huggingface.co/hfl/chinese-roberta-wwm-extlarge
（为什么词嵌入都不统一呢这个小编也不知道！）

基于图的方法：构建文档-词图，即直接连接文档节点及其中的词语节点、在文档中共现的词语节点。

用AUC作为评估指标。

（用不同词嵌入方法的结果见附件）
在这里插入图片描述

3.3 实验设置

在训练集上交叉验证3取参数。

3.4 模型分析

在这里插入图片描述

在这里插入图片描述

  1. https://pypi.org/project/pkuseg/ 具体使用方法可参考我撰写的博文：常用Python中文分词工具的使用方法 ↩︎

  2. 语言技术平台（ Language Technology Plantform | LTP ） ↩︎

  3. 交叉验证相关资料，一时不知道该放在哪里，就先放在这里了：
    Kaggle知识点：交叉验证常见的6个错误：在K的数量上一般选择5；用StratifiedKFold保持标签分布不变，用StratifiedGroupKfold保持按照对照组划分；先划分数据集后采样、做特征提取和转换操作；用TimeSeriesSplit划分时间序列；固定数据划分的随机种子 ↩︎

20、子序列转换器最小化与正则交集空性判定
onion的博客
06-27 2
本文探讨了子序列转换器最小化与正则交集空性判定的理论问题。在子序列转换器最小化部分，通过引入LSL和GCLF公理化的mge幺半群以及相关句法关系和映射，推广了经典最小化算法，并构造了等价的最小子序列转换器。同时，通过反例展示了GCLF公理的必要性。在正则交集空性判定方面，研究了如何判断一个正则集中是否包含真量化布尔公式，并基于有限自动机特性提出了解决方案。复杂度分析和实际应用展望也为后续研究提供了方向。
iTerm配置 + 实用工具
NiDeHaoPengYou的博客
12-08 434
终端的相关配置，包括Git相关等
【图结构】之图注意力网络GAT详解
qq_41995574的博客
09-01 4万+
作者：張張張張 github地址：https://github.com/zhanghekai 【转载请注明出处，谢谢！】 GATGATGAT源代码地址：https://github.com/PetarV-/GAT GATGATGAT论文地址：https://arxiv.org/pdf/1710.10903.pdf \qquad GATGATGAT是在GCNGCNGCN的基础上进行改进而得以实现...
自然语言处理NLP——图神经网络与图注意力模型（GNN、GCN、GAT）
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
12-24 1万+
本篇博客从图神经网络（GNN）的动机与模型，图卷积网络（GCN）的模型详解与公式推导引入，重点介绍图注意力网络（GAT）的目标函数推导，模型解析，并使用不同框架复现GAT论文实验，对比分析结论与论文结果，并在最后补充一定的GAT推广与优化（内附Python代码与数据集）。
【GNN】图注意力网络GAT(含代码讲解)
木盏
03-06 4万+
毫无疑问，图神经网络(Graph Neural Networks)是泛计算机视觉领域内继CNN、GAN、NAS等之后的又一个研究热点，非常powerful。GAT是空域GNN的代表模型，Bengio大佬团队出品，发表在ICLR2018，目前谷歌引用已经1k了。它的特点是，很适合作为上手GNN模型。
【图表示学习】图注意力网络GAT
bqw的博客
11-12 1860
图注意力网络(Graph Attention Network) 一、简介 CNN只能用来解决grid-like结构的数据。有很多任务的数据无法表示成grid-like结构，但可以表示成为图结构。GAT(Graph Attention Networks)就是一种处理图结构数据的神经网络。该网络是基于注意力机制实现的。 二、GAT结构 1.图注意力层的输入与输出 图注意力层(Graph Attentional Layer)是构成整个GAT的唯一种类的层。 该层的输入是多个节点的特征，h={h1⃗,h2⃗,…,h
PyG搭建GAT实现节点分类
KI的博客
07-16 4597
PyG搭建GAT实现节点分类
【论文笔记】MVSS-Net: Multi-View Multi-Scale Supervised Networks for Image Manipulation Detection
weixin_45366180的博客
11-07 5185
对MVSS进行改进，提出MVSS++。
19、支持（子）顺序转换器规范化和最小化的一类通用幺半群
最新发布
onion的博客
06-26 1
本文探讨了支持（子）顺序转换器规范化和最小化的一类通用幺半群。研究定义了一个满足特定五个公理的幺半群子类，包括自由幺半群、热带幺半群和群，并展示了这些结构在笛卡尔积下是封闭的。针对规范化问题，提出了基于动态规划的算法来构造等价的向前转换器；对于最小化问题，结合状态等价性判断和合并策略进行处理。同时，通过反例证明了最大公共左因子（GCLF）公理对算法正确性的必要性。研究成果为自然语言建模等领域提供了理论基础和高效的算法支持。
Mikrotik硬件支持
12-14
17. **Intel D945GCLF2** - RouterOS版本：3.23 - 结果：4个核心，2GB RAM，32GB SSD，无任何问题。 18. **Intel D945GCPE** - RouterOS版本：3.0 beta 9 - 结果：表现良好，包括集成以太网。 #### 四、总结 ...
GAT_proteomics:GAT进行蛋白质组学网络分类
04-01
GAT_蛋白质组学 GAT进行蛋白质组学网络分类 工作流程 先决条件 用户需要安装python（ ）和一些python软件包： [火炬] [dgl] [numpy] [熊猫] [networkx] [matplotlib] 数据准备和模型训练 将网络/一组网络的边缘文件，节点特征文件和标签文件添加到文件夹“数据”中。 对于图分类，需要一组图。 运行python脚本“ graph_classification.py”来训练和验证GAT模型。 训练有素的模型将存储在“模型”文件夹中。 python graph_classification.py根edge.file node.feature.file graph.label 运行python脚本“ graph_evaluation.py.py”以使用经过训练的模型对其他数据集进行预测。 python graph_evaluat
gat-cancer-staging:图注意网络用于癌症分期分类
04-06
胃癌分期 图注意力网络用于癌症分期分类。
图表示学习——GAT 19年学习记录
zhang_fu_guan的博客
10-31 796
论文标题： GRAPH ATTENTION NETWORKS——ICLR2018 论文链接： https://openreview.net/pdf?id=rJXMpikCZhttps://openreview.net/pdf?id=rJXMpikCZ 文章背景、解决问题 针对图结构数据，本文提出了一种GAT（graph attention networks）网络。该网络使用masked self-attention层解决了之前基于图卷积（或其近似）的模型所存在的问题（这些模型都依赖于图的结构，
GNN学习笔记（四）：图注意力神经网络（GAT）节点分类任务实现
LuoMin2523的博客
06-23 5803
目录 0 引言 1、Cora数据集 2、citeseer数据集 3、Pubmed数据集 4、DBLP数据集 5、Tox21 数据集 6、代码 嘚嘚嘚，唠叨小主，闪亮登场，哈哈，过时了过时了，闪亮登场换成大驾光临，哈哈，这样才颇有气势，哼哼... （唠叨小主哼哼了两声，对新改的词表示满意，微拉裙侧，留下了高跟鞋的声音...） 0 引言 近年来，人们对深度学习方法在图上的扩展越来越感兴趣。在多方因素的成功推动下，研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想，定义和设计了用于处理图
深度学习之上，图神经网络（GNN ）崛起
蚂蚁金服技术团队
08-13 4161
由于深度学习在可推理和可解释性方面存在比较大的局限性，结合了图计算和深度学习的图神经网络（GNNs）成为近期学术界和工业界研究热度颇高的新方向之一。业界普遍认为，GNN 恰好可以弥补前面提到的深度学习无法解决的两个缺陷。近一年 GNN 在越来越多应用场景上取得了成功，但它也仍面临着许多挑战。 蚂蚁金服在今年的数据挖掘研究领域顶级年会 KDD 2019 上召开了以“图神经网络研究及实际应用”为主题...
【论文阅读笔记】Text-guided Legal Knowledge Graph Reasoning
自用博客
02-13 428
【论文阅读笔记】Text-guided Legal Knowledge Graph Reasoning
简述 GCN &&GAT(Graph Attention Networks )
笔记
10-30 1万+
Graph attention works GCN CNN处理的图像或者视频数据中像素点（pixel）是排列成成很整齐的矩阵，论文提到 Euclidean Structure。 非Euclidean Structure的网络结构，也是图论抽象意义的拓扑图。 Graph Convolutional Network中的Graph是指数学（图论）中的用顶点和边建立相应关系的拓扑图。 提取拓扑图空间特...
图注意力网络(GAT) ICLR2018, Graph Attention Network论文详解
热门推荐
祥瑞的技术博客
04-21 10万+
背景：ICLR2018 论文，Graph Attention Network在GNN中非常重要，再之前图卷积网络GCN的基础之上引入了注意力机制，非常实用。 论文地址：https://arxiv.org/abs/1710.10903 代码地址： https://github.com/Diego999/pyGAT 相关论文详解： GCN (Graph Convolutional Networ...
图注意力网络(GAT)理论推导的整理
FiveCu5的博客
09-04 4414
图注意力网络（GAT）理论推导的整理GAT的提出GAT的提出背景注意力机制的引入GAT的结构图注意力层计算注意力系数多头图注意力层相关比较总结 tips:本篇博客是本人因学习而整理，为方便归档而发布。博客除参考《Graph Attention Networks》（Yoshua Bengio et. al. 2017）外，也参考了网上各路大神的文章，若有侵犯或错误请私信，本人会第一时间作出回应。 GAT的提出 GAT的提出背景   图卷积网络（GCN）存在一定缺陷。GCN只能应用于转导(transductiv
TensorFlow安装教程
诸神缄默不语的博客
05-28 6万+
本文介绍TensorFlow在Linux系统上的安装方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值