Re30：读论文 LegalGNN: Legal Information Enhanced Graph Neural Network for Recommendation

最新推荐文章于 2024-11-15 07:30:00 发布
原创 最新推荐文章于 2024-11-15 07:30:00 发布 · 901 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#LegalGNN #legalAI #GNN #知识图谱 #推荐系统

这篇博客介绍了LegalGNN，一种针对法律推荐系统的GNN模型，它结合了用户搜索历史、法律知识图谱和HLIN结构，增强了对用户兴趣的理解和文书推荐的准确性。文中对比了传统方法，强调了法律信息结构和内容融合的重要性，并展示了模型的构建细节和实验结果。

诸神缄默不语-个人优快云博文目录

论文标题：LegalGNN: Legal Information Enhanced Graph Neural Network for Recommendation
论文ACM官方下载地址：https://dl.acm.org/doi/abs/10.1145/3469887
官方GitHub项目：yangjun12/LegalGNN: Code for Paper: LegalGNN: Legal Information Enhanced Graph Neural Network for Recommendation

本文是2022年ACM Transactions on Information Systems论文，作者来自清华和IBM。我很少读这种长篇的论文，分析很完整、到位，包括了对新方法和以前论文提出方法的详细对比和分析。
提出了第一个用于法律推荐系统的GNN模型。

实现针对用户兴趣（根据搜索历史得到）的文书推荐（Legal-Rec任务，感觉比标准的案例检索任务要更推荐一些）。

  1. 本文提出HLIN (Heterogeneous Legal Information Network) 来统一法律内容（案例文本和法律概念定义文本）和结构信息（法条、案由 (cause of action) 之间的关系，案例文本中含有法律概念（犯罪原因、关键要素等），法律概念之间有层级化、结构化的关系。知识图谱）。
  2. 为了建模用户兴趣，将用户在法律推荐系统中提出的query结合进HLIN，链接到被检索的文档和提出问题的用户上，这对冷启动用户/item也很有用。
  3. relational attention mechanism的GNN模型将HLIN中的高阶信息应用于推荐任务中。

文章目录

1. Background & Motivation

Legal-Rec和传统推荐系统的区别：

  1. 法律信息的结构联系和文本内容都很重要，因此特征融合很重要。
  2. 用户偏向于新案例（最新司法解释和司法实践），因此新item问题严重。
  3. 用户关注少数主题、兴趣稳定，所以准确建模用户兴趣很重要。

本文认为：

  1. 传统在图中传播节点特征的方法对结构联系的应用不够充分。
  2. 传统解决new-item的方法是基于内容，没有考虑与之前有充分交互信息的item的关系。本文用法律概念作为这个桥梁。

以前的Legal-Rec工作主要考虑多主题内容和冗余关系，因此使用基于主题模型的方法（如LDA）或基于图的方法。但这忽略了法律信息的联系。基于图的方法还丢失了法律文书的内容信息。
以前有用法律知识图谱做IR或QA的工作。

传统仅使用内容的推荐系统缺失结构信息，使用知识图谱的推荐系统（KG+user-item二部图）缺乏对知识图谱节点内容的应用（利用节点内容特征不够充分）。

2. LegalGNN

在这里插入图片描述

2.1 HLIN

在这里插入图片描述

节点：users, cases, queries, legal concepts, and connections among them
法律概念包括：cause, law, clause, and factor
特征：文本
边（建模用户兴趣）：user-query and item-query relationships

User-item Interaction History
Search History

legal knowledge graph
Legal Domain Knowledge（作为side information）：文本法律概念和其间的结构化联系。

结构化联系包括：

  • item-entity alignments（案例与法律概念相关）
  • 法律概念之间的联系（层级化定义）

有向图，但是每种关系同时考虑其反向关系

user behavior graph
interaction：user & item
submit：user & query
retrieval：query & item

2.2 LegalGNN

在这里插入图片描述

在这里插入图片描述

BERT+SDAE+TransR+GNN

Unified Content and Structure Representation Module
图基本上就是上一节的构图内容

BERT（OpenCLaP的预训练模型，最后一层嵌入token的平均池化）
降维：autoencoder (SDAE)
 Denoising Autoencoder (DAE)
 两层SDAE：
在这里插入图片描述
在这里插入图片描述
以上两个模块与下游任务解耦

Unified Node Representation：TransR+与固定的文本内容向量（经线性变换后）concat
在这里插入图片描述
在这里插入图片描述
两种嵌入都随机初始化后梯度下降（我没太搞懂为什么，难道不是前面得到的吗？而且我确实觉得已经有GNN了还要显式建模一下结构，很奇怪）

在这里插入图片描述
通过随机corrupt构建负三元组

Multi-relational GNN Module
本文参考LightGCN构建了简化版的GNN模型。

在这里插入图片描述

GNN：pool + aggregate（直接对每种关系的邻居做一个整体的池化，然后再用attention进行聚合。不使用transformation矩阵：避免过拟合问题）
在这里插入图片描述

propagation：

  1. 在这里插入图片描述
  2. Relational Attention
    在这里插入图片描述
    注意力计算方式：
    在这里插入图片描述
    在这里插入图片描述
  3. Prediction：内积
    在这里插入图片描述
    pair-wise ranking loss：
    在这里插入图片描述
    （对每一个训练集样本，随机选择一个负样本）

模型训练

  1. 用SDAE降维：在这里插入图片描述
  2. 联合学习推荐任务和表示任务：在这里插入图片描述
  3. 按推荐任务等比例抽取图中的mini-batch进行训练；类似GraphSAGE的抽样策略

Leakage Path Bias during Graph Modeling
break-path strategy

3. 实验

3.1 数据集

大型法律推荐数据集。由于隐私问题不能完全公开。

划分数据集：leave-one-out strategy（用每个用户最新交互作为测试集，倒数第二次交互作为验证集，其他作为训练集）
不考虑重复推荐问题
negative sampling method：评估排序任务中的推荐表现（1-99）

在这里插入图片描述

在这里插入图片描述
（注意表格中只有一个方向的关系，事实上反向边也考虑）

3.2 baseline

  • 基于因式分解：BPR
  • 基于GNN
    • KGAT
    • LightGCN
  • 基于HIN
    • CFKG
    • GATNE-T
    • GATNE-I
  • 基于内容
    • ACCM
    • NFM
    • NRMS
    • NRHUB

在这里插入图片描述

3.3 实验设置

PyTorch
重复5次实验（只有随机种子改变）
其他略

3.4 主实验结果

评估指标：
Hit Ratio (HR)
Normalized Discounted Cumulative Gain (NDCG)

在这里插入图片描述

3.5 模型分析

3.5.1 Ablation Study

在这里插入图片描述
C：文本内容特征
S：结构特征
Debias：训练过程中的debias strategy
Q：query节点及其相关边

在这里插入图片描述

3.5.2 冷启动问题

在这里插入图片描述

3.5.3 超参设置

在这里插入图片描述

3.5.4 案例分析

在这里插入图片描述

论文《FedGNN: Federated Graph Neural Network for Privacy-Preserving Recommendation》阅读
xingzhe123456789000的博客
06-22 975
今天带来清华大学 武楚涵 博士 发表在FL-ICML 2021（ICML 2021 关于联邦学习的workshop）上的论文《FedGNN: Federated Graph Neural Network for Privacy-Preserving Recommendation》。论文主要面向的问题是在联邦推荐场景下使用GNN无法提取 high-order neighbor 的问题，作者使用一种graph expansion 方法 来提取 高阶邻居 信息。
GNN:Graph Neural Networks for Social Recommendation简介
loserChen的博客
03-25 6418
Graph Neural Networks for Social Recommendation Abstract 基于GNN建立社交推荐系统有很多的挑战，因此作者提出了GraphRec框架。作者提供了一种有原则的方法来联合捕获用户-项目图中的交互和意见，并提出了框架GraphRec，该框架连贯地对两个图和异构优势进行建模。 Introduction 作者提出三个问题： 如何整合user-user...
IJCAI 2022 | 求同存异：多行为推荐的自监督图神经网络
Paper weekly
05-24 2668
©作者|顾舒贇单位|北邮GAMMA Lab来源|北邮GAMMA Lab论文标题：Self-supervised Graph Neural Networks for Multi-behavior Recommendation收录会议：IJCAI 2022论文链接：http://shichuan.org/doc/134.pdf代码链接：https://github...
GNN在推荐系统中的挑战、方法和方向
宇宙哇
10-15 1548
GNN在推荐系统中的挑战、方法和方向 今天给大家介绍清华大学李勇、中科大何向南老师团队有关GNN和推荐系统的综述：Graph Neural Networks for Recommender Systems: Challenges, Methods, and Directions。这篇文章对图神经网络及其在推荐系统中的应用进行了详细的调研，从不同角度对GNN在推荐系统的应用进行了分类，最后基于这些调研对领域内存在的问题和发展方向进行了讨论。 推荐系统的发展历程 浅层模型 早期的推荐模型主要通过计算交互的
【论文】BERT_LF: A Similar Case Retrieval Method Based on Legal Facts
qq_43569299的博客
04-21 499
在许多司法体系中，为了确保司法公正性，类案检索有着重要意义。随着中国智慧法制的发展和数字司法文档数量的增加，司法案例的自动检索在信息检索的研究领域已经吸引了越来越多的注意力【1-3】。近年来，研究者已经在司法信息减速哦方面取得了许多典型的进展【4-8】。司法案例检索的目的是定义与给定案例相似的案例。中国提供了一个可参考的指导性案例系列，供类似案件的审判参考。指导性案例由标题、关键词、判决要点、相关法律法规、基本案例事实、判决结果、判决原因以及包括生效裁判及裁判员姓名的附注构成。
基于图谱和智能体的法律文档 GraphRAG案例深度解析 - WhyHow.AI
star_nwe的博客
11-15 1381
对于那些希望了解每个代理的作用的人，我们在附录中提供了每个代理的代码片段AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！检索查询中提到的术语的定义。""""""
论文阅读——《Global Context Enhanced Graph Neural Networks for Session-based Recommendation》
小白的学习路
01-29 2693
《Global Context Enhanced Graph Neural Networks for Session-based Recommendation》 基于会话推荐的全局上下文增强图神经网络 摘要:基于会话的推荐（SBR）是一项具有挑战性的任务，旨在基于匿名行为序列来推荐项目。几乎所有现有的SBR解决方案都仅基于当前会话来模拟用户的性能，而没有利用其他会话，这些会话可能包含与当前会话相关的项目转换和无关的项目转换。本文提出了一种称为“全局上下文增强图神经网络”（GCE-GNN）的新颖方法，该方
论文阅读《Knowledge-enhanced Multi-View Graph Neural Networks for Session-based Recommendation》
wzj1212123的博客
11-02 648
KMVG指出主流算法中利用全局图会出现的信息冗余问题，但使用知识图谱作为解决方案并没有利用跨会话信息，可以在这篇文章的思想上针对全局图进行改进，去掉局部图中已经包含的信息，让全局图捕获全新的跨会话信息。
论文《Federated Social Recommendation with Graph Neural Network》阅读
xingzhe123456789000的博客
06-13 1022
今天总结一下最近阅读的关于联邦社会化推荐的论文《Federated Social Recommendation with Graph Neural Network》，论文 由 UIC（伊利诺伊大学芝加哥分校）数据挖掘方向大牛 Philip S. Yu（俞士纶）团队 Zhiwei Liu 等人 和 北航 Hao Peng 等人完成。论文发表在期刊 TIST （ACM Transactions on Intelligent Systems and Technology） 2022 上。
TAGNN: Target Attentive Graph Neural Networks for Session-based Recommendation论文阅读笔记
Andre_Jan的博客
04-24 784
考虑到目标项目的多样性和用户的兴趣，固定向量会限制推荐模型的表示能力。 - 提出了一种新的目标注意力图神经网络 (TAGNN) 模型，用于基于会话的推荐。 - 在 TAGNN 中，目标感知注意力自适应地激活不同用户对不同目标项目的兴趣。 - 学习到的兴趣表示向量随着目标项目的不同而变化，极大地提高了模型的表达能力。 - TAGNN 利用图神经网络来捕获会话中丰富的项目转换
浅谈Attention机制的理解.pdf
04-25
Attention注意机制现在大热，很多深度学习的框架都带上了注意力机制，而且也取得了很好的性能指标。乘着大热也来水一水文章，发表发表自己的看法。事先说明老哥我在NLP上萌新一枚，粗糙想法不登大雅，呆萌的逻辑思维适合同为萌新滴你。废话不多说，在本文我就浅谈下对注意机制的理解。
【论文阅读笔记】Text-guided Legal Knowledge Graph Reasoning
自用博客
02-13 489
【论文阅读笔记】Text-guided Legal Knowledge Graph Reasoning
WSDM 2023 推荐系统相关论文整理（三）
Cybenko
06-05 2443
WSDM 2023的论文录用结果已出，推荐系统相关的论文方向包含序列推荐，点击率估计等领域，涵盖图学习，对比学习，因果推断，知识蒸馏等技术，累计包含近四十篇论文，下文列举了部分论文的标题以及摘要，更多内容欢迎关注公众号【
诸神缄默不语-个人技术博文与视频目录
热门推荐
诸神缄默不语的博客
05-24 1万+
诸神缄默不语的优快云博文目录
【论文整理】基于图神经网络的序列推荐模型整理Graph Neural Networks for Recommender Systems: Challenges, Methods, and Direct
qq_45719936的博客
05-24 1905
序列推荐发展历程 对于序列推荐，为了提高推荐性能，需要从序列中提取尽可能多的有效信息，并了解用户在序列中的兴趣，包括短期兴趣、长期兴趣、动态兴趣等，以便准确预测用户可能感兴趣的下一个项目。已经使用了一些序列建模工具，如马尔可夫链或递归神经网络GNN。对于图神经网络，通过将数据转换为图，它可以很好地用于短期、动态的兴趣建模或表示学习。使用GNN进行序列建模的一般模式。 SURGE将每个用户的序列转换为项目-项目图，并通过度量学习自适应地学习边的权重，动态图池只保留较强的边。保留的图形通过位置展平转换为序列，
【转载】Attention Mechanism in Deep Learning
weixin_30916125的博客
03-31 1577
本篇随笔为转载，原文地址：知乎，深度学习中Attention Mechanism详细介绍：原理、分类及应用。参考链接：深度学习中的注意力机制。 Attention是一种用于提升基于RNN（LSTM或GRU）的Encoder + Decoder模型的效果的的机制（Mechanism），一般称为Attention Mechanism。Attention Mechanism目前非常流行，广泛应用于机...
[论文笔记] Handling Information Loss of Graph Neural Networks for Session-based Recommendation
THOOOR的博客
08-19 772
原文地址 KDD 2020 | Handling Information Loss of Graph Neural Networks for Session-based Recommendation Handling Information Loss of Graph Neural Networks for Session-based Recommendation (github.com) 最近，图神经网络（GNN）因其在各种应用中令人信服的性能而越来越受欢迎。许多先前的研究也尝试将 GNN 应用于基于.
基于图神经网络的推荐系统
weixin_42863719的博客
04-29 8849
本文基于两篇综述系统地介绍基于图神经网络的推荐系统：A Survey on Knowledge Graph-Based Recommender Systems和Graph Learning based Recommender Systems: A Review
Calendar Graph Neural Networks for Modeling Time Structures in Spatiotemporal User Behaviors学习笔记
qq_39550159的博客
10-04 580
论文简介 Daheng Wang老师发表在KDD 2020上的一篇论文，主要通过用户的时空行为数据，对时间进行分级别建模，同时融合时空相关性来学习用户表示 ，能够更好的服务于下游任务。 论文源码：https://github.com/dmsquare/CalendarGNN 论文背景 学习用户的表示，现有的学习方法主要将用户的行为日志表示为一系列项，并找到相应的顺序模式，但是这可能会缺少空间信息，但是这些空间信息对用户建模是非常有用的。 目前...
Temporal Graph Neural Network
最新发布
08-28
### 三级标题：Temporal Graph Neural Network（TGNN）的原理与架构 Temporal Graph Neural Network（TGNN）是一种专门用于处理具有时间动态特性的图结构数据的深度学习模型。与传统图神经网络（GNN）不同，TGNN 能够同时建模图结构的空间依赖性和节点特征的时间演化。其核心架构通常包括两个关键部分：**图结构建模模块**和**时间序列建模模块**。图结构建模模块用于捕捉节点之间的空间关系，而时间序列建模模块则用于处理节点特征随时间的变化。某些 TGNN 模型采用 GRU 或 LSTM 来建模时间动态性，同时结合图卷积网络（GCN）来提取空间特征[^1]。 在图结构建模方面，一些 TGNN 模型引入了自适应图学习机制，通过端到端的方式自动构建和优化图邻接矩阵，从而适应数据的动态变化。例如，ASTGNN（Adaptive Spatial-Temporal Graph Neural Network）采用图自适应学习模块，能够在训练过程中动态调整图结构，以更精确地建模节点间的空间依赖关系[^2]。此外，部分模型还引入了谱域图卷积方法，通过图傅里叶变换将图信号转换到频域进行处理，从而增强模型的表达能力[^3]。 ### 三级标题：Temporal Graph Neural Network 的应用场景 TGNN 在多个领域具有广泛的应用，尤其适用于具有时空特性的图结构数据任务。在交通预测中，TGNN 被用于建模道路网络中的节点（如交叉口或传感器）及其随时间变化的流量信息。例如，Adaptive Spatio-temporal Graph Neural Network 被应用于交通流量预测，通过自适应图学习获得最优邻接矩阵，并结合两阶段训练策略提高预测精度[^1]。此外，TGNN 还被用于能源管理、健康监测和社交网络分析等领域，用于建模用户行为、设备状态或社交关系的动态演化[^3]。 在多变量时间序列预测中，TGNN 通过将变量之间的依赖关系建模为图结构，并结合时间序列建模技术，实现对复杂系统的长期预测。例如，STemGNN（Spectral Temporal Graph Neural Network）利用图谱分析方法建模变量之间的非线性关系，并结合时间卷积模块进行预测，显著提升了预测的准确性和鲁棒性[^3]。 ### 三级标题：Temporal Graph Neural Network 的实现方法 在实现 TGNN 模型时，通常需要结合图神经网络和循环神经网络（RNN）或变换器（Transformer）等时间建模组件。例如，某些模型采用两阶段训练策略：第一阶段用于学习图结构，第二阶段用于优化时间动态建模部分[^1]。此外，一些模型引入图注意力机制，使模型能够动态调整不同邻居节点的权重，从而提升模型的泛化能力[^2]。 在图结构学习方面，部分模型通过引入图正则化项来优化图邻接矩阵。例如，Pre-training Enhanced Spatial-temporal Graph Neural Network 在训练过程中计算一个非归一化概率 Θij，并将其与初始邻接矩阵 Aa 之间的交叉熵作为图结构的正则化项，从而增强图结构的可解释性和鲁棒性[^4]。 以下是一个简化版的 TGNN 模型实现示例： ```python import torch import torch.nn as nn import torch.nn.functional as F class TemporalGNN(nn.Module): def __init__(self, num_nodes, input_dim, hidden_dim, output_dim): super(TemporalGNN, self).__init__() self.gcn = nn.Linear(num_nodes, num_nodes) self.rnn = nn.GRU(input_dim, hidden_dim) self.fc = nn.Linear(hidden_dim, output_dim) def forward(self, x, adj_matrix): # x: [T, N, D] (T: time steps, N: nodes, D: features) T, N, D = x.shape outputs = [] for t in range(T): h = torch.matmul(adj_matrix, x[t]) h = F.relu(h) _, h = self.rnn(h.unsqueeze(0)) out = self.fc(h.squeeze()) outputs.append(out) return torch.stack(outputs) # 示例使用 model = TemporalGNN(num_nodes=100, input_dim=10, hidden_dim=32, output_dim=1) ``` ### 三级标题：相关扩展与优化策略 为了提升 TGNN 的性能，研究者提出了多种优化策略。例如，某些模型引入预训练机制，通过在大规模图数据上进行自监督学习，提升模型在下游任务中的泛化能力[^4]。此外，一些模型采用谱域图卷积技术，结合图傅里叶变换来增强图表示能力[^3]。还有部分模型采用多尺度时间建模策略，结合不同时间粒度的特征进行预测，从而提升模型对长期依赖的建模能力[^1]。 在图结构建模方面，部分研究者尝试引入图注意力机制，使模型能够根据输入数据动态调整图结构，从而适应不同的任务需求[^2]。这些方法不仅提升了模型的表达能力，还增强了模型的可解释性和鲁棒性。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值