论文阅读《Editing Language Model-Based Knowledge Graph Embeddings》

论文综述:基于语言模型的知识图谱嵌入编辑

左边两个是基线,右边上面是editor的情况,右边下面是add的情况

问:怎么最低成本的编辑三元组,同时更新三元组对应的网络里面的嵌入?
解:用一个额外的LSTM超网络更新目标网络的部分超参。

作者与机构

本文由浙江大学、浙江大学-蚂蚁集团联合实验室、东海实验室和腾讯平台与内容部的研究人员共同撰写。主要作者包括Siyuan Cheng、Ningyu Zhang、Bozhong Tian等。

摘要

近年来,通过语言模型框架化知识图谱(KG)嵌入取得了显著的实证成功。然而,基于语言模型的KG嵌入通常作为静态工件部署,这使得在部署后修改变得困难。为了解决这一问题,本文提出了一项新的任务——编辑基于语言模型的KG嵌入。该任务旨在实现对KG嵌入的快速、数据高效的更新,而不会影响其他方面的性能。为此,我们构建了四个新数据集:E-FB15k237、A-FB15k237、E-WN18RR和A-WN18RR,并评估了几种知识编辑基线,展示了先前模型处理这一挑战性任务的有限能力。我们进一步提出了一个简单但强大的基线模型——KGEditor,该模型利用超网络中的额外参数层来编辑或添加事实。实验结果表明,KGEditor在有限的训练资源下能够高效地更新特定事实而不影响整体性能。

引言

知识图谱(KG)表示大规模、多关系的图结构,包含丰富的符号事实。这些结构为各种知识密集型任

### 基于扩散模型的无训练音频编辑框架 #### 概述 为了满足无需额外训练即可执行高质量音频编辑的需求,研究者们探索了一种基于预训练扩散模型的方法。这种方法允许直接操作音频信号,在不改变其基本结构的前提下调整特定属性,如音调、语速或背景噪声水平。 #### 实现方式 该框架的核心在于利用预先训练好的条件扩散模型作为基础架构[^3]。通过微调输入特征而不是重新训练整个网络权重来适应不同的编辑需求。具体而言: - **特征提取**:从原始音频文件中抽取梅尔频谱图或其他形式的时间频率表示; - **条件编码**:将目标修改指令转换成可以被扩散模型理解的形式; - **反向采样过程**:根据给定条件逐步逆推生成期望效果下的新音频样本; 值得注意的是,由于采用了已经充分优化过的大型语言模型作为后台支持,因此能够有效减少计算资源消耗并提高处理效率。 ```python import torch from diffusers import StableDiffusionPipeline, DDIMScheduler model_id = "path_to_pretrained_model" scheduler = DDIMScheduler(beta_start=0.00085, beta_end=0.012, num_train_timesteps=1000) pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler).to("cuda") def edit_audio(audio_input, condition): # 将音频转化为适合模型接收的数据格式 input_features = preprocess(audio_input) with torch.no_grad(): outputs = pipe(input_features, guidance_scale=7.5, eta=0.0, strength=condition) edited_audio = postprocess(outputs["sample"]) return edited_audio ``` 上述代码片段展示了一个简化版的操作流程,其中`preprocess()`函数负责准备合适的输入数据,而`postprocess()`则用来恢复最终输出为可播放的声音文件。 #### 应用场景 此类技术特别适用于那些希望快速获得定制化声音素材而不愿投入过多时间成本进行专门培训的人群,比如播客创作者或者短视频制作者等。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值