Understanding Privacy Risks of Embeddings Induced by Large Language Models

本文是LLM系列文章，针对《Understanding Privacy Risks of Embeddings Induced by Large
Language Models》的翻译。

摘要

大型语言模型（LLM）显示出通用人工智能的早期迹象，但与幻觉作斗争。缓解这些幻觉的一个有前途的解决方案是将外部知识存储为嵌入，帮助LLM进行检索增强生成。然而，这种解决方案有损害隐私的风险，因为最近的研究实验表明，可以通过预先训练的语言模型从文本嵌入中部分重建原始文本。LLM相对于传统的预训练模型的显著优势可能会加剧这些担忧。为此，我们研究了当使用LLM时，从这些嵌入中重构原始知识和预测实体属性的有效性。实证研究结果表明，与预训练模型相比，LLM显著提高了两个评估任务的准确性，无论文本是分布中还是不分布。这突显了LLM危害用户隐私的可能性增加，突显了其广泛使用的负面后果。我们进一步讨论了缓解这种风险的初步策略。

1 引言

2 主要结果

3 讨论和局限性

4 方法