Robust Privacy Amidst Innovation with Large Language Models Through a Critical Assessment

本文是LLM系列文章，针对《Robust Privacy Amidst Innovation with Large Language Models Through a Critical Assessment of the Risks》的翻译。

摘要

目的
本研究评估电子健康记录 （EHR） 和自然语言处理 （NLP） 与大型语言模型 （LLM） 的集成，以增强医疗保健数据管理和患者护理，重点是使用高级语言模型为全球生物医学研究创建安全、符合 HIPAA 标准的合成患者记录。
材料和方法
该研究利用 GPT-3.5、GPT-4 和 Mistral 7B 的 MIMIC III 数据集的原始去标识化和重新标识（即重新填充）版本来生成合成临床记录。文本生成使用模板和关键字提取来生成上下文相关的合成注释，并使用一次性生成进行比较分析。隐私评估包括 PHI 的发生和共存。在 ICD-9 编码任务中评估文本效用，使用合成笔记训练 ICD-9 编码员。此外，使用 ROUGE 和余弦相似性指标进行文本质量评估，将合成注释与源注释进行比较，以测量语义相似性。
结果和讨论
通过 ICD-9 编码任务对 PHI 发生和文本效用的分析表明，基于关键字的方法风险低，性能好。单次生成显示最高的 PHI 暴露和 PHI 共现，尤其是在地理位置和日期类别中。归一化 One-shot 方法实现了最高的分类精度。隐私分析揭示了数据效用和隐私保护之间的关键平衡，影响着未来的数据使用和共享。重新识别的数据始终优于去识别化的数据。
结论
本研究证明了基于关键字的方法在生成保留数据可用性的隐私保护合成临床记录方面的有效性，这可能会改变临床数据共享实践。与去标识化数据相比，重新识别数据的性能优于 De-Identified，这表明正在转向通过使用虚拟 PHI 来迷惑隐私攻击来增强效用和隐私的方