A MULTI-FACETED EVALUATION FRAMEWORK FOR ASSESSING SYNTHETIC DATA GENERATED BY LLM

本文是LLM系列文章，针对《A MULTI-FACETED EVALUATION FRAMEWORK FOR ASSESSING SYNTHETIC DATA GENERATED BY LARGE LANGUAGE MODELS》的翻译。

摘要

生成式人工智能和大型语言模型（LLM）的快速发展为生成合成数据开辟了新的途径，特别是在结构化表格格式领域，如产品评论。尽管有潜在的好处，但人们对隐私泄露的担忧已经浮出水面，尤其是在训练数据集中使用个人信息的情况下。此外，缺乏一个全面的评估框架，能够定量衡量生成的合成数据的质量及其对下游任务的效用。为了弥补这一差距，我们引入了SynEval，这是一个开源评估框架，旨在通过一套不同的评估指标来评估合成生成的表格数据的保真度、实用性和隐私保护。我们通过将我们提出的框架SynEval应用于三种最先进的LLM（ChatGPT、Claude和Llama）生成的合成产品审查数据来验证其有效性。我们的实验结果阐明了在合成数据生成背景下各种评估指标之间的权衡。此外，SynEval是从事合成表格数据的研究人员和从业者的关键工具，“使他们能够明智地确定生成的数据是否适合其特定应用，重点是保护用户隐私。

1 引言

2 相关工作

3 提出的方案

4 实验

5 结论和未来工作

在本文中，我们提出了一个全面的评估框架，用于定量评估LLM生成的合成表格数据的保真度、实用性和隐私性。我们通过将所提出的框架应用于三种最先进的LLM（ChatGPT、Claude和Llama）生成的合成产品审查数据，证明了该框架的有效性。该框架可以为不断发展的综合数