On Leveraging Large Language Models for Enhancing Entity Resolution-优快云博客

本文是LLM系列文章，针对《On Leveraging Large Language Models for Enhancing Entity Resolution》的翻译。

论利用大型语言模型提高实体解析能力

摘要
1 引言
2 前言
3 方法
4 实验
5 相关工作
6 讨论和未来工作

摘要

实体解析是识别和合并属于同一现实世界实体的记录的任务，在电子商务、医疗保健和执法等各个部门发挥着关键作用。像GPT-4这样的大型语言模型（LLM）的出现为这项任务引入了一个新的维度，利用了它们先进的语言能力。本文探讨了LLM在实体解析过程中的潜力，揭示了它们的优势以及与大规模匹配相关的计算复杂性。我们介绍了有效利用LLM的策略，包括选择一组最优匹配问题，即MQsSP，这被证明是一个NP难问题。我们的方法以最佳方式选择最有效的匹配问题，同时将消费限制在您的预算范围内。此外，我们提出了一种在收到LLM的响应后调整可能分区分布的方法，目的是减少实体解析的不确定性。我们使用熵作为度量来评估我们的方法的有效性，我们的实验结果证明了我们提出的方法的效率和有效性，为现实世界的应用提供了有希望的前景。

1 引言

2 前言

3 方法

4 实验

5 相关工作

6 讨论和未来工作

在本文中，我们提出了一种新的方法，即贪婪近似问题选择，它显著增强了LLM在精炼半自动工具产生的实体解析结果中的应用。这一创新策略巧妙地平衡了对最大有效性的追求与有限预算的限制，特别是在API请求成本的情况下。
我们的技术贡献在于简化MQ Selection中固有的复杂性。我们证明，由于一组MQs，不确定性的预期减少在数学上等同于它们的联合熵。这一发现对问题选择过程的效率有着深远的影响。此外