Leveraging Large Language Models (LLMs) to Support Collaborative Human-AI Online Risk Data Annotatio

本文是LLM系列文章，针对《Leveraging Large Language Models (LLMs) to Support Collaborative
Human AI Online Risk Data Annotation》的翻译。

摘要

在本立场文件中，我们讨论了利用LLM作为交互式研究工具的潜力，以促进人类程序员和人工智能之间的协作，从而有效地大规模注释在线风险数据。协作人工智能标签是一种有前景的方法，可以为各种任务注释大规模和复杂的数据。然而，支持人类与人工智能有效协作进行数据标注的工具和方法尚未得到充分研究。这一差距是相关的，因为共同标签任务需要支持双向互动讨论，可以增加细微差别和背景，特别是在高度主观和情境化的在线风险背景下。因此，我们提供了使用基于LLM的工具进行风险注释的一些早期好处和挑战，并为HCI研究界提出了未来的方向，即利用LLM作为研究工具，促进人类AI在情境化在线数据注释中的协作。我们的研究兴趣与LLMs作为研究工具研讨会的目的非常一致，该研讨会旨在确定使用LLMs在HCI研究中处理数据的持续应用和挑战。我们期待从组织者和参与者那里学到宝贵的见解，了解LLM如何帮助重塑HCI社区处理数据的方法。

1 引言

2 LLMS作为在线风险标注的协作代理

3 设计考虑

4 结论

我们的研究兴趣与LLMs作为研究工具研讨会的目的非常一致，该研讨会旨在确定使用LLMs在HCI研究中处理数据的持续应用和挑战。我们预计将更多地了解组织者和参与者的突破性研究理念，以重塑HCI社区处理数据的方法。此外，参加研讨会将非常有利于我们就LLM在HCI研究中的应用的批判性和伦理视角进行讨论。虽然我们已经确定了基于LLM的数据注释工具的一些设计凝结，以支持人类与人工智能的协作，但我们希望参与崇拜