Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond

LLM的系列文章，针对《Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond》的翻译。

摘要

本文为从事大型语言模型（LLM）下游自然语言处理（NLP）任务的从业者和最终用户提供了一份全面而实用的指南。我们从模型、数据和下游任务的角度对LLM的使用进行了讨论和见解。首先，我们介绍并简要总结了当前GPT和BERT风格的LLM。然后，我们讨论了预训练数据、训练数据和测试数据的影响。最重要的是，我们详细讨论了大型语言模型在各种自然语言处理任务中的使用和非使用情况，如知识密集型任务、传统自然语言理解任务、自然语言生成任务、涌现能力和特定任务的考虑。我们介绍了各种用例和非用例，以说明LLM在现实场景中的实际应用和局限性。我们还试图了解数据的重要性以及与每个NLP任务相关的具体挑战。此外，我们探讨了虚假偏见对LLM的影响，并深入研究了其他基本考虑因素，如效率、成本和延迟，以确保全面了解在实践中部署LLM。本综合指南旨在为研究人员和从业者提供与LLM合作的宝贵见解和最佳实践，从而使这些模型能够在广泛的NLP任务中成功实施。LLM实用指南资源的策划列表（定期更新）可在https://github.com/Mooler0410/LLMsPracticalGuide.

1 引言

近年来，大型语言模型的快速发展使自然语言处理领域发生了革命性的变化。这些强大的模型在处理各种NLP任务方面显示出了巨大的潜力，从自然语言理解（NLU）到生成任务，甚至为人工通用智能（AGI）铺平了道路。然而，有效和高效地利用这些模型需要实际了解它们的能力和局限性，以及NLP中涉及的数据和任务。
为了为参与者和最终用户提供指南，这