Pushing Large Language Models to the 6G Edge: Vision, Challenges, and Opportunities-优快云博客

本文是LLM系列文章，针对《Pushing Large Language Models to the 6G Edge: Vision, Challenges, and Opportunities》的翻译。

将大型语言模型推向6G边缘:愿景、挑战和机遇

摘要
1 引言
2 杀手级应用
3 挑战
4 用于大型语言模型的6g MEC架构:概述
5 高效的边缘大模型训练
6 高效的边缘大模型推理
7 开放问题
8 结论

摘要

大型语言模型(llm)已经显示出非凡的能力，正在彻底改变人工智能的发展，并有可能塑造我们的未来。然而，考虑到它们的多模态，现状的基于云的部署面临着一些关键的挑战:1)响应时间长;2)带宽成本高;3)侵犯数据隐私。6G移动边缘计算(MEC)系统可以解决这些紧迫的问题。在本文中，我们将探讨在6G边缘部署llm的潜力。我们首先介绍由多模式llm提供支持的杀手级应用程序，包括机器人和医疗保健，以强调在最终用户附近部署llm的必要性。然后，我们确定了在边缘部署LLM的关键挑战，并展望了LLM的6G MEC架构。此外，我们深入研究了两个设计方面，即llm的边缘训练和边缘推理。在这两个方面，考虑到边缘固有的资源限制，我们讨论了各种前沿技术，包括分裂学习/推理、参数高效微调、量化和参数共享推理，以促进llm的有效部署。本文是一份立场文件，旨在全面确定在6G边缘授权LLM的动机、挑战和途径。