LLM论文周报｜来自Meta AI、浙江大学、清华大学、苏黎世联邦理工学院等机构前沿论文研究

原创

于 2023-08-28 11:49:26 发布 · 529 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #大模型 #LLM #Meta AI #论文阅读

本文综述了大模型（LLM）领域的最新研究，包括大规模多语言翻译、动画角色重现、指令调整、代码模型、合作AI、自主智能体、多模态学习和联邦学习应用。OpenAI的ChatGPT引发热议，MetaAI、清华大学等机构的创新研究展示了这些模型在不同任务中的卓越表现和潜力。

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

本周精选了10篇LLM领域的优秀论文，来自Meta AI、浙江大学、清华大学、苏黎世联邦理工学院等机构。

为了方便大家阅读，只列出了论文标题、作者、ChatPaper综述等信息，如果感兴趣可点击链接查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

1. SeamlessM4T-Massively Multilingual & Multimodal Machine Translation

这篇论文介绍了一种名为 SeamlessM4T 的大规模多语言和多模态机器翻译模型，它可以帮助个人在多达 100 种语言之间进行语音翻译。尽管近期基于文本的模型突破了 200 种语言的翻译覆盖范围，但统一的语音到语音翻译模型尚未取得类似的进展。为了解决这个问题，作者提出了一个支持语音到语音翻译、语音到文本翻译、文本到语音翻译、文本到文本翻译和自动语音识别的单一模型。他们使用 100 万小时的开放语音音频数据来学习自我监督的语音表示，并创建了一个多模态的自动对齐语音翻译语料库。通过过滤和人类标注以及伪标签数据，他们开发了第一个能翻译成和从英语到语音和文本的多语言系统。在 FLEURS 评估中，SeamlessM4T 在直接语音到文本翻译中取得了比之前最佳水平提高 20% 的 BLEU 评分。与强大的级联模型相比，SeamlessM4T 在语音到文本翻译中提高了 1.3 个 BLEU 点，在语音到语音翻译中提高了 2.6 个 ASR-BLEU 点。经过鲁棒性测试，该系统在语音到文本任务中对背景噪音和说话人变化表现得更好。作者还评估了 SeamlessM4T 在性别偏见和添加毒性方面的翻译安全性。最后，他们在 GitHub 上开源了所有贡献，以供更多人学习和使用。

链接：
https://www.aminer.cn/pub/64e5849c3fda6d7f063af4d6

2. ChatHaruhi: Reviving Anime Character in Reality via Large Language Model

这篇论文介绍了一种通过大型语言模型复活动画角色的方法。尽管基于大型语言模型的角色扮演聊天机器人已经引起了关注，但还需要更