FLAN-T5是谷歌提出的一种新的微调框架，它扩展了T5模型的能力，通过统一的输入输出格式和chain-of-thought机制，使得一个模型能处理超过1800种NLP任务，提升了模型的泛化性能。该框架降低了任务迁移的成本，展示了通用语言模型的巨大潜力。
Instruction finetuning
---
T5，Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer，2019
arxiv https://arxiv.org/abs/1910.10683
中译 T5: Text-to-Text Transfer Transformer 阅读笔记 - 知乎
讨论 如何评价 Google 提出的预训练模型 T5？ - 知乎
---
FLAN-T5,
文献阅读：Scaling Instruction-Finetuned Language Models_Espresso Macchiato的博客-优快云博客
谷歌FLAN-T5作者亲讲：5400亿参数，1800个任务，如何实现大语言模型“自我改进”
Flan-T5: One Model for ALL Tasks - 知乎
提出了Flan的微调框架: 统一的输入输出格式（4种类型），引入chain-of-thought，大幅提高任务数量，大幅提高模型规模.
实现了用一个模型来解决超过1800种几乎全部的NLP任务，通过较低的成本，极大发掘了现有语言模型的泛化性能，让大家看到了通用模型的希望，即One Model for ALL Tasks。
【LLM系列之FLAN-T5/PaLM】Scaling Instruction-Finetuned Language Models - 知乎
文献阅读：Scaling Instruction-Finetuned Language Models_Espresso Macchiato的博客-优快云博客
---
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
