文章目录 不会写的很详细，只是为了帮助我理解在CV领域transformer的拓展 1 摘要 1.1 BERT - 核心 1.2 GPT - 核心 2 模型架构 2.1 概览 3 区别 3.1 finetune和prompt 3.2 transformer及训练 总结 不会写的很详细，只是为了帮助我理解在CV领域transformer的拓展 1 摘要 1.1 BERT - 核心 双向 编码器 加上mask做完形填空超大模型无监督预训练 需要整个模型作为pretrain weight到下游任务做fintune 1.2 GPT - 核心 自回归 解码器 无需训练 只需Prompt 2 模型架构 2.1 概览 3 区别 3.1 finetune和prompt BERT需要全部参数进行训练 GPT不需要训练即可完成下游任务 3.2 transformer及训练 BERT使用双向的编码器
最低0.47元/天 解锁文章
扫一扫
到【灌水乐园】发言
