(一) AIGC了解+前置知识

大论文双盲意见还没回来，每天度日如年，慌的一批，唯恐延毕，得找点事情干~
小论文major revision，本来打算一鼓作气把小论文完全改好的，但是搞了三个月的文字工作，好久没有吸收新知识了
所以…每天边学新东西，边改小论文~
最近AIGC比较火，就从它开始吧

AIGC大致了解

AIGC大致了解：
https://zhuanlan.zhihu.com/p/607822576

AIGC白皮书（2022年）
腾讯 ：https://www.aliyundrive.com/s/7qESbn8X5ZU
京东 ： https://www.aliyundrive.com/s/gThYTCKfqgw

论文推荐
https://zhuanlan.zhihu.com/p/610435858

一些小工具
https://www.aigc.cn/

AIGC前置知识

Transformer

论文 ： https://arxiv.org/abs/1706.03762

1. Transformer模型详解（图解最完整版） https://zhuanlan.zhihu.com/p/338817680
   引申 ：
   LayerNorm : https://zhuanlan.zhihu.com/p/54530247
   Seq2Seq-- Teacher Forcing : https://zhuanlan.zhihu.com/p/57155059

Vision-Transformer

结论先行：
ViT原论文中最核心的结论是，当拥有足够多的数据进行预训练的时候，ViT的表现就会超过CNN，突破transformer缺少归纳偏置的限制，可以在下游任务中获得较好的迁移效果
知乎 ： https://zhuanlan.zhihu.com/p/445122996

BERT

https://www.bilibili.com/read/cv14514000?spm_id_from=333.999.0.0&jump_opus=1

预训练 - 思路来源于CV领域的权重迁移
减少low level的训练
第一个在NLP领域做的很大的网络

GPT系列

https://zhuanlan.zhihu.com/p/125139937

https://zhuanlan.zhihu.com/p/412351920

变分自编码器

VAE https://zhuanlan.zhihu.com/p/563543020

扩散模型

DDPM https://zhuanlan.zhihu.com/p/590840909

Diffusion https://zhuanlan.zhihu.com/p/599887666