今天不聊paper,来聊一些现实的问题,AI科研发展?
Stable Diffusion
这大概是后AlphaGo时代AI第一次这么火出圈,AlphaFold2也就是在圈内大家都知道而已,但是这个大家都在玩,但是对于三四月看到DALLE2和Imagen效果的我来说,完全属于意料之中,没有太在意。
2022年11月30日,ChatGPT发布
ChatGPT发布后,我没有特别的关注,只是当作NLP圈的一个大新闻而已
几个月后,我发现ChatGPT的热度有点夸张了,居然已经出圈到了一个前无古人的程度,一举成为历史上用户突破0.1 trilion最快的APP
二月,我注册了ChatGPT账号,开始使用,一开始并没有感觉有什么不得了的地方,直到我接了别人的毕业论文,我发现用起来真是如鱼得水,我几乎只需要prompt和排版即可。此时我感觉未来已经来了,但是感觉NLP科研还能做?
用RLHF训练的方法也几乎是RL在NLP领域我所知的唯一成功?并且后来的GPT-4主要靠这项技术来提升性能,虽然被Lecun喷,但是我觉得并不重要,它就是强,并且没有什么方法能一步登天。