书生浦语训练营2期-第一节课笔记

笔记总结:

    了解大模型的发展方向、本质、以及新一代数据清洗过滤技术、从模型到应用的典型流程、获取数据集的网站、不同微调方式的使用场景和训练数据是什么，以及预训练和微调在训练优势、通信/计算调度、显存管理上的区别。

收获：

     理清了预训练和微调的区别，两者在什么情况下进行。针对我们的业务仍然要基于行业垂直领域进行续训，同时要考虑如何筛选高质量语料数据。

下节课前准备：

      提前看一下一期课程，了解大概需要做什么，同时补充一些相关论文阅读。