4、基础模型数据集的选择、分析与优化

基础模型数据集的选择、分析与优化

1. 寻找数据集和用例

在进行基础模型训练时，如果手头没有至少几GB甚至几十GB的数据，那么可以考虑从开源解决方案中收集新的数据集。有许多开源数据集可供选择，例如通过Papers With Code网站可获取超过6000个数据集，从Hugging Face Hub能找到8000个数据集，而且这些数据集都是免费的。

常见的语言预训练数据集包括The Pile、Common Crawl、Wikipedia、CodeParrot等，对于多模态预训练可以参考OSCAR语料库。Vision Transformer (ViT) 模型是在ImageNet上从头开始训练的。这些开源数据集不仅可以作为初始数据集，还能用来增强原有的数据集。

预训练模型明确受益于未标记数据，最佳的预训练项目通常会利用大量的未标记数据和少量的标记数据。这也是预训练基础模型受欢迎的原因，因为世界上大多数数据都是未标记的。如果拥有数百GB的数据，如图像、文件、记录、交易、元数据和时间序列数据等，那么这些数据可以作为自定义预训练的首选。

各行业的预训练用例

不同行业有各自适合的预训练用例，以下是一些主要行业的应用场景：
| 行业 | 预训练用例 |
| ---- | ---- |
| 软件和互联网 | 搜索与发现、生成文档和代码、问答 |
| 酒店和旅游 | 客户支持与服务、预订推荐 |
| 消费电子 | 设计自动化、时尚设计自动化 |
| 金融服务 | 文档摘要和生成、多模态预测 |
| 媒体和娱乐 | 创造力增强、加速创意生成（新图像、新电影等）、确定最佳创意（最佳镜头、最佳