23、视觉与语言的MLOps及预训练基础模型的未来趋势

视觉与语言的MLOps及预训练基础模型的未来趋势

1. 从与专家交流引发的思考

去年有幸与Yejin Choi交流，她在计算语言学家协会大会上对未来60年自然语言研究做出了精彩预测。她在不受欢迎的时期就开始探索机器常识，如今成为该领域顶尖专家。这让我好奇人类知识是否本身就是关联且多模态的。我们基于各种经验在脑海中构建概念，这些概念指导着我们的言行。或许我们需要更深入的表征来引导不同模态的融合，语言或许能帮助视觉模型更快适应新领域，因为它能提供一些常识。

在进行视觉微调时，要知道这并不容易，在语言领域有效的方法在视觉领域可能效果不佳。希望未来的研究者能勇敢相信直觉，挑战假设。接下来看看AWS提供的工具，能帮助简化和加速相关工作。

2. AWS的MLOps工具

2.1 谱系跟踪（Lineage Tracking）

AWS提供了多种工具，其中谱系跟踪是个很棒的功能。SageMaker可以自动为关键工件创建谱系，包括跨账户的情况。这些工件有数据集、图像、算法规格、数据配置、训练作业组件、端点和检查点等。它还与实验SDK集成，能让我们以编程方式大规模比较实验和结果。

跟踪谱系的步骤如下：
1. 在关键的SageMaker资源（如训练作业、图像和处理作业）上运行。
2. 可以使用自动跟踪的实体，也可以定义自己的实体。
3. 若要生成谱系视图，可以与谱系查询语言交互。

使用SageMaker谱系，能轻松追踪模型的训练过程和部署位置。可以用LineageFilter API查找与模型工件相关的不同对象，如端点，还能搜索与端点相关的试验组件、查找与模型相关的数据集，并在关联项图中前