ML落地的重心从算力和算法转向数据和系统监控

这两年随着深度学习特别是LLM的火热，各个通用大模型纷纷亮相。但是通用大模型更多体现的企业本身的能力，要产生价值最终还是要在垂直领域落地，而且越是细分领域其满足业务需求的价值越高。因此大部分企业能做的事情其实是做迁移学习，做模型微调。

这两年随着各种模型微调技术，以及各种大模型应用开发框架的发展和成熟。大家的都开始转向基于大模型应用，只是按照互联网APP的思路，目前还没有找到出路。也许这就是通用人工时代的不同范式，其更大的意义是赋能整个社会新的思考方式，赋能政府新的治理方式，赋能企业从生产，制造，到营销，服务的全生命周期的能力提升；赋能个人不同的学习和工作方式。

那么对于企业，要想让通用人工智能更快在业务进行实践，需要企业
的重心从算法和算力，向更注重数据和工程开始迁移。

• 机器学习大部分的工作在数据，没有足量的，高质量的数据，再好的模型架构肯能也要望洋兴叹。

• ML系统的监控。随着业务的发展，数据量会变，数据的分布也可能会变，那么如何保证模型能快速适应业务的要求，对模型和数据本身的监控就必不可少。

关于数据部分怎么强调也不分，在实践中数据工程缺乏的是合理的工程组织和工程原则，真正的实现数据可重复生产，可迭代，打造自己的企业自己的数据流水线。关于数据工程组织的部分可以参考推荐：数据工程的原则和推荐的项目结构一文。

**今天的重点是ML系统的监控。**这幅图说明了监控ML系统对于业务健康的重要性，并告诉我们数据和模型是ML系统的两大基石。

那么怎么来构建整个监控体系呢？以下是构建 ML 系统监控所有组件的方法