qq_64026421的博客

如何评估大模型在训练或推理时每个batch的GPU显存利用率和运行时间？

如何在多模态表征学习中做模态的消融实验？

 在工作中，经常会遇到需要将服务器上大量数据快速传输到本地的场景。无论你是程序开发者、数据科学家还是系统管理员，选择一套既高效又安全的数据传输方案都是十分重要的。本文将介绍三种常用方法，并总结各自的优缺点和适用场景，帮助你根据实际需求选择合适的传输方案。

Checkpoint技术通常用于训练深度学习模型时，定期保存模型的状态，以便在训练过程中出现中断时可以从最近的检查点（checkpoint）恢复，继续训练而不需要从头开始。它可以有效避免因长时间训练或系统崩溃而丢失训练进度。定期保存：每训练一定数量的 epoch 后，模型会保存一个 checkpoint，包含模型权重、优化器状态、当前训练状态等。恢复训练：当训练中断或想要恢复训练时，通过调用resume()方法加载 checkpoint 文件，恢复训练的状态，包括模型参数和优化器状态。保存超参数。

对于很多数据量比较大且工作任务比较复杂的深度学习模型，只用一张GPU显卡训练太慢，我们就会想到用多张GPU来加速我们模型的训练。下面主要展示一台GPU服务器（3张3090GPU显卡）的应用实例，对于集群服务器（多机器）还是有所差异。1. 分布式训练的核心在于：- 初始化进程组；- 数据分片；- 模型梯度同步。2. torch.distributed提供了完整的分布式支持，结合 NCCL 实现高效的 GPU间通信。3. 使用torchrun自动管理进程，简化了分布式训练的启动和配置。