William3242-优快云博客

原创微调时设置一张GPU卡可见

最近在微调LLama8b的时候，采用float16单精度训练的话大约16GB就可以了，但是微调用到的PEFT库会把训练用到的参数大致均分到每一个可见的每个GPU上面。然而实验室的GPU都是大家一起的，这就导致每张卡占用的内存不一致，可能会导致某些卡内存不够的结果。但是实际上一张空闲的GPU卡已经可以跑起来了。

2025-01-15 16:56:56 333

原创 chromndrive最新版本下载源

我的google版本是 131.0.6778.205，但是在官方网站并没有找到对应版本的chromndrive可以下载。

2025-01-03 15:15:05 187

原创 AssertionError: No inf checks were recorded for this optimizer(已解决)

要解决这个问题，您需要确保模型的所有部分（包括主模型和任何适配器如 LoRA 层）使用一致的数据类型。LoRA 层可能会单独管理其参数的数据类型。确保在应用 LoRA 时，它们与主模型的参数类型一致。在加载模型后，打印所有参数的数据类型，确保它们都是。的实现方式，您可能需要手动覆盖或检查。参数，可以通过以下方式将模型转换为。这个错误表示模型中的某些层期望接收。）类型的张量，但实际接收到的是。，以确保训练过程中不启用半精度。，则会导致类型不匹配。，则需要将整个模型转换为。在解析参数后，强制将。

2024-12-15 22:05:08 1231