IDE不报错的博客

本文介绍了InternVL环境的配置要求和数据格式规范，重点说明了基于Swift框架的微调流程。环境配置需注意Python 3.9+和特定版本的PyTorch（2.2.2），数据格式支持JSON格式的图文对。详细说明了通过注册数据集进行预处理的方法，包括自定义数据集类和模板注册。微调部分提供了Swift框架的安装指南和具体指令，强调要修改模型配置中的attention相关参数，并给出了显存优化建议（device_max_memory参数）。最后指出在V100显卡上可能出现的batch size问题及解决方案

LMDeploy环境配置与推理指南 摘要：本文详细介绍了LMDeploy工具的安装配置与使用流程。环境准备包括创建conda环境、安装lmdeploy包及CUDA相关组件（需根据CUDA版本选择对应安装方式）。工具支持离线推理和API服务部署，提供显存优化参数调整（如cache_max_entry_count）和批量推理脚本示例。常见问题解决方案包括LD_LIBRARY_PATH环境变量处理。测试环境为4块V100显卡（CUDA12），使用COCO2014测试集进行验证，涵盖不同batch size下的性能