书生大模型实战营第4期 入门岛 第4关 L0G4000 玩转HF/魔搭/魔乐社区

任务说明

使用Hugging Face平台、魔搭社区平台(可选)和魔乐社区平台(可选)下载文档中提到的模型(至少需要下载config.json文件、model.safetensors.index.json文件),请在必要的步骤以及结果当中截图。

在开发机中,使用pip安装modelscope库:

pip install modelscope

在这里插入图片描述
然后使用modelscope从魔搭社区下载InternLM2.5-7B-Chat仓库中除了模型权重之外的文件,存放在/root/internlm2_5-7b-chat目录:

modelscope download \
  --model Shanghai_AI_Laboratory/internlm2_5-7b-chat \
  --local_dir /root/internlm2_5-7b-chat \
  --exclude *.safetensors

在这里插入图片描述
使用ls -lha名称查看internlm2_5-7b-chat目录:

ls -lha /root/internlm2_5-7b-chat/

在这里插入图片描述
任务完成!

### 书生大模型第四基础通第三 针对书生大模型第四基础通第三的任务,此阶段主要聚焦于通过不同参数量训练模型并结合多种微调技术来优化特定任务的表现。具体而言,在对比 xcomposer2-4khd、internVL1.5 和 llava-llama3-8b 这些具有不同参数规模的预训练模型时,采用 LORA(低秩自适应)、QLORA 及 FULL 训练方法可以有效增强模型处理少量样本学习(few-shot learning)以及专门领域内图纸识别的能力[^1]。 为了成功完成这一挑战,建议采取如下策略: #### 数据准备 确保拥有高质量的数据集用于训练和验证,特别是那些能够代表目标应用场景中的特征数据,比如工业设计图或其他形式的技术绘图。 #### 模型选择与调整 基于项目需求挑选合适的基线模型,并考虑其参数大小对性能的影响。较小的模型可能更适合资源受限环境下的部署;而较大的模型则通常能提供更好的泛化能力。 #### 微调技巧应用 利用LORA或QLORA等高效微调方式快速适配新任务,减少计算成本的同时保持较高的准确性。对于更复杂的要求,则可尝试FULL fine-tuning以获得最佳效果。 ```python from transformers import AutoModelForSequenceClassification, Trainer, TrainingArguments model_name = "path_to_pretrained_model" model = AutoModelForSequenceClassification.from_pretrained(model_name) training_args = TrainingArguments( output_dir="./results", evaluation_strategy="epoch", per_device_train_batch_size=8, per_device_eval_batch_size=8, num_train_epochs=3, weight_decay=0.01, ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=val_dataset, ) ``` 上述代码片段展示了如何设置一个简单的`Trainer`对象来进行模型微调操作。实际实现过程中还需要根据具体的任务类型调整配置项。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值