- 博客(4)
- 收藏
- 关注
RSS订阅原创 lr_scheduler_type 学习率scheduler设置 退火
lr_scheduler_type 在llama factory和swift等大模型训练框架中都有这个参数，指定lr的变化方式。可以指定多种lr退火的训练策略。很多同学在llama factory和swift的包里找不到这个参数的详细设置。其实在transformers库里。
2025-05-20 09:44:20
870
原创 llamafactory lora_targets参数深入 可分别对vit、llm和llama pro进行lora
vlm模型都可以灵活指定VIT和LLM里的哪些模块进行lora，或者只对LLM或VIT的其一进行lora，以及对llama pro拓展的block里指定模块进行lora。通过以下patch_target_modules函数指定需要lora的模块名，设置LoraConfig，通过peft进行lora model初始化。lora_targets 参数挺灵活的，可以指定不同的模块进行lora，包括linear、conv和embedding。llama pro拓展的block同样可以指定模块进行lora。
2025-05-17 18:21:35
775
原创 vLLM 采样策略-top-k，top-p，temperature
看了网上很多帖子，感觉对采样策略的top-k，top-p，temperature的采样顺序讲的不太清楚，有的讲得还不太对。看了vLLM(0.7.3)的源码，做个记录。核心总结：先temperature scaling，再top-k，再top-p。top-p前后各进行了一次softmax。其中提醒下，temperature scaling的先后顺序其实对top-k没有影响，因为top-k只考虑相对顺序。
2025-05-16 11:41:57
1010
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人