yiyele的博客

本文主要介绍了deepseek-r1和deepseek-r1-zero两种模型的数据构造方式及训练方式。

介绍了一种在模型训练结尾对领域数据上采样能够提升在benchmark上的指标。通过实验表明上采样比例在10-20%是能够在通用语言能力与目标benchmark保持权衡的最好比例。

一开始learning rate随着batch size增大而增大，随后达到一个点后，会随着batch size增加而降低，同时，随着训练不断进行，BnoiseB_{noise}Bnoise​会不断后移。为了加速训练进程，可以设计自适应的learning rate和batch size。

模型结构层面和llava类似，只不过connection layer一个是MLP，一个是perceiver resampler，但对模型效果影响不大；预训练阶段仅训练vit和compression layer；多语言能力仅靠LLM和sft阶段；为了降低幻觉使用了RLAIF-V；目前MiniCPM-V2.6已经发布了，有了更强的OCR，多语言，可靠性，因为目前technical report还没发布，技术细节还不清楚。

本文主要介绍了llama3.1，Nemotron4-340B及gemma2三个模型在post-training阶段的一些工作。主要涉及数据搜集，合成数据，SFT及DPO等。

尽管大语言模型现在已经被广泛的应用于各种任务，但是目前对其并没有一个很好的认知。为了弄清楚删除和重组预训练模型不同层的影响，本文设计了一系列的实验。通过实验表明，预训练语言模型中的lower和final layers与中间层分布不一致，并且中间层有着惊人的一致性。

这部分主要探索三个（结构，数据和训练步骤）对多模态大模型效果的影响，模型基础配置：Image Encoder：ViT-L/14模型，训练loss为clip loss，训练数据DFN-5B和VeCap-300M，image size为336*336Vision-Language Connector：C-Abstractor，最大输出144 image token。

本文主要介绍了LLaVA系列的多模态大模型，详细的介绍了每个版本的优化思路及方法。