<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[weixin_74772295的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/weixin_74772295</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; weixin_74772295]]></copyright><item><title><![CDATA[创新项目实训-“师说”——模型微调部分答辩]]></title><link>https://blog.youkuaiyun.com/weixin_74772295/article/details/146136399</link><guid>https://blog.youkuaiyun.com/weixin_74772295/article/details/146136399</guid><author>weixin_74772295</author><pubDate>Sat, 14 Jun 2025 22:02:57 +0800</pubDate><description><![CDATA[前者是通过让学生模型模仿教师模型的计算过程，以层间的对齐从而提高学生模型的泛化能力，这需要对模型的结构有较深入的理解，（被Qwen的技术报告劝退）考虑到学习难度选择了后者；但学校提供的是deepseek r1（671B）的调用API，只能得到调用的结果，这也是实践中常用的情景，称为“黑盒蒸馏”，但也是有不错的效果的，常用的方式是：准备某一垂直领域的问答对，调用黑盒模型的api获得问题对应的输出，将此打包成新的问答对作为训练数据来监督微调一个小模型，从而提高小模型在某一垂直领域的能力。]]></description><category></category></item><item><title><![CDATA[山东大学「师说」项目博客（三）]]></title><link>https://blog.youkuaiyun.com/weixin_74772295/article/details/147740438</link><guid>https://blog.youkuaiyun.com/weixin_74772295/article/details/147740438</guid><author>weixin_74772295</author><pubDate>Tue, 06 May 2025 18:31:02 +0800</pubDate><description><![CDATA[目前，已完成文本风格迁移任务的核心实现工作，包括技术选型和风格化数据获取同时完成了 Prefix-Tuning 方法的初步实现，并与 LoRA 和 Prompt 工程进行了对比验证。接下来，将重点缓解 Prefix-Tuning 方法的过拟合问题，计划通过引入内容Prefix和任务Prefix，同时采用三种损失函数来进一步优化模型表现。]]></description><category></category></item><item><title><![CDATA[山东大学「师说」项目博客（二）]]></title><link>https://blog.youkuaiyun.com/weixin_74772295/article/details/147723583</link><guid>https://blog.youkuaiyun.com/weixin_74772295/article/details/147723583</guid><author>weixin_74772295</author><pubDate>Mon, 05 May 2025 23:03:58 +0800</pubDate><description><![CDATA[在本地部署 Qwen2.5‑7B‑Instruct作为“Judge”，用于对比模型输出与参考答案的一致性；目的：将带有 Chain‑of‑Thought的问答样本，打包成 SFT 所需的 Chat 格式输入–输出对，供后续微调脚本直接加载。利用 TRL 库中的 SFTTrainer 对 Qwen 系列模型进行指令微调，仅优化模型“回答”阶段的生成质量。对数据进行三轮筛选——质量、难度、多样性，确保最终训练数据既具备严谨性，又富有挑战性和代表性。：快速搭建一套可行的蒸馏流程，提高学生模型在垂直领域的表现。]]></description><category></category></item><item><title><![CDATA[师说——知识蒸馏总框架]]></title><link>https://blog.youkuaiyun.com/weixin_74772295/article/details/147561851</link><guid>https://blog.youkuaiyun.com/weixin_74772295/article/details/147561851</guid><author>weixin_74772295</author><pubDate>Sun, 27 Apr 2025 16:34:06 +0800</pubDate><description><![CDATA[应用型知识蒸馏框架]]></description><category></category></item><item><title><![CDATA[师说——模型微调具体方案（4）—评估]]></title><link>https://blog.youkuaiyun.com/weixin_74772295/article/details/147560968</link><guid>https://blog.youkuaiyun.com/weixin_74772295/article/details/147560968</guid><author>weixin_74772295</author><pubDate>Sun, 27 Apr 2025 15:21:15 +0800</pubDate><description><![CDATA[数学推理能力的评估方式及代码]]></description><category></category></item><item><title><![CDATA[师说——模型微调具体方案（3）—训练数据]]></title><link>https://blog.youkuaiyun.com/weixin_74772295/article/details/147560098</link><guid>https://blog.youkuaiyun.com/weixin_74772295/article/details/147560098</guid><author>weixin_74772295</author><pubDate>Sun, 27 Apr 2025 14:55:23 +0800</pubDate><description><![CDATA[s1-main的SFT训练方式]]></description><category></category></item><item><title><![CDATA[师说——模型微调具体方案（2）—数据预处理]]></title><link>https://blog.youkuaiyun.com/weixin_74772295/article/details/147556813</link><guid>https://blog.youkuaiyun.com/weixin_74772295/article/details/147556813</guid><author>weixin_74772295</author><pubDate>Sun, 27 Apr 2025 14:34:41 +0800</pubDate><description><![CDATA[s1-main的数据预处理方式]]></description><category></category></item><item><title><![CDATA[师说——模型微调具体方案（1）——数据集处理]]></title><link>https://blog.youkuaiyun.com/weixin_74772295/article/details/147341284</link><guid>https://blog.youkuaiyun.com/weixin_74772295/article/details/147341284</guid><author>weixin_74772295</author><pubDate>Fri, 18 Apr 2025 22:50:07 +0800</pubDate><description><![CDATA[数据集处理]]></description><category></category></item><item><title><![CDATA[师说——基础知识补充（2）]]></title><link>https://blog.youkuaiyun.com/weixin_74772295/article/details/147340250</link><guid>https://blog.youkuaiyun.com/weixin_74772295/article/details/147340250</guid><author>weixin_74772295</author><pubDate>Fri, 18 Apr 2025 22:04:51 +0800</pubDate><description><![CDATA[粗读《Improved Knowledge Distiling via Teacher Assistant》并提出我们的蒸馏框架]]></description><category></category></item><item><title><![CDATA[师说——基础知识补充（1）]]></title><link>https://blog.youkuaiyun.com/weixin_74772295/article/details/147339561</link><guid>https://blog.youkuaiyun.com/weixin_74772295/article/details/147339561</guid><author>weixin_74772295</author><pubDate>Fri, 18 Apr 2025 20:42:50 +0800</pubDate><description><![CDATA[精读《Distiling Knowledge in a Neural Network》]]></description><category></category></item><item><title><![CDATA[山东大学「师说」项目博客（一）]]></title><link>https://blog.youkuaiyun.com/weixin_74772295/article/details/146136359</link><guid>https://blog.youkuaiyun.com/weixin_74772295/article/details/146136359</guid><author>weixin_74772295</author><pubDate>Sun, 09 Mar 2025 19:01:56 +0800</pubDate><description><![CDATA[山东大学项目实训——师说]]></description><category></category></item><item><title><![CDATA[山东大学2022级项目实训——师说(张重）]]></title><link>https://blog.youkuaiyun.com/weixin_74772295/article/details/146136475</link><guid>https://blog.youkuaiyun.com/weixin_74772295/article/details/146136475</guid><author>weixin_74772295</author><pubDate>Sun, 09 Mar 2025 18:38:56 +0800</pubDate><description><![CDATA[山东大学2022级项目实训博客]]></description><category></category></item></channel></rss>