- 博客(4)
- 收藏
- 关注
RSS订阅原创 Datawhale AI夏令营 - 模型蒸馏
1. 数据清洗：采用qwen3-32b对现有数据集进行清理润色，少数超时或空回答，使用qwen3-a232进行补充回答。2. 教师模型微调，选的deepseek-r1-distrill-qwen-7b进行训练，32b应该效果更好，就是太贵了。然后对测试集进行推理，输出cot思维链。3. 学生模型选择deepseek-r1-distrill-qwen-32b进行训练，采用2输出的数据集lora精调，精调参数保持默认，可以优化下。4. 结果比baseline好一些。
2025-07-29 09:15:20
210
原创 DataWhale AI夏令营 - task2.2 心得
使用llm qwen3:4b 进行商品识别、情绪识别、聚类分析，时间比较慢，而且效果还不如之前。晚点换更好的模型试试。
2025-07-16 23:03:57
218
原创 DataWhale AI夏令营 - task2.1 心得
摘要：task2.1针对文本分类任务进行了三方面优化：1)动态选择聚类数量，通过轮廓系数在5-8范围内确定最优值；2)改进文本预处理，新增HTML标签清理、特殊字符过滤和停用词去除；3)优化模型选择，商品识别改用LogisticRegression，情感分析根据任务选用合适分类器，并扩展TF-IDF特征数量和n-gram范围，从而提升分类准确性。
2025-07-14 23:56:45
227
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人