微型语言模型部署教程（二）：数据下载与含义

目录

前言

本节学习目的

步骤详解

第一步：下载数据集

第二步：预处理数据集

第三步：调整模型参数

常见问题及解决方案

数据集云端下载不稳定

参考资料https://zhuanlan.zhihu.com/p/636270877https://zhuanlan.zhihu.com/p/636270877

---

前言

本系列博客是学习如在AutoDL何部署和实操开源模型。本篇介绍如何搭建基础环境并安装相关依赖。

感谢作者的开源项目：

项目学习：”GitHub - jingyaogong/minimind: 「大模型」3小时完全从0训练26M的小参数GPT，个人显卡即可推理训练！「大模型」3小时完全从0训练26M的小参数GPT，个人显卡即可推理训练！. Contribute to jingyaogong/minimind development by creating an account on GitHub.https://github.com/jingyaogong/minimind?tab=readme-ov-file#%E6%95%B0%E6%8D%AE%E9%9B%86%E4%B8%8B%E8%BD%BD%E5%9C%B0%E5%9D%80

本节学习目的

• 了接数据集含义

步骤详解

第一步：下载数据集

• 分词器训练集：构建词典，教模型如何分解和理解语言。