之之为知知

试了一下win10 doccano安装，遇到了一些问题，这儿记录一下。

简单来说，知识蒸馏就是让一个小模型去学习一个大模型的经验，就像老师带学生一样。“老师”：是一个性能强、体积大的模型（比如 BERT、ResNet、LLaMA 等）“学生”：是一个结构更轻、运行更快的小模型（比如 TinyBERT、MobileNet、小型 Transformer）让学生学到老师的判断能力，但能跑得比老师更快、吃得比老师更少。听起来是不是很像你在工作中带新人？把经验传下去，但又不指望他一开始就能扛所有事。在这个AI快速发展的时代，我们不缺强大的模型，缺的是能把它们落地的能力。

你可以把一个机器学习模型想象成一个经验丰富的裁判员。它在训练过程中不断调整自己的“判罚标准”，最终形成一套能做出准确判断的规则——这套规则就是模型参数。举个例子： 如果你训练一个模型来判断一封邮件是不是垃圾邮件，它会学到一些规则，比如：“出现‘中奖’这个词，可能是垃圾邮件”“发件人不在联系人列表里，可能性更高”这些“规则”的具体数值（比如某个词的权重有多大）就是模型的参数。使用目标推荐参数规模原因快速上线、节省成本小模型（几万~百万级）轻便、部署快、维护简单高性能、高精度。

使用目的推荐技术原因处理结构化数据机器学习简单、高效、可解释数据量小机器学习不容易过拟合实时性要求高机器学习模型轻、推理快图像、语音、文本任务深度学习自动提取高维特征数据丰富、任务复杂深度学习更强的表达能力和泛化能力需要可解释性机器学习易于分析和解释深度学习很强大，但它不是唯一的解法。选择哪种技术，取决于你的数据、任务目标和资源条件。就像锤子和螺丝刀，各有各的用处。别想着“我有个锤子，天下都是钉子”，而是要想着：“我遇到的是不是钉子？是不是该用锤子？📌推荐阅读资源。

深度学习并不是“机器有了思想”，也不一定比人聪明，但它确实具备强大的模式识别能力。只要你提供足够的数据，它就能从中找到规律，并用来解决问题。它就像一个勤奋的助手，虽然一开始什么都不懂，但只要教得对、练得多，它就能逐渐掌握复杂的任务。📌推荐阅读资源（简洁易懂版）：书籍：《动手学深度学习》（李沐）——代码+理论结合，适合入门《深度学习（花书）》——适合进阶，数学推导较详细平台：Kaggle（练习比赛）Google Colab（免费 GPU 计算资源）HuggingFace（预训练模型平台）

深度学习听起来很“高科技”，但其实它背后的很多思想并不难理解。就像我们人类通过不断学习来认识世界一样，深度学习模型也是通过大量数据和算法来“学会”识别图像、语音、文字等内容。这篇文章将从出发，再逐步深入，帮助你真正理解深度学习中的关键概念。

3、定义损失函数和优化器。