M_oun-优快云博客

原创大型志愿活动车辆调度软件实战

本文完整复盘了一个基于网页技术的中秋晚会车辆调度桌面应用开发过程。项目从解决实际调度痛点出发，分三个阶段演进：单机HTML网站：使用HTML/CSS/JS实现核心功能，数据存储在localStorage 联网多人网站：引入CloudBase实现云端认证和数据库，解决多人协同问题桌面应用程序：通过Electron打包成可安装的exe文件，提升用户体验文章详细介绍了每个阶段的技术实现、数据设计、踩坑记录及解决方案，并分享了如何通过这个完整项目积累实战经验。该项目实现了车辆状态实时更新、多人协同调度、

2026-08-19 21:49:24 407

原创知识蒸馏（KD）最小复现：从设计思路到代码逐行剖析

本文提供了一个知识蒸馏（KD）的最小复现项目，从理论到实践详细解析了知识蒸馏的实现过程。项目采用四文件三层架构设计，包含结构层(models.py)、损失层(distill.py)、训练引擎层(train.py)和编排层(run_all.py)，遵循单一职责、复用和可扩展的设计原则。核心代码实现了Hinton蒸馏公式，通过软标签蒸馏（KL散度）和硬标签监督（交叉熵）的加权组合进行训练。实验结果表明，蒸馏后的学生网络性能优于直接训练的学生网络，验证了知识蒸馏的有效性。该项目结构清晰，代码简洁，可作为知识蒸馏的

2026-08-15 10:14:04 487

原创知识蒸馏（Knowledge Distillation）入门：从「软标签」到「蒸馏损失」的完整推导

本文系统介绍了知识蒸馏的核心思想与方法。文章首先指出集成模型虽然精度高但难以部署，提出通过知识蒸馏将大模型（教师）的知识迁移到小模型（学生）。关键创新在于利用教师模型输出的软标签（soft target）传达错误类别间的相对概率关系，而非仅关注正确答案。通过引入带温度的softmax函数放大微小概率差异，构建包含软标签KL散度和硬标签交叉熵的混合损失函数，并详细推导了温度参数T的作用机制及其平方补偿原理。实验表明，蒸馏后的小模型性能接近大教师模型，甚至能在未见样本上表现出色，验证了该方法传递的是泛化能力而非

2026-08-14 16:48:06 597

原创 PyTorch 入门实战（二）：手写 CNN 实现 CIFAR-10 彩色图像分类

PyTorch实现CIFAR-10图像分类：本文介绍使用PyTorch搭建CNN实现CIFAR-10彩色图像分类。内容涵盖：数据加载与预处理（ToTensor+标准化）、CNN网络设计（含2个卷积层和2个全连接层）、训练流程（10个epoch）和评估方法。关键点包括：输入为3通道32×32图像网络结构：Conv2d→ReLU→MaxPool→Flatten→Linear 使用CrossEntropyLoss和Adam优化器完整训练循环实现代码量约150行，适合PyTorch初学者理解C

2026-08-05 11:39:57 458

原创 PyTorch 入门实战（一）：用全连接神经网络识别手写数字（MNIST）

本文介绍了使用PyTorch构建全连接神经网络进行MNIST手写数字识别的完整流程。首先概述了MNIST数据集的基本信息（6万训练+1万测试，28×28灰度图）。随后详细讲解了数据预处理（归一化、标准化）、神经网络构建（784→128→10结构+ReLU激活）、损失函数（交叉熵）和优化器（SGD）的选择。核心训练循环包含前向传播、损失计算、梯度清零、反向传播和参数更新五个关键步骤。最终模型在5个epoch内达到97%+的测试准确率，整个过程无需GPU，仅需2分钟即可完成。代码每步配有直观解释，适合深度学习初

2026-08-05 10:56:29 607

原创深度学习入门【神经网络基本理论】

本文系统介绍了单隐藏层神经网络的基本原理。首先解释了神经元模型的结构（线性加权+非线性激活），对比了Sigmoid、tanh和ReLU三种激活函数的特性。然后详细推导了神经网络的前向传播过程（输入层→隐藏层→输出层），强调激活函数是实现非线性的关键。接着通过反向传播算法，利用链式法则计算各层参数的梯度，并采用梯度下降法更新权重。文章揭示了神经网络的四个核心原理：激活函数的非线性本质、前向传播的特征变形、反向传播的误差调查机制以及梯度下降的参数优化过程。最后提供了简明的Numpy实现代码，展示了从初始化到训练

2026-07-29 14:37:44 504

原创机器学习小白实战【正则化——破解“过拟合”与“欠拟合”】

本文通过对比实验展示了正则化在机器学习中的作用。作者使用8个高次特征构建线性回归模型，模拟过拟合现象，并比较了不同正则化系数（λ=0、1、10）下的训练效果。实验结果表明：无正则化时模型过拟合严重（λ=0），适度正则化（λ=1）能有效平滑曲线并提高泛化能力，而过强正则化（λ=10）会导致欠拟合。正则化通过在成本函数中添加权重惩罚项，控制模型复杂度，从而在拟合数据和保持泛化能力之间取得平衡。关键在于选择合适的正则化强度λ，以获得最佳模型性能。

2026-07-28 16:31:36 359

原创机器学习小白实战【逻辑回归——成绩预测（从“绿色锯齿”到“完美决策边界”）】

本文记录了使用逻辑回归预测学生录取结果的完整过程，从数据生成、模型构建到结果可视化。作者分享了关键踩坑经验：未进行特征归一化导致损失曲线剧烈震荡，通过添加归一化代码（(x-mean)/std）后模型快速收敛。文章详细展示了Sigmoid函数、对数损失函数和梯度下降的实现，并强调预测时必须使用训练集的归一化参数。最终模型成功绘制出完美决策边界，准确预测了新生的录取概率（70分和50分对应未录取）。核心结论：特征归一化对逻辑回归至关重要，能有效稳定梯度下降过程。

2026-07-23 17:35:53 327

原创机器学习小白实战【线性回归——预测房价】

本文记录了一个机器学习初学者使用线性回归预测房价的实践过程。文章首先介绍了所需的工具包（NumPy和Matplotlib）及中文显示配置问题。然后详细展示了如何生成50套模拟房屋数据，包括真实价格公式（房价=3+2.5*面积）和添加高斯噪声。核心部分讲解了成本函数（均方误差）和梯度下降算法的实现原理，通过迭代优化参数w和b。实验结果显示模型成功拟合出了接近真实规律的参数（w=2.5,b=3.0），并用可视化图表展示了拟合直线和成本下降过程。最后演示了如何使用训练好的模型预测新房屋价格（6.5百平米预测为19

2026-07-23 11:14:36 313

M_oun的博客