ZhouTianyao-优快云博客

原创深度学习基础 Week19 半监督学习

本文系统梳理半监督学习（SSL）的基础假设（平滑、流形、聚类、低密度分离）、经典算法（自训练、熵最小化、TSVM、图传播）及现代深度方法。指出SSL依赖数据假设，否则反致性能下降；提出“优化决策边界”与“学习优质表征”两大研究视角，现代方法如FixMatch、MeanTeacher融合二者，通过一致性正则实现稳定预测。强调半监督非万能，需结合假设有效性与算法设计

2026-11-08 20:43:35 171

原创深度学习基础 Week18 集成学习（Ensemble Learning）

集成学习通过组合多个弱学习器提升模型性能，核心思想在于降低偏差或方差。主流范式包括Bagging（如随机森林）、Boosting（如AdaBoost、GBDT）和Stacking。Bagging并行训练、降方差，适合高方差模型；Boosting串行优化、降偏差，依赖前序模型误差修正；Stacking融合异质模型，通过元学习提升效果，但易过拟合。决策树及其简化版决策树桩是主要基模型。三者在训练方式、优化目标与融合策略上差异显著，适用于不同场景，其中GBDT因通用性成为工业界主流

2026-11-01 20:42:05 125

原创深度学习基础 Week17 RNN 门控循环神经网络与序列生成

模型 / 策略类型核心特点适用场景GRU门控 RNN门控机制，时序记忆基础序列解码器GRU-LM无条件生成文本生成朴素 Seq2Seq静态条件生成固定向量，信息瓶颈简单翻译动态条件生成每一步查询，交叉注意力机器翻译、Image CaptionPixelRNN无条件图像自回归2D 空间 RNN 逐像素生成图像密度估计训练策略真值前缀，MLE，稳定，存在暴露偏差基线训练训练策略混合真值 / 模型输出，缓解暴露偏差轻量改进SCST RL训练策略

2026-10-25 12:45:19 196

原创深度学习基础 Week16 RNN 系列模型实战训练

本次实战基于PyTorch实现双向LSTM+GRU文本分类模型，结合BPTT训练与梯度裁剪，解决RNN梯度爆炸问题。通过对比Elman、Jordan、BiRNN、LSTM、GRU等模型，深入理解序列建模机制。拓展应用CTC损失处理无对齐序列任务，探索Seq2Seq、自编码器、NTM及VQA等多模态模型。实践揭示维度错误、长序列依赖等常见问题，强化了对时序模型选型与工程落地的认知，为后续学习Transformer奠定基础

2026-10-18 19:50:13 229

原创深度学习基础 Week15 RNN循环神经网络进阶

本次学习聚焦循环神经网络（RNN）的进阶核心机制、训练缺陷、优化方案、通用任务范式、高级变体模型、注意力机制、结构化融合模型、超越序列建模与多模态应用。完整覆盖从基础 RNN 缺陷到 LSTM/GRU 门控优化、BPTT 时序反向传播、梯度消失/爆炸原理与解决手段、多类序列任务范式、Seq2Seq、CTC、自编码器、注意力模型、神经图灵机、视觉问答、BiLSTM+CRF 结构化融合模型等全套进阶内容，构建了完整的时序深度学习知识体系

2026-10-04 20:10:24 172

原创深度学习基础 Week14 RNN循环神经网络

本文系统梳理了循环神经网络（RNN）的完整知识体系，从基础原始网络原理、经典早期变体（Elman网络、Jordan网络），到深度循环网络（Deep RNN）、双向循环网络（Bidirectional RNN），再到解决梯度问题的LSTM长短期记忆网络。同时明确了RNN与传统人工神经网络的核心差异，厘清了各类RNN变体的适用场景、优缺点，且结合自然语言处理中的槽填充（Slot Filling）任务理解了模型落地逻辑，完整构建了序列模型的基础认知体系

2026-09-27 21:07:44 357

原创深度学习基础 Week13 为什么深度网络（Why Deep）

深度神经网络通过分层表征与模块化设计，实现端到端学习，有效应对图像识别中“相似输入需区分、不同输入要归类”的双重挑战。相比宽而浅的网络，窄而深的结构具备更强的特征复用能力与泛化性能，其核心优势不在于参数量，而在于逐层抽象与联合优化机制。这使得深度学习在复杂视觉任务中显著优于传统浅层模型。

2026-09-20 20:52:10 228

原创深度学习基础 Week12 卷积神经网络（CNN）核心原理与可视化技术

本次学习系统掌握了卷积神经网络（CNN）的基础架构、核心运算单元、特征传递机制，同时深入理解了基于预训练CNN的两大经典可视化算法：DeepDream深度幻觉、DeepStyle神经风格迁移。本文将从CNN基础组件、核心数学原理、网络流转逻辑、进阶可视化技术及知识点总结五个维度，完整梳理学习内容，包含关键公式、运算规则与原理对比。

2026-09-04 17:54:51 179

原创深度学习基础 Week11 深度神经网络（DNN）训练核心原理与实操优化

本次学习系统梳理深度神经网络（DNN）完整训练流程，围绕梯度消失、激活函数选型、优化器迭代与正则化防过拟合四大核心主题展开。首先剖析梯度消失的本质与成因，并纠正“梯度消失≠过拟合”的高频误区；随后对比ReLU与Maxout等激活函数的优劣，梳理Momentum、RMSprop、Adam/AdamW优化器的迭代逻辑；最后介绍L2权重衰减、Dropout与早停等正则化方案，并总结DNN训练核心避坑准则，帮助读者构建从原理到实操的完整训练优化体系，有效解决模型收敛慢、不收敛、过拟合与泛化能力差等常见问题。

2026-08-30 20:59:59 210

原创深度学习基础 Week10 深度学习实战

通过PyTorch框架实现MNIST手写数字分类任务，构建三层全连接神经网络，完成数据加载、模型训练（前向传播、损失计算、反向传播、参数更新）和测试验证的全流程。重点解析自动求导机制（loss.backward()）和训练闭环原理，强调梯度清零、模式切换等工程细节，最终测试准确率达95%以上。实战验证了反向传播与梯度下降的有效性，并总结学习率调节、过拟合处理等调优经验，体现理论与实践结合的价值。

2026-08-23 20:49:38 235

原创深度学习基础 Week9 反向传播

反向传播算法（Backpropagation）是神经网络训练的核心，通过链式法则逐层计算梯度，从输出层反向传递误差以更新权重和偏置。前向传播计算预测值并缓存中间结果，反向传播则利用这些结果分解全局误差，实现参数优化。该算法解决了多层网络梯度计算难题，支撑深度学习模型迭代，是PyTorch等框架的底层逻辑，适用于CNN、RNN等各类网络。前向传播与反向传播协同工作，构成模型训练的基础闭环，推动人工智能技术的实际应用。

2026-08-16 18:21:28 188

原创深度学习基础 Week8 深度学习简介

本文围绕深度学习基础理论开展学习总结，厘清深度学习属于机器学习子领域的从属关系，对比其与传统机器学习的特征差异。文中阐述人工神经元、全连接前馈网络的模型结构，结合矩阵运算、损失函数与反向传播等数学基础，梳理神经网络的演进兴衰历程。分析深度学习自动表征学习、非线性拟合能力强等优势，同时指出其对海量数据、高性能算力的强依赖性以及可解释性不足、易发生梯度异常等局限，并说明 GPU 并行计算对深度模型训练的硬件支撑作用，归纳深度学习基础理论的学习收获，为后续进阶研究奠定理论基础。

2026-08-09 20:30:14 188

原创深度学习基础 Week7 逻辑回归使用实例

本实验通过Python和scikit-learn实现了逻辑回归模型的完整流程，对比了原生线性逻辑回归与多项式特征变换后的非线性分类效果。实验使用环形数据集验证了特征变换的重要性，结果显示二阶多项式变换将准确率从线性模型的50%提升至90%以上。实验还展示了决策边界可视化，并拓展到Softmax多分类任务。结果表明，特征工程对提升逻辑回归的非线性分类能力至关重要，但需注意避免维度爆炸。该实验验证了逻辑回归的适用场景和局限性，加深了对判别式模型和特征变换的理解。

2026-08-02 21:09:49 155

原创深度学习基础 Week6 逻辑回归基础知识

摘要：逻辑回归是机器学习中经典的线性二分类判别式模型，通过Sigmoid函数将线性输出映射为概率。其核心优势包括模型简洁、可解释性强及输出概率值，采用交叉熵损失函数避免梯度消失问题。虽然原生模型仅能处理线性可分数据，但可通过正则化、特征变换和级联结构进行优化拓展。逻辑回归适合高维稀疏数据和需可解释性的场景，但存在线性局限、依赖特征工程等不足。该模型涵盖了概率建模、梯度优化等机器学习核心思想，是分类任务的基础模型和深度学习的重要组成单元。

2026-07-26 18:37:09 240

原创深度学习基础 Week5 分类算法基础知识

本文系统梳理了机器学习分类任务的核心概念。分类作为监督学习的重要分支，通过建立特征与离散标签的映射关系实现定性判断，包括二分类和多分类两种类型。重点探讨了概率生成模型的原理，其通过联合概率分布和贝叶斯定理实现分类，训练采用极大似然估计。文章对比了分类与回归的本质差异：分类输出离散类别（如垃圾邮件识别），回归预测连续数值（如房价）。最后总结了分类任务的理论基础，包括高斯分布、后验概率等核心概念，强调概率生成模型从数据生成本质建模的特点。本次学习为后续深入掌握分类算法奠定了理论基础。

2026-07-19 19:46:12 200

原创深度学习基础 Week4 梯度下降算法

本文系统阐述了梯度下降算法的核心原理与应用。作为机器学习的基础优化方法，梯度下降通过参数迭代最小化损失函数，涵盖批量、随机和小批量三种变体。文章详细推导了数学原理，强调学习率的关键作用及自适应优化器（如Adam）的优势，指出特征标准化对收敛效率的提升。同时分析了算法在非凸优化、鞍点、梯度消失等方面的局限性。研究表明，Z标准化结合AdamW是目前深度学习的最佳实践方案。该研究为神经网络训练奠定了重要理论基础。

2026-07-12 19:00:00 396

原创深度学习基础 Week3 误差来源与优化方法

本文系统阐述了机器学习模型泛化误差的核心构成——偏差（Bias）和方差（Variance）。偏差反映模型拟合能力（准不准），高偏差导致欠拟合；方差反映模型稳定性（稳不稳），高方差导致过拟合。二者存在制衡关系，需通过调整模型复杂度来平衡。优化方案包括：对高偏差可增加模型复杂度、丰富特征；对高方差可采用正则化、扩充数据、简化模型等。N折交叉验证是评估模型性能和调优的有效工具。理解偏差-方差权衡对构建泛化性能优异的模型至关重要。

2026-07-05 19:30:00 265

原创深度学习基础 Week2 回归算法核心知识

本文系统梳理了机器学习中回归算法的核心知识体系，包括线性回归模型原理、模型评估与优化方法。重点讲解了均方误差损失函数、梯度下降优化算法及其三种变体实现，深入分析了过拟合问题的产生机制及L1/L2正则化解决方案，并阐述了冲激信号在系统建模中的基础作用。全文构建了从模型构建→参数优化→性能评估→正则化改进的完整学习闭环，揭示了回归算法中模型训练与泛化能力提升的内在逻辑关系，为机器学习实践提供了系统的理论基础和方法指导。

2026-06-28 22:26:48 267

原创深度学习基础 Week1 机器学习入门

本文摘要：机器学习作为人工智能的核心技术，通过数据驱动的方式让计算机自动学习规律，克服了传统编程在复杂场景下的局限性。文章系统阐述了机器学习的基本概念、工作流程和优势（泛化能力、自适应优化），明确了其与普通数据分析的区别。同时梳理了人工智能、机器学习和深度学习的层级关系，并分类介绍了监督学习、无监督学习等主要方法。最后强调了理论结合实践的重要性，建议从传统机器学习算法入手打好基础。全文构建了完整的机器学习知识框架，为后续学习奠定基础。（149字）

2026-06-21 16:23:10 346

原创深度学习基础 Week0 机器学习实例：初识KNN

KNN 算法的工作原理基于这样一个假设：相似的对象在特征空间中距离相近。具体来说，对于待分类的样本，KNN 算法首先计算它与训练集中每个样本之间的距离。然后，算法选取距离最小的 K 个样本，这些样本被称为 “邻居”。最后，根据这些邻居的类别标签，通过投票或加权平均等方式，确定待分类样本的类别。KNN 算法的核心在于距离度量，它决定了样本之间的相似度。通过选择合适的距离度量方法，KNN 算法能够准确地找出与待分类样本最相似的邻居，从而进行准确的分类。

2026-06-14 13:45:34 285

weixin_51996714的博客