- 博客(23)
- 收藏
- 关注
RSS订阅原创 机器学习23：对抗攻击（adversarial attack）（上）
本周课程介绍了对抗攻击（adversarial attack）的基本概念与必要性。对抗攻击旨在测试模型在恶意输入下的鲁棒性，确保其在真实应用中能够抵御人为欺骗，例如在垃圾邮件分类、恶意软件检测等任务中。本文详细讲解了攻击的类型，包括无目标攻击（Non-targeted）和有目标攻击（Targeted），以及攻击的实现方法，如定义损失函数、使用距离度量（如L2范数和L-无穷范数）和优化技术（如梯度下降和快速梯度符号法）。最后，探讨了攻击途径及其在实际应用中的重要性，强调了模型安全性的关键作用。
2025-11-23 17:25:28
1139
1
原创 机器学习22：可解释机器学习（Explainable Machine Learning）（下）
为了找出这样的图片，先假设滤波器A输出的特征图中每一个元素为aij，接着就是找一张图输入到卷积层经过滤波器A得到的特征图中所有的aij和值越大越好，找出的这张图片称为X*。当输入一张图片X，每一个卷积层就会输出一个特征图，其中如果滤波器A得到的特征图中许多位置都有比较大的值，这就意味着图片X中有很多滤波器A侦测的特征。但是现在要做的是全局解释，也就是还没有图片X，这时若要知道滤波器A想要知道的特征如何，我们就可以去生成一个非数据库中的图片，机器生成的这张图片包含有滤波器A能够侦测的特征。
2025-11-16 20:30:00
635
原创 机器学习21：可解释机器学习（Explainable Machine Learning）（上）
本周以可解释机器学习为核心议题，系统阐述其在现代人工智能应用中的关键作用。内容重点解析可解释性的重要性——如避免“聪明的汉斯”式表面智能、满足法律合规与公平性要求，并深入探讨模型可解释性与性能强大性之间的权衡关系（如线性模型可解释性强但限制大、深度模型性能优但解释性差）。进一步，将可解释机器学习分类为局部解释与全局解释，并分别介绍其方法与案例，包括显著图、平滑梯度、可视化与探针等技术，揭示模型决策依据，为模型修正与优化提供依据。
2025-11-09 17:18:26
915
原创 机器学习20：自编码器（Auto-Encoder）与扩散模型综述学习
课程进一步深入综述了扩散模型的理论基础、主流改进方向及其与VAE、GAN等生成模型的广泛联系，全面梳理了扩散模型在计算机视觉、多模态生成及科学计算等领域的革命性应用，最后剖析了其在理论理解、潜空间语义性、基本假设与计算成本等方面面临的关键挑战，为理解生成式AI的前沿发展提供了系统性的知识框架。能够做到这件事对于影像来说，并不是所有的3×3的矩阵都是图片，而图片的变化是有限的，对应的情况总共也就那么些种类，从而就可以通过两个维度的向量来代表。扩散模型的生成能力像是学习经验、发现经验，而非严格数学推导的结果。
2025-11-02 20:45:00
1008
原创 机器学习19：自监督式学习在语音和影像上的运用
本讲系统介绍了自监督式学习在语音和影像领域的应用方法与技术进展。首先回顾了文本自监督学习的基本框架，进而重点讲解了语音与影像数据上的自监督预训练策略，包括生成式方法（如语音BERT、GPT）、预测式方法（如图像旋转预测、上下文预测）以及对比学习（如CPC、Wav2vec系列）等关键技术。此外，课程还介绍了无需负样本的Bootstrapping方法与引入正则化的VICReg等先进学习范式，全面展示了自监督学习在多模态数据上的强大适应性与泛化能力。
2025-10-26 20:30:00
752
原创 机器学习18：扩散模型（Diffusion Model）与Stable Diffusion
一.概念理解1.扩散模型（Diffusion Model）扩散模型这是当前人工智能领域，尤其是生成式AI中最为火热和强大的技术之一。它彻底改变了图像、音频、视频生成领域的技术格局，是DALL·E、Midjourney、Stable Diffusion等著名生成工具的核心基石。而其核心思想就是前向过程：遵循确定公式，像图像中添加噪声。反向过程：从噪声中“提炼”图像。就如上图，先从高斯噪声中随机抽取一个向量（向量维度与要生成的图片大小相同），得到一个纯噪声的图。
2025-10-19 16:45:19
879
原创 机器学习17：如何有效使用自监督式学习
本周课程系统回顾了预训练语言模型（PLMs）的基本原理及其在自然语言处理任务中的应用，重点分析了当前PLMs面临的两大核心挑战：下游任务中标注数据的匮乏以及模型规模过大带来的计算与存储负担。课程详细介绍了一系列针对这些问题的优化方法，包括提示微调（Prompt Tuning）、少样本/零样本学习、半监督学习、参数高效性微调（如适配器、LoRA、前缀微调、软提示）以及提前退出机制等。
2025-10-12 19:08:18
822
原创 机器学习16：自监督式学习（Self-Supervised Learning）②
本周重点学习了自监督式学习中的两大代表性模型——BERT 与 GPT。BERT 通过“填空”和句子连贯性判断任务，学习上下文感知的词嵌入表示，能够有效处理一词多义问题，并在跨语言任务中表现出色。其嵌入向量能捕捉词汇语义和上下文信息，甚至可迁移至非文本任务（如 DNA 分类）。GPT 则采用自回归方式预测下一个 token，具备文本生成能力，并支持少样本、单样本和零样本学习，展现出强大的泛化能力。两者均为自监督学习的典型应用，推动了自然语言处理的发展。
2025-10-05 20:30:00
559
原创 机器学习15：自监督式学习(Self-Supervised Learning)①
一．了解自监督式学习本周开始学习自监督式学习，在了解之前我们不得不说到一个节目叫做《芝麻街》，因为其中一些人物的名字就对应一些模型的名称缩写，如下图分别代表了：通过知识集成增强表征（ERNIE）、来自语言模型的词嵌入（ELMo）、适用于更长序列的 Transformer 模型（Big Bird）、基于 Transformer 的双向编码器表征（BERT）。
2025-09-28 17:53:34
1162
原创 机器学习14：各种各样的自注意机制
一．自注意机制的回顾与问题通过之前的学习也基本了解了自注意机制，但是对于自注意机制其还是有各种各样的变形的。所以在学习自注意机制的各样变形前，先来简单回顾下自注意机制的原理以及其难点所在。首先自注意机制的存在是为了处理当模型的输入是一个序列。这个序列可以是各种不同的资料形态如一个以每个token或每一个单词为单位的句子又或者是一张以每一个像素作为一个单位的图片。
2025-09-21 18:23:39
585
原创 机器学习13：了解Transformer模型②
本周课程深入探讨了Transformer模型中的解码器（Decoder）结构及其生成策略。课程重点介绍了自回归（Autoregressive）与非自回归（Non-Autoregressive）两种生成方式的基本原理与区别，并详细分析了编码器与解码器之间通过交叉注意力（Cross Attention）进行信息传递的机制。
2025-09-14 20:45:00
875
原创 机器学习12：了解Transformer模型①
本周课程重点介绍了序列到序列（Seq2seq）模型的基本概念及其在多领域的应用，包括语音识别、语音合成、聊天机器人、自然语言处理任务（如情感分析与问答系统），以及非传统Seq2seq任务（如语法解析、多标签分类与目标检测）的适应性处理。进一步地，课程深入讲解了Transformer模型的核心架构，特别是其Encoder部分的设计，涵盖自注意力机制、残差连接与层归一化等关键技术，为后续理解Transformer的完整机制奠定基础。
2025-09-07 20:30:00
1062
原创 机器学习11：类神经网络训练之批量标准化(Batch Normalization)
本周课程介绍了批量标准化（Batch Normalization）的基本原理及其在深度神经网络训练中的作用。批量标准化通过对每一层的输入进行归一化处理，使数据分布更加稳定，从而加速模型训练并提高收敛效率。本文详细讲解了特征归一化的动机、批量归一化的实现方法（包括训练与测试阶段的差异）、以及其在深度网络中的实际效果。最后，通过对比实验数据，展示了批量标准化在训练速度与稳定性方面的显著优势。
2025-08-31 20:30:00
924
原创 机器学习10：自注意力机制(Self-Attention)
本周课程介绍了自注意力机制（Self-Attention）的基本概念与应用场景。自注意力机制适用于处理可变长度的序列输入，如文本、语音和图结构数据。其核心思想是通过计算输入序列中每个元素与其他元素之间的关联性（Attention Score），动态地聚合全局信息，生成每个位置对应的输出向量。
2025-08-24 18:17:40
1063
原创 机器学习09：GAN效能评估与条件式以及循环生成对抗网络
出现这一问题的原因我们可以从微分入手，当解码器发生微小的变化则其输出的分布也会发生微小变化，由于文字生成涉及离散的token输出，而其微小变化并不会影响最大的token，对于鉴别器而言前后两者的token一样，所以分数也是一样的。但这样就背离了生成器的初衷，生成一个真实数据中没有的数据。而对于一般的例子，也是一样运行一个影像的分类系统，将生成的图片，输入到这个影像分类系统中得到一个几率分布P(c|y)，若P(c|y)的结果越集中就代表生成的图片可能就越好，若结果更平均则代表生成的图片更奇怪。
2025-08-17 16:13:30
802
原创 机器学习08：生成式对抗网络(GAN)中理论介绍与WGAN②
本文系统探讨了生成对抗网络（GAN）的理论基础与优化方法。研究发现传统JS散度在分布不重叠时存在梯度消失问题，提出采用Wasserstein距离作为替代方案，其通过"推土机成本"概念有效衡量分布差异。为实现Wasserstein距离计算，引入WGAN框架，重点阐述了1-Lipschitz约束的三种实现方法：权重裁剪、梯度惩罚和谱归一化。实验表明，Wasserstein距离能持续提供有意义的梯度信号，显著改善模式坍缩问题。该研究为GAN训练提供了理论指导，WGAN及其改进方法（如WGAN-
2025-08-10 10:40:56
444
原创 机器学习07：生成式对抗网络(GAN)的基本了解①
前面学习的Network都是输入一个x就可以得到一个输出的y，其中x可以是一张图片，一个向量等不同的值，y也可以是一个数值或者一个类别等不同的y。同理生成器如何生成动画人物图片的过程就是第一代的生成器的参数是随机的，其生产的图片也是杂乱的。则第一代的鉴别器则需要学习一代生成器生产的图片与真正图片的不同所在，如判断图片中是否有眼睛，没有则为一代生成器生产的图片。②确定好更新后的D，训练G，使其产生的图片能够通过此时D的鉴别。由于输出是一个动画人物的脸，可以知道这个就是一个图片，而图片则对应一个高维的向量。
2025-08-03 20:45:00
782
原创 机器学习06：深度学习(Deep Learning)
本周解析深度神经网络优势：通过隐藏层（如ReLU/Sigmoid）实现函数分段逼近，实验表明深层结构在参数量相近时性能显著优于浅层网络（如5层错误率17.7% vs 单层20.5%）。模块化设计（类比电路分层/剪纸折叠）降低模型复杂度（|H|），减少过拟合风险，为高维问题提供高效解决方案。
2025-07-27 20:03:30
940
原创 机器学习05：了解卷积神经网络(Convolutional Neural Network)
本周以影像分类任务为切入点，系统阐述卷积神经网络（CNN）的核心架构设计原理。重点解析局部感知区域、参数共享与池化三大关键机制：通过限定神经元感知范围（如3×3 kernel）降低参数量，利用参数共享实现模式平移不变性，结合子采样（如Max Pooling）压缩特征维度；深入探讨CNN的归纳偏置特性------其通过结构约束（如stride/padding）平衡模型复杂性与泛化能力，并分析其在围棋等非图像任务中的适用边界（如棋盘局部模式检测需5×5感知域但避免池化操作）。
2025-07-20 20:26:54
970
原创 机器学习04：宝可梦与数码宝贝分类器
而实际上我们手中，只有部分的数码宝贝和宝可梦，也就是从所有的数码宝贝和宝可梦中取样出来，这个训练资料集我们以Dtran来表示，假设这个资料集中有N笔资料，而我们取样是独立同分布的。首先我们假设理想状态：即我们可以得到所有的宝可梦与数码宝贝，把它们集合起来我们把这个集合叫做Dall，这样我们就可以找到最好的一个threshold(阈值)，我们把这个最好的阈值叫做hall，它就是可以让所有loss最小的h。蓝色的点代表一组好的训练资料，橙色的点代表一组坏的训练资料，且每个点被抽样的概率是一样的。
2025-07-13 17:46:26
646
原创 机器学习03：机器学习中部分问题攻略——优化策略与分类任务
本周深入探讨了机器学习训练优化的关键策略。重点学习了自适应学习率技术（如Adagrad、RMSProp和Adam）的原理与应用，分析了训练停滞的原因与梯度震荡问题；同时研究了分类任务的本质，对比了回归与分类的差异，引入独热向量（one-hot vector）和Softmax函数处理多分类问题，并解释了交叉熵损失函数（Cross-entropy）相较于均方误差（MSE）在分类任务中的优势。
2025-07-06 21:00:00
794
原创 机器学习02：机器学习中部分问题攻略——如何使训练结果更好
本周学习了系统分析了机器学习模型训练过程中的优化挑战，了解了关于性能瓶颈的诊断与解决框架。首先，基于机器学习的三个核心步骤，揭示了训练结果不佳的两类核心问题训练损失过大和测试损失显著高于训练损失，同时对于优化停滞现象，深入了解了临界点的性质，并通过算法改进与超参数选择策略，显著提升了模型性能与泛化能力。
2025-06-29 21:15:00
829
原创 机器学习01：初步了解机器学习
但是，对于复杂的非线性函数而言，简单的线性函数已经无法对其进行拟合，所以我们通常会用多个函数的互相叠加组合来拟合复杂的模型。通过我们前面使用的YouTube视频播放量的例子，我们发现随着relu函数的数量增多loss也随着降低，但其还是存在一个极限值，无论我们这里relu函数的数量如何增加都不能是我们预测更加精准了，所以接下来我们再对于我们的模型进行更改。由第二步我们可知，损失函数的值越小，就代表我们建立的模型越好，所以我们要找到一组最好的参数w，b是Loss的值最小，即w*，b*=arg minL。
2025-06-22 21:39:45
621
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人