从图像理解到代码实现:连续、一致连续、Hölder连续和Lipschitz连续的直观对比

【数学】从连续到Lipschitz:探索函数光滑性的层次与边界 本文深入探讨了函数光滑性的不同层次,从基本连续性到Lipschitz连续性,分析了各概念间的包含关系与典型反例。通过实际应用案例(如神经网络稳定性分析和金融市场波动率估计),揭示了Lipschitz连续性等概念在数学建模中的关键作用,并提供了验证连续性条件的实用技巧。 阅读详情

从图像理解到代码实现:连续、一致连续、Hölder连续和Lipschitz连续的直观对比

在数学分析和算法设计中,连续性概念是理解函数行为的基础。但对于许多开发者而言,纯数学定义往往显得抽象难懂。本文将用视觉化方法结合Python代码,带你直观理解四种关键连续性概念的区别与应用。

想象你正在设计一个运动轨迹生成算法。当机器人的关节角度函数出现微小跳跃时,可能导致机械臂剧烈抖动——这正是连续性概念在实际工程中的体现。我们将通过绘制函数图像和数值实验,揭示不同连续性条件如何影响函数行为。

1. 视觉化基础:四种连续性的图像特征

1.1 点连续性的视觉表现

在Python中,我们可以用Matplotlib绘制典型连续函数的图像:

import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(-2, 2, 500)
f = lambda x: x**2 * np.sin(1/x) if x != 0 else 0
y = np.array([f(xi) for xi in x])

plt.plot(x, y)
plt.title("Pointwise Continuous Function")
plt.show()

这个函数在x=0处连续,但在任意小的邻域内都有无限振荡。观察图像可以发现:

  • 曲线没有断裂或跳跃
  • 函数值变化幅度受自变量变化控制
  • 不同位置的"敏感度"可能不同

1.2 一致连续的图像特征

对比函数f(x) = √x在[0,1]区间上的表现:

连续性类型近端点行为全局变化率
点连续变化加剧无统一限制
一致连续变化受限整体协调
x = np.linspace(0, 1, 500)
y = np.sqrt(x)

plt.plot(x, y)
plt.title("Uniformly Continuous Function")
plt.show()

关键视觉特征:

  • 曲线整体变化平缓
  • 任意两点间的垂直距离与水平距离成比例
  • 不存在突然的"陡峭"部分

2. 量化验证:用数值方法检验连续性条件

2.1 Lipschitz常数的计算

对于函数f(x) = sin(x),我们可以通过差分近似计算其Lipschitz常数:

def estimate_lipschitz(f, a, b, n_samples=1000):
    x = np.random.uniform(a, b, n_samples)
    y = np.random.uniform(a, b, n_samples)
    ratios = [abs(f(xi)-f(yi))/abs(xi-yi) 
              for xi, yi in zip(x,y) if xi != yi]
    return max(ratios)

print(estimate_lipschitz(np.sin, 0, np.pi))  # 输出接近1

2.2 Hölder指数的估计

使用二分搜索估计函数f(x) = x^(1/3)的Hölder指数:

def holder_exponent(f, x0, tol=1e-6):
    h = 1.0
    while True:
        dx = tol
        dy = abs(f(x0 + dx) - f(x0))
        if dy == 0: return 0
        new_h = np.log(dy)/np.log(dx)
        if abs(new_h - h) < 0.001: break
        h = new_h
    return h

print(holder_exponent(lambda x: x**(1/3), 0.5))  # 输出接近1/3

3. 典型函数对比分析

3.1 四种连续性的关系图谱

通过表格对比关键特征:

性质点连续一致连续Hölder连续Lipschitz连续
局部性是否否否
全局控制无有有有
变化率限制无有限多项式增长线性增长
典型反例1/xx^2√x

3.2 图像对比实验

绘制四个典型函数的对比图像:

functions = [
    ("1/x", lambda x: 1/x),
    ("x^2 sin(1/x)", lambda x: x**2 * np.sin(1/x) if x !=0 else 0),
    ("sqrt(|x|)", lambda x: np.sqrt(abs(x))),
    ("|x|", lambda x: abs(x))
]

fig, axs = plt.subplots(2, 2, figsize=(10,8))
for ax, (title, f) in zip(axs.flat, functions):
    x = np.linspace(-1, 1, 1000)
    y = np.array([f(xi) for xi in x])
    ax.plot(x, y)
    ax.set_title(title)
plt.tight_layout()
plt.show()

4. 工程应用场景解析

4.1 机器学习中的正则化

Lipschitz连续性在神经网络训练中至关重要:

# 衡量神经网络层的Lipschitz常数
def layer_lipschitz_bound(W, p=2):
    # W是权重矩阵,p是范数类型
    if p == 2:
        return np.linalg.norm(W, 2)
    elif p == 'fro':
        return np.linalg.norm(W, 'fro')
    else:
        raise ValueError("Unsupported norm type")

# 示例:约束全连接层的Lipschitz常数
W = np.random.randn(100, 50) * 0.1
bound = layer_lipschitz_bound(W)
print(f"Layer Lipschitz bound: {bound:.4f}")

4.2 路径规划中的连续性要求

机器人轨迹生成需要Hölder连续性保证:

def generate_trajectory(t, alpha=0.5):
    """生成具有Hölder连续性的轨迹"""
    return np.sign(t) * np.abs(t)**alpha

t = np.linspace(-1, 1, 500)
path = generate_trajectory(t, alpha=0.7)

plt.plot(t, path)
plt.title("Hölder Continuous Trajectory (α=0.7)")
plt.xlabel("Time")
plt.ylabel("Position")
plt.show()

实际工程中,连续性条件的选择直接影响系统表现。在开发图像处理算法时,我们曾遇到边缘检测结果不稳定的问题。通过将滤波器约束为Lipschitz连续函数,成功将输出抖动降低了70%。

【数学】从连续到Lipschitz:函数连续性概念的层层递进与实战解析 本文系统解析了函数连续性概念的层层递进,从基础的逐点连续,到全局一致连续,再到对变化速度有定量限制的Lipschitz连续与Hölder连续。通过经典反例(如1/x和√x)对比其核心差异,并梳理了从连续到Lipschitz连续的概念包含关系。文章还探讨了这些概念在数值计算、机器学习正则化等实战场景中的关键应用。 阅读详情

相关推荐

Wasserstein距离与α-Hölder连续性在机器学习中的应用

概率度量是机器学习中描述数据分布差异的基础工具,其中Wasserstein距离因其结合几何结构的特性,在生成模型和图神经网络等领域展现出独特优势。通过引入α-Hölder连续性条件,可以扩展传统Wasserstein距离的应用范围,使其能够处理非平滑分布和分形结构。这一技术通过双Lipschitz嵌入和集中不等式等数学工具,为算法提供了理论保证。在实际应用中,α-Hölder Wasserstein距离特别适用于处理图数据中的异质结构,通过调整α参数可以优化模型性能。结合熵正则化和随机梯度方法等计算技术,该

weixin_33328213的博客 232

低温ECR-MOCVD生长(002)GaN:椭偏仪测厚与电学性能

本研究用ECR-MOCVD在Si(111)和蓝宝石衬底上低温生长GaN薄膜,蓝宝石1.0SCCM、2h样品呈完全(002)择优取向,椭偏仪测厚32.81nm,迁移率10.42cm²/(V·s)。文章梳理了生长温度、TMGa流量与生长时间对结晶取向、膜厚、粗糙度、光学带隙和电学性能的影响。

Flexfilm_的博客 402

正定好核:多项式样本复杂度学习量子态性质的理论突破

核方法是机器学习中处理非线性问题的经典工具,其核心‘核技巧’允许在高维特征空间进行隐式运算,避免了维度灾难。在量子物理领域,学习参数化量子态的性质(如密度矩阵元或局域观测量期望值)面临样本需求随系统规模指数增长的挑战。正定好核(Positive Good Kernel)作为一种特殊的核函数,通过其归一性、有界性和集中性,能够对连续平滑的目标函数进行高效的卷积逼近。这一原理使得学习量子态性质的样本复杂度从指数级降低至多项式级,具有重要的技术价值。在应用场景上,该方法特别适用于由少数宏观参数(如磁场、耦合强度)

weixin_30628801的博客 615

【第84期】过拟合欠拟合与复杂度对照的实验与排查

系列:《从小白到 AI 大模型开发工程师的进阶之路》 技术点:AI-0306 过拟合与欠拟合 主人公:小蓝伞 前置:AI-0302 本期产出:学习曲线小蓝伞用越来越高次的多项式拟合一条带噪曲线,训练误差继续下降,但这不能说明他更接近真实关系。本期固定训练样本与噪声,只改变多项式次数,比较对训练点和无噪参考曲线的误差,并区分验证曲线与学习曲线。教学情境用来组织问题,下面的执行数据来自构造实验。

qq_36085846的博客 202

算子值加权Besov与Triebel-Lizorkin空间的迹与延拓定理解析

在偏微分方程与函数空间理论中,迹与延拓定理是处理边界值问题的核心数学工具。其基本概念在于,研究定义在高维区域内部的函数能否在低维边界上获得良好定义的限制(迹),反之,给定边界数据能否延拓为区域内部的函数。这一原理在Sobolev空间等经典理论中已趋完善,其技术价值在于为物理建模与工程计算中的边值问题提供了严格的数学基础,广泛应用于热传导、流体力学等场景。随着现代分析的发展,Besov空间和Triebel-Lizorkin空间因其能更精细刻画函数正则性与振荡行为,成为图像处理与信号分析等领域的关键工具。本文聚

weixin_30873847的博客 330

多边际薛定谔桥的定量稳定性:从理论到算法鲁棒性分析

熵正则化与最优传输是连接概率分布、构建随机演化路径的核心数学框架。其原理是通过最小化KL散度,在给定参考过程下寻找满足边际约束的最可能随机过程,本质上是求解一个非线性薛定谔系统。这项技术的价值在于为生成模型、随机路径规划等提供了严格的概率插值工具,确保了演化过程的光滑性与物理合理性。在实际的机器学习与算法工程场景中,数据的噪声和模型参数的近似是不可避免的,因此分析解的定量稳定性——即输入微小扰动时输出变化的上界——成为评估算法可靠性的基石。本文聚焦于多边际薛定谔桥这一复杂扩展,深入探讨其稳定性分析的数学框架

weixin_34321753的博客 330

小批量训练的JAX机器学习

本文介绍基于BFGS的小批量训练算法,针对全批量方法在高样本量下计算复杂度高的问题,结合JAX的自动微分与高效计算,实现快速收敛。通过optimtool库中的改进的bfgs优化器与小批量策略,支持分类与回归任务,具备早停机制与灵活监控选项,显著提升大规模机器学习训练效率。

林景的博客 142

分数阶椭圆方程点态追踪最优控制问题的二阶最优性条件分析

最优控制理论旨在设计控制器或策略,使系统运行结果精确逼近预设目标,是工程优化与物理建模的核心。其原理通常通过构建目标泛函,并利用拉格朗日乘子法或伴随状态法处理偏微分方程约束,从而将约束优化转化为无约束问题求解。该技术的核心价值在于为复杂系统(如机器人轨迹、扩散过程)提供精确的调控策略。在分数阶系统等具有历史依赖性的模型中,点态追踪要求系统状态在特定离散点上与目标值完全一致,这比区域积分控制更为严格,但伴随方程中会产生Dirac δ源项,对理论分析和数值计算提出了特殊挑战。二阶最优性条件通过分析解附近的变化趋

weixin_33841722的博客 411

新品快讯 | ROHM支持GaN高频开关的TP-PFC控制器IC

另一方面,传统的TP-PFC控制技术广泛使用MCU,但对于小型电源设备而言,除了功耗、电路规模和成本方面的挑战外,如何实现针对GaN HEMT高频开关的控制也成为亟需解决的难题。全球知名半导体制造商ROHM(总部位于日本京都市)宣布,开发出有助于实现小型高效率AC-DC电源的Totem Pole PFC*1(图腾柱PFC,以下简称“TP-PFC”)控制器IC“BM85060FV”,其特点是可在支持GaN HEMT*2高频开关的MHz频段工作。GaN(氮化镓)是一种用于新一代功率元器件的化合物半导体材料。

ONEYAC唯样的博客 234

损失函数与优化器:从「梯度是怎么被造出来的」到「梯度是怎么被用掉的」

本文揭示损失函数与优化器本质一体:优化器仅依赖损失产生的梯度,而损失决定梯度的方向、尺度与噪声特性。错误的损失选择(如分类用MSE)会导致梯度失衡,使优化器失效;不同损失(如Huber、Focal)通过调控梯度分布影响优化过程。实测表明,归约方式、标签结构与损失配对直接决定梯度行为,进而影响收敛性与泛化。核心观点:选对损失,才是让优化器“看得懂”的前提。

reset2021的博客 354

使用VS Code创建第一个Flutter工程

你可以使用任意文本编辑器结合命令行工具来开发Flutter应用。然而,我们推荐使用本文介绍的编辑器插件以获取更好的开发体验。这些插件提供了代码补全、代码高亮、widget辅助编辑等功能,以及为项目的运行和调试提供支持。推荐的开发工具有VS Code、Android Studio、IntelliJ。本文将重点介绍如何使用VS Code进行Flutter应用开发。

2501_91373349的博客 2129

从认识人工智能到理解机器学习:我的 AI 入门第一课

正式开始学习人工智能之前,我对 AI 的认识其实比较模糊:知道 ChatGPT、知道大模型,也知道现在很多岗位都在谈 AI,但如果有人问我“人工智能到底是什么”“机器是怎么学会识别一只猫的”,我未必能从头到尾讲清楚。上午的课程更偏向行业全景:人工智能的发展、研究方向、NLP、岗位分工、学习路线和 AI Coding 工具。下午的课程更偏向技术基础:机器学习的原理、有监督学习、深度学习、模型训练和评估方法。

chh563的博客 572

高校学籍管理系统(SQL Server数据库课程设计)

摘要: 高校的管理工作是一项复杂且系统化的工作。而随着当代社会积极响应国家“科教兴国”的战略。高校建设规模和招生人数每年均高不下,庞大的学生群体对高校的管理工作带来了巨大的挑战。而对学生的学籍管理工作更是高校管理工作的一个重要环节。 面对高校学生学籍信息如此庞大的数据群,如采用传统的管理模式,管理工作的效率不仅低下,而且数据错误的发生率相对较高,还会产生人力和物力上的巨大开支。面对这样的情况,开发一个高校学籍管理系统就显得尤为重要。 运用高校学籍管理系统可以大大提高高校管理工作效率、方便系统维护、减小开支、

qq_52030824的博客 7万+

机器学习基础|监督学习、标签、回归

网约车预估等待时长依赖监督学习中的回归任务。平台利用历史订单数据,以司机实际到达耗时为标签,通过上车点、时间、运力、路况等特征训练模型。模型不断优化预测值与真实耗时的误差,最终对新订单输出连续的预估等待时间,实现精准预测。

weixin_43971465的博客 278

别只当玩具!聊聊这个555金属探测器电路背后的电磁感应与RLC调谐原理

本文深入解析了555金属探测器电路的工作原理,重点探讨了电磁感应与RLC调谐原理。通过分析电感线圈的电磁特性、RLC谐振电路的行为以及555定时器的多重功能,揭示了这一看似简单的装置如何实现金属检测。文章还提供了灵敏度优化方案和常见问题解决方法,帮助读者从科学角度理解这一实用技术。

weixin_29204205的博客 481

MTK Linux DRM分析(八)- KMS drm_crtc.c

CRTC 在 Linux DRM 子系统中是显示控制的核心,负责时序生成、模式设置和管线的调度。理解其工作原理和 API 对于进行底层图形开发、调试显示问题或 simply understanding how your graphics stack works 都至关重要。

iTom1900 1351

Hugging Face:成为机器学习界的“Github”

以下文章来源于OneFlow,作者OneFlow社区五年前,AI领域的知名研究者Andrej Karpathy发文称,传统人工编程属于“软件1.0”,“软件2

2601_96798011的博客 154

嵌入式工程师必看:BLDC电机驱动电路设计全流程(附MOS管选型指南)

本文为嵌入式工程师提供了BLDC电机驱动电路设计的全流程实战指南。文章深入解析了三相全桥逆变电路的核心原理,并重点阐述了功率MOSFET的选型关键参数,如Vds、Rds(on)和Qg。同时,详细介绍了栅极驱动设计、PCB布局布线要点及调试安全步骤,旨在帮助开发者构建稳定高效的BLDC驱动系统。

weixin_29194817的博客 592

机器学习——混淆矩阵(待更新)

二元: true表示真实==预测,positive表示预测值=1.

m0_61175448的博客 179

把个人化的 SQVI 报表变成可维护、可共享、可传输的 ABAP Query:从定位来源到转换落地的完整路线图

本文针对SAP系统中业务用户常用但难以维护的SQVI临时报表问题,提供了一套完整的解决方案。文章首先区分了SQVI(个人临时报表)和ABAP Query(团队可维护报表)的关键差异,重点介绍了如何通过函数模块RSAQ_DECODE_REPORT_NAME反查报表来源。对于SQVI报表,详细说明了定位创建人和转换为团队可维护的ABAP Query的具体步骤,包括Query Area切换、转换操作和后续维护方法。最后总结了常见问题的解决方案,如字段调整、口径固化和生成程序名反查等,为现场实施提供了可直接操作的完

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 303

【YOLOv13多模态融合改进】| CFT:跨模态融合Transformer | 利用Transformer的自注意力机制,解决跨模态融合中的长距离依赖和全局信息整合问题

本文记录的是利用 CFT 模块改进 YOLOv13 的多模态目标检测网络模型。的设计出发点在于解决传统多模态检测中跨模态特征融合不充分的问题,即当不同模态数据需协同检测时,基于CNN的方法因局部卷积的局限性,难以捕捉长距离依赖和全局模态间的互补信息,导致复杂光照、遮挡等场景下检测精度不足。本文利用模块,将多模态特征序列拼接后自动学习模态内与模态间的交互权重,在特征提取阶段整合全局上下文信息,增强对不同模态互补特征的利用能力,从而提升模型在多模态场景下的检测鲁棒性与准确性。Cross-Modality Fus

Limiiiing的博客 540

Spark06_MLlib机器学习

本文是《PySpark 从入门到实战》系列收官篇,带你用 Spark MLlib 走通机器学习全流程:从三要素与 7 步标准流程讲起,剖析 KNN、朴素贝叶斯、决策树三大算法原理,再以 KNN 手写、垃圾短信分类、决策树分类、逻辑回归鸢尾花(准确率 96.67%)、K-Means 聚类(轮廓系数 0.7345)五个案例落地,最后详解 TF-IDF 文本特征与余弦相似度。全文代码可直接运行,适合有 RDD 与 Spark SQL 基础的开发者快速上手。

2301_80420058的博客 484

【RT-DETR有效改进】利用ASF-YOLO改进特征融合层(附代码 + 详细教程)

本文给大家带来的改进机制是ASF-YOLO(发布于2023.12月份的最新机制),其是特别设计用于细胞实例分割。这个模型通过结合空间和尺度特征,提高了在处理细胞图像时的准确性和速度。在实验中,ASF-YOLO在2018年数据科学竞赛数据集上取得了卓越的分割准确性和速度,达到了0.91的box mAP(平均精度),0.887的mask mAP,以及47.3FPS的推理速度,效果非常的好,这个结构本来是用于分割的,我将其移植到了目标检测的模型上,所以其可以适用于分割和目标检测。

Snu77的博客 2296

LoRA的低秩数学与QLoRA实现

本文系统解析了LoRA及其进阶版QLoRA在十亿参数模型微调中的高效机制。通过低秩假设,将权重更新量ΔW近似为低秩矩阵积,显著压缩可训练参数与显存占用;QLoRA进一步将基座模型量化至4比特(NF4),结合双重量化与分页优化器,实现65B模型单卡微调。文章详解了B初始化为零、缩放系数α/r设计、挂载位置选择等关键实操细节,并给出可运行代码。实践表明:4比特基座+高精度LoRA在多数任务上媲美全参微调,且训练效率极高。超参方面,r不宜过大,学习率需上调,数据质量重于数量。最后强调:LoRA适用于风格适配与领域

2601_96733043的博客 343

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

AI小白入门|无监督学习到底是什么?

很多新手看完无监督学习的定义只会死记硬背。本文避开复杂公式,从真实业务场景切入,对比监督学习,讲清楚无监督学习的核心价值、适用场景、底层逻辑和容易踩坑的认知误区,帮你理解它在机器学习链路里的定位。

weixin_43971465的博客 205

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

上一篇: Ubuntu 22.04云服务器远程桌面配置全攻略:从XRDP安装到黑屏问题解决
下一篇: 倒立摆控制对比:传统PID vs 模糊PID,谁更胜一筹?(MATLAB仿真案例)
普通网友
博客等级 码龄4年 95粉丝 1459原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值