阿里云开源 SysOM 巡检 Skill:将运维时间从四十分钟压到五分钟!

开源简单网络巡检工具(NetDevOps)项目 该应用实现对交付工程师在交付交付中无相应网管设备,或者中小型网络运维无网管设备,需要对交换机设备做批量的信息收集而开发的一个可扩展性的网络设备信息收集工具。本项目做为开源项目,欢迎各位大拿多多出注意,有能力的可以一起对项目进行维护和 阅读详情

阿里云发布 SysOM 巡检 Skill,开启运维新体验

我得说,凌晨两点被叫醒的运维同学肯定深有体会,那种明明数据都在,却不知道下一步该做什么的感觉,实在太难受了。不久前,阿里云操作系统控制台发布了 [SysOM 诊断 Skill],把“告警响了之后、登录机器手动查根因”的活儿交给了 Agent。不过呢,诊断解决的是“出了问题查根因”,更好的办法是在问题发生前就发现隐患。基于这个理念,今天阿里云操作系统控制台接着将 SysOM 巡检 Skill 一同开源,后续它会和 SysOM 诊断 Skill 一起纳入即将发布的 SysOM 技能包,形成“巡检发现问题 → 诊断定位根因 → 给出处置建议”的完整闭环,让 Agent 既能事后止损,更能事前预防。

“黑色”星期四:传统运维的困境

那是一个普通的星期四凌晨,小林被值班群的 @ 全体成员炸醒,看到的是“生产环境某实例内存使用率 91.90%,已持续 30 分钟”的提示。然后就是所有运维人都经历过的流程:打开跳板机,登录机器,敲下 `top`,满屏进程让人眼花缭乱;再敲 `free -h`,发现空闲内存只剩一百多兆;看 `/proc/meminfo`,发现 Anonymous 页占用异常高;拉群把 SRE、DBA、业务开发都叫进来“先看看”,大家七嘴八舌,有人问是不是缓存没释放,有人怀疑是不是应用泄漏,有人建议先重启……从收到告警到定位到占了 12.95 GB 内存的 python 进程,团队花了将近四十分钟,虽然业务在下一波流量到来之前险险稳住,但小林知道,这次是运气好。

同一个故障,另一种走法:SysOM 巡检 Skill 的威力

还是同一台机器,同一个内存飙高的时刻,这一次 SysOM 巡检 Skill 已经在做例行巡检。37.4 秒后,一份完整的报告就到了小林手里。19 项巡检执行完毕,18 项 Normal,1 项 Error 命中:内存使用率 91.90%,空闲内存只剩 161 MB,再一波流量就可能 OOM 了。不过这次不一样,报告没有停在“内存高了”,命中的一刻,memgraph(SysOM 内置的内存深度分析工具)深度诊断被自动串起来,答案直接摆在了下一屏。巡检和诊断定位到,用户的 python 进程独占 12.95 GB 匿名内存,占系统总内存约 83%,是本次内存飙高的直接原因,TOP10 里其他所有进程加起来还不到 600 MB,可以直接排除“零散占用叠加”的可能。小林现在只需要确认这个 python 进程是不是预期行为,如果不是,一个 kill 就能把 12 GB 内存还回来。从叫醒到处置,时间从四十分钟压到不到五分钟,这差距可太大了!

真正省下来的,不止是那几十分钟

凌晨被叫醒的代价可不止是几十分钟的加班。它还包括值班同学第二天下午三点就开始的困倦,拉群时被打扰的另外五个人的注意力,业务方那句“是不是又出事了”背后的信任消耗,还有高峰窗口下每一秒的不确定性。这些成本很难算清,但每个做过运维的人都心里有数。把这些成本乘以一年三百六十五天,再乘以团队规模,就是稳定性投入真正的账本。SysOM 巡检 Skill 想改变的,不是那几十分钟本身,而是它背后那个“依赖个人经验、依赖临场发挥、依赖谁今晚比较清醒”的模式,它要把运维经验变成组织能力。

巡检本来应该回答什么问题

很多团队在巡检领域深耕多年,解决了“有没有异常”的基础发现问题。但在真实运维场景中,当告警响起时,一线同学更关注三个进阶问题:这个异常的严重程度如何?最可能的根因在哪里?下一步该由谁采取什么行动?SysOM 巡检 Skill 就是为了把解答这三个问题的能力前置,融入巡检环节本身。目前产品已覆盖 40 余项巡检能力,横跨系统负载、内存使用率、磁盘读写时延、调度延迟、文件句柄、线程资源、根分区与 inode、socket leak、tcp/udp 内存、多类内存泄漏风险等维度,从基础性能指标到内核态风险,将引发故障的关键信号全面纳入巡检视野。对高风险场景,它不是发出提示就完事,而是自动联动 SysOM 诊断 Skill,覆盖负载、内存、网络、磁盘、调度等多个操作系统子系统,把排查链路一路串到根因这一层。内部评测里,异常识别整体准确率在 80% 以上,高风险项的误判率是 0,也就是说,当它告诉你“这里有高风险”的时候,那可绝对不是在喊狼来了。

我们做了一组对照实验

SysOM 巡检 Skill 里沉淀了一套内核专家的排查经验,让 AI 处理 Linux 系统问题时,不用再靠模型自己“想想看”,而是直接调用一套经过验证的排查路径。为了看看这套经验到底管不管用,我们拉了 16 类真实的操作系统故障场景,做了一轮对照评测:一组 Agent 接入 SysOM 巡检 Skill,另一组只靠通用能力硬查。先看效率,面对同一类系统问题,接入 Skill 后的 Agent 在对话轮次、工具调用次数和整体耗时上都大幅下降,不再需要反复尝试、命令拼接,而是直接沿着专家路径一步到位。对于往往需要多人拉群、多工具交叉验证的系统故障来说,这里省下的不只是推理时间,还有一线的注意力和上下文切换成本。再看准确率,整体看,接入 Skill 后的 Agent 在内核类问题的定位准确率上相比基线有明显提升。拆到具体场景,差距尤其集中在那些需要专家判断的方向,像 socket 缓冲区泄漏、vmalloc 内存异常、memcg 基础误判等内核层问题,接入 Skill 后单个场景的准确率提升尤为显著。这也说明,越是依赖专家经验的内核层问题,Skill 提供的价值越大。换句话说,同一套专家能力,我们让它以两种形态存在:向人,它是开箱即用的巡检产品;向 Agent,它是一份能直接调用的能力。不管您正在搭建自己的运维 AI,还是只想用一个现成的巡检服务,都不需要重头累积那些已经被验证过的 Linux 排查经验。

SysOM 巡检 Skill 已开源,欢迎体验

目前,SysOM 巡检 Skill 已在阿里云 Skills 平台开源。该 Skill 中包含完整的排查路径、诊断提示词和相关脚本,可以直接被 Qoder、Claude Code 等常见 Agent 环境加载使用。搭配之前开源的 SysOM 诊断 Skill 一起用,就能跑通“巡检发现问题 → 诊断定位根因 → 给出处置建议”的完整链路,后续两者将一同纳入即将发布的 SysOM 技能包(在 SysOM 技能包正式发布前,巡检 Skill 和诊断 Skill 均可独立安装使用)。安装一行命令就够(以 Qoder 为例),安装完以后,在 Agent 对话里直接发送自己的需求就行,比如“帮我巡检一下 cn - shenzhen 区域的 i - xxx 实例”,Agent 会自动调用 Skill 里的巡检能力,命中高风险项后自动接上 SysOM 的深度诊断,最后输出一份含异常项、关键发现和根因的报告。不同 Agent 宿主的安装方式可以在阿里云 Skills 平台找到。如果您在使用操作系统控制台的过程中,有任何疑问和建议,可以搜索群号:94405014449 加入钉钉群反馈。大家不妨试试这个 SysOM 巡检 Skill,说不定能给运维工作带来意想不到的改变呢!

5分钟搞定开源网络巡检工具:FastAPI+Vue3实战指南(附GitHub源码) 本文提供了一份五分钟快速部署开源网络巡检工具的实战指南。该工具基于FastAPI后端与Vue3前端,专为网络运维工程师设计,旨在自动化执行批量设备信息收集与配置备份等重复性任务,有效提升NetDevOps实践效率。文章详细介绍了从环境准备、依赖安装到核心功能使用的完整流程,并附有GitHub源码。 阅读详情

相关推荐

基于javaweb的巡更巡检管理系统

基于javaweb的巡更巡检管理系统,采用eclipse开发工具,结合前端layui+jquery+css,使用jsp+servlet技术进行编写,数据库采用了mysql,navicat作为管理工具。感兴趣的同学可以交流交流!!!!

qq_43485489的博客 2464

主机安全巡检工具开源

如果你了解字节的Elkeid,那么你可以理解为这是一个同样功能的软件,但支持Linux和Windows两种平台,且使用Python开发。这是一个资产巡检的客户端程序,核心是扫描和监控资产信息,包含Windows和Linux机器的指纹数据获取、实时数据监控,可用于HVV、重保等安全项目实施前的资产巡检。支持的操作系统本软件开源免费,支持二次开发。

赵昕彧 808

巡检管理系统VER A1.0+

巡检管理系统,适用于手持式巡检棒。!!!!!!!!!!!

业务流程巡检拨测(开源工具)

应用运维系统的首要能力是在应用业务流程处理出现宕机、假死、错误或运行缓慢等异常状态时,先于用户发现,并及时通知相关责任人。其主要技术手段是采用软件程序主动模拟用户的操作过程,设置自动化巡检策略,定时主动拨测应用业务流程,采集相关指标。应用运维巡检拨测场景用到的工具和自动化测试工具一样,这类工具一般都支持这两个场景。常用的工具有Blackbox、Apache JMeter、Selenium、Postman等。一、Blackbox1、简介。

QY'UniverseSpace的博客 2555

印尼稻米收成与粮食安全数据集2026年

本数据集收录印度尼西亚2026年水稻收成与粮食安全遥测数据,包含10000条稻米农业收成产量与粮食安全监测记录,围绕印尼国家粮食安全体系中的核心作物水稻展开。稻米是印尼逾两亿人口的主粮,其收成波动直接影响国家粮食安全与进口政策,本数据集将种植区域、收成产量、气候与土壤相关遥测指标整合为结构化表格,可支撑粮食产量预测、收成影响因素分析、区域粮食安全评估与农业政策模拟等研究任务。典型应用场景包括:农业时间序列产量预测模型构建、气候因子与水稻收成的关联分析、省份与地区层面的粮食自给率测算、粮食安全风险预警指标设计,也可作为农业经济、粮食政策与数据科学交叉课程的教学素材。数据为2026年最新版,规模约1.2MB、单CSV结构规整,字段命名清晰,适合Python、Pandas、Scikit-learn等主流工具链直接使用,便于开展探索性分析、可视化与机器学习全流程练习。重要说明:本数据为遥测整理数据,分析结论以数据集文档口径为准,农业决策请结合官方统计综合研判。许可:CC0公有领域,可自由使用与二次分发。

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

我的开源项目-AI自生成系统巡检报告项目简介

在介绍AutoGenInspection架构前,我想先简要提及基于规则的系统架构(Rule-Based System Architecture)。在软考系统架构师的学习内容中,包含有基于规则的系统架构的学习,于是我也简单对此架构风格拓展学习了下。基于规则的系统架构是一种以规则集为核心,通过规则引擎来执行和处理业务逻辑的系统设计方法。在这种架构中,规则通常以明确的、可执行的语句形式定义,这些规则可以被系统中的规则引擎解释和执行。基于规则的系统架构广泛应用于决策支持系统、业务流程自动化、知识管理系统等领域。

wend的博客 3348

智慧环保生态保护行业可信数据空间应用规划方案(技术方案版).pptx

智慧环保生态保护行业可信数据空间应用规划方案(技术方案版).pptx

IT运维_批量设备配置或巡检工具:一键简化运维任务

IT运维_批量设备配置或巡检工具:一键简化运维任务 去发现同类优质开源项目:https://gitcode.com/ 随着企业网络规模的不断扩大,IT运维人员面临着越来越复杂的设备配置与巡检任务。在这样的背景下,一款高效、稳定的IT运维工具显得尤为重要。今天,我们就来介绍一款开源的IT运维_批量设备配置或巡检工具,帮助您轻松应对日常运维工作。 项目介绍 IT运维_批量设备配置或巡检工具是一款面向I...

gitblog_06706的博客 757

MCGS的Http协议驱动,支持http协议

硬件配置 参数设置 设备属性 设备命令 通讯状态 附录 #HTTP 1、 设备简介 驱动类型 该驱动为独立设备,直接添加构件即可,不需要挂载到父设备下 通讯协议 采用标准HTTP1.1协议 通讯方式 驱动构件为客户端。 2、 硬件连接 本软件在通讯之前,请保证通讯连接正确。通讯连接方式:采用标准的RJ45接口的以太网接线(对调网线或使用HUB交换)。 3、 设备通讯参数 本设备为独立设备,无父设备参数 4、 设备构件参数设置 “HTTP设备”参数设置如下: <1> 内部属性: 构建url信息。 <2> 最小采集周期:本软件对设备进行操作的时间周期,单位为ms,默认为100ms。 <3> 通讯等待时间:通讯数据接收等待时间,默认设置为200ms,当采集速度要求较高或数据量较大时,设置值可适当减小或增大。 <4> HttpHead:http head添加需要的字段,不需要添加http head时值为空,默认不添加。 5、 设备命令 本设备构件提供设备命令,用于进行相应的操作,设备命令的格式如下: 设备命令 命令介绍 GetHttpHead 格式1 GetHttpHead(headStr) 用途 获取http head参数 参数 headStr 参数可以为字符型变量、字符串常量 例1 !SetDevice(设备0,6,"GetHttpHead(headStr)") 获取http head数据保存到headStr中 SetHttpHead 格式1 SetHttpHead(headStr) 用途 设置http head参数 参数 headStr 参数可以为字符型变量、字符串常量

视觉SLAM的前段后端最详细的梳理(硕士入门知识框架更新)

文章目录视觉SLAM的组成结构视觉里程计(VO)-特征点法 -构建稀疏点云地图-直接法 -构建稠密或半稠密的地图 --需要使用 RGB-D 传感器视觉里程计--总结:SLAM 后端研究滤波器法非线性优化后端方式的差异(有五种优化方式):单目视觉里程计的初始化:运动估计:半直接法运动估计的优化方案:关于解决累计误差的一些方法:关键帧的建图及后端优化:特征的深度估计:图优化的后端研究:视觉与IMU融合的分类:视觉与IMU的融合的优势:存在的问题:优秀的开源: 视觉SLAM的组成结构 视觉里程计(VO) -特

DC 6812

凌晨告警不再慌!SysOM 巡检 Skill 一键锁定根因

让 Agent 既能事后止损,更能事前预防。

2501_92986951的博客 157

手写Socket Web服务器:深入HTTP协议底层原理

HTTP协议是Web通信的基石,其本质是一套严格定义的文本格式与状态交互规范。理解它需回归传输层——TCP连接建立、请求响应格式(如状态行、头/体分隔符\r\n\r\n)、字符编码与字节长度一致性等核心原理。这些知识直接决定CORS拦截、中文乱码、Content-Length错误等高频问题的排查效率。在现代框架封装日益厚重的今天,亲手用Socket实现一个可被Chrome识别的极简Web服务器,成为掌握Web运行机制最有效的实践路径。本文即以DebugLZQ经典案例为蓝本,还原从URI解析、DNS查询、So

weixin_40192258的博客 535

Linux 服务器日常巡检脚本分享

关注「开源Linux」,选择“设为星标”回复「学习」,有我为您特别筛选的学习资料~Linux 系统日常巡检脚本,巡检内容包含了,磁盘,内存cpu进程文件更改用户登录等一系列的操作 ...

关注微信公众号【开源Linux】,后台回复『10T』,领取10T学习资源大放送,涵盖Linux、虚拟化、容器、云计算、网络、Python、Go等书籍和视频 1102

自动化革命:AI在需求分析、代码生成与测试中的深度应用

在2025年的科技浪潮中,人工智能(AI)已不再是实验室中的概念,而是深度渗透至软件开发的全生命周期。从需求分析的精准捕捉,到代码生成的自动化创作,再到测试环节的智能覆盖,AI正以革命性姿态重塑软件工程的核心环节。本文将结合2025年最新数据与行业实践,解析AI如何在这三大领域实现深度应用。

1512

随机森林模型及案例(Python)

1 集成模型简介 集成学习模型使用一系列弱学习器(也称为基础模型或基模型)进行学习,并将各个弱学习器的结果进行整合,从而获得比单个学习器更好的学习效果。 集成学习模型的常见算法有Bagging算法和Boosting算法两种。 Bagging算法的典型机器学习模型为随机森林模型,而Boosting算法的典型机器学习模型则为AdaBoost、GBDT、XGBoost和LightGBM模型。 1.1 Bagging算法简介 Bagging算法的原理类似投票,每个弱学习器都有一票,最终根据所有弱学习器的投

qq_42433311的博客 4万+

几个开源的运维管理系统介绍

国内开源运维管理平台 OWS OWS是Open Web SA的简称,意指开放的web运维管理系统。 OWS是由Open Web SA开发团队,针对目前服务器运维、监控和报警提出的一个开源、易用的Linux服务器运维管理平台。 OWS是一个基于《GPLv2协议》永久开源,并且可以免费下载和使用的运维管理软件。 OWS感谢有您的一路支持,如果您有建议可以发表到社区的建议专版

Enweitech Software Works 13万+

DDPM代码详细解读(2):Unet结构、正向和逆向过程、IS和FID测试、EMA优化

Diffusion Models专栏文章汇总:入门与实战 前言:大部分DDPM相关的论文代码都是基于《Denoising Diffusion Probabilistic Models》和《Diffusion Models Beat GANs on Image Synthesis》贡献代码基础上小改动的。官方的DDPM是tensorflow TPU版本,暂时没有GPU的版本。上一篇文章介绍了数据集加载,超参数的含义、关键参数的计算方法等,这一篇重点解读一下网络结构。 目录 EMA优化 训练目标.

沉迷单车的追风少年 1万+

KubeSphere 开源 KubeEye:Kubernetes 集群自动巡检工具

为什么开源 KubeEye Kubernetes 作为容器编排的事实标准,虽然架构优雅功能也非常强大,但是 Kubernetes 在日常运行过程中总会有一些疑难杂症和隐性的问题让集群管理员和 Yaml 工程师们非常头疼, 基础设施守护进程问题:ntp 服务中断; 硬件问题:如 CPU,内存或磁盘异常; 内核问题:内核死锁,文件系统损坏; 容器运行时问题:运行时守护进程无响应; ··· 这样的问题还有很多,并且这些隐性的异常问题对集群的控制面来说是不可见的,因此 Kubernetes 将继续将 Pod 调

KubeSphere 2487

Backtrader官方中文文档:第四章Concepts基本概念

官方Concepts章节:https://backtrader.com/docu/concepts/

汇渊科技 2603

PyCharm 怎么不升级直接使用Jupyter Notebook

在PyCharm 中需要升级到 PyCharm Professional 版本,才能直接使用 Jupyter Notebook。从截图来看,Jupyter Notebook 已经成功启动,并且正在运行。这将在默认网络浏览器中打开一个新的标签页,显示文件浏览器界面。可以在这里创建和编辑。文件添加到 PyCharm 项目中,并使用纯文本编辑功能进行修改。支持与外部工具集成,可以配置它以调用命令行工具或脚本来启动。,参数可以根据需要设置,工作目录设置为项目根目录。,你仍然可以在本地环境中安装和运行。

Davina_yu的博客 1000

巡检服务

    巡检管理服务是指服务商对客户的IT应用系统、业务系统及相关设备进行周期性、主动性的健康检查服务,旨在及时发现已有或潜在问题,提出改进建议和措施,防止故障的发生。     围绕巡检服务管理的目标进行巡检服务规划,组建巡检服务团队,监理巡检服务管理制度及规范。巡检计划管理     服务工具需要对所有计划巡检的项目进行统一的管理,提前做好工作计划安排,包括时间计划、人员安排、工具配置和预算计划...

程序员杂谈 4244

点云数据处理:体素滤波算法

体素滤波是一种简单而有效的点云数据处理方法,可用于去除离群点和平滑点云表面。体素滤波是一种常用的点云数据处理算法,用于去除离群点并平滑点云表面。在本文中,我们将介绍CloudCompare和PCL(Point Cloud Library)中的体素滤波算法,并提供相应的源代码示例。PCL是一个专门用于点云处理的开源库,提供了一系列高效的点云处理算法和工具。然后,我们创建了一个。方法执行体素滤波,并将滤波后的点云保存为"filtered_cloud.ply"文件。方法来执行体素滤波,指定体素大小为0.01。

ZyqfCss的博客 390

开源软件执照检查和工具探讨(Discuss the audit tools for open source license GPL/LGPL/MIT)

1前言 Open source 的代码越来越多的被商业化应用起来,有时候,项目的构建里面开源代码会引用一堆开源代码,而这些开源代码的软件执照并不相同。最恶劣的情况就是,你不小心在你的商用软件里面增加了一个GPL的开源库,然后,还被竞争的对手或者被自由软件基金会给发现并起诉了,那么好了,也许你将不得不开源你所有的代码或者面临一场软件的所有权官司。如何解决这个问题? 2 一个实际的开源代码遇到的问

山云的专栏 4203

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

遵循CIS Docker Benchmarks规范的开源巡检脚本(内附CIS Docker Benchmarks PDF下载)

1CIS是什么?CIS[1]即Center for Internet Security (CIS) 为安全基准计划提供了定义明确、公正、基于一致性的行业最佳实践来帮助组织评估和增强其安全性...

Marionxue 1104

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

上一篇: 具身智能“世子之争”:宇树、智元IPO对垒,谁能成真正王者?
下一篇: 无需数学背景!《程序员的逻辑》助中高级程序员解锁软件设计酷炫技术
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值