xcat快速入门&工作流程指南

使用xCAT安装部署Linux以及Windows操作系统 xCAT (Extreme Cloud Administration Toolkit) 是一个开源的可扩展的高级集群管理和配置工具,允许使用者通过一个单点控制和管理一个集群系统。 xCAT 的工作流程:xCAT 是基于客户机 / 服务器架构的应用程序,客户端和服务器端的通信主要是由管理节点上运行的 xCAT daemon(xcatd)来控制的,可以说运行于管理节点上的 xCAT daemon(x 阅读详情
AI摘要

该文提供了一步一步的教程,介绍如何使用xCAT工具在15分钟内设置管理系统并管理基于红帽操作系统的IPMI裸机服务器。首先,文章列出了先决条件,包括服务器配置和网络设置。接着,详细说明了如何准备管理节点,禁用SELinux,设置静态IP和DNS。然后,通过定义计算节点,配置DNS,实现带外BMC接口控制。最后,文章阐述了预配节点的过程,包括配置DHCP,复制ISO内容,启动磁盘操作系统部署,并监控安装过程。此外,还介绍了使用并行命令管理多个节点的方法。



一、快速入门指南

xCAT 可以是一个全面的系统,用于管理数据中心、裸机服务器、交换机、PDU 和操作系统发行版中的基础架构元素。本快速入门指南将指导您在 15 分钟内设置 xCAT 系统并管理具有基于红帽的分发的 IPMI 托管裸机服务器。

下面的步骤将集中在RHEL7上,但是它们应该适用于其他发行版,例如CentOS,SLES等,详细信息操作系统和硬件支持矩阵

一、先决条件

假设有两台名为xcatmn.mydomain.com和
cn1.mydomain.com 的服务器。

1.它们位于同一子网192.168.0.0中
2.cn1.mydomain.com具有可以访问自己的 BMC:xcatmn.mydomain.com

基板管理控制器(Baseboard Manager Controller,简称BMC)。

3.xcatmn.mydomain.com安装了红帽操作系统,并使用了 IP 192.168.0.2
4.xcatmn.mydomain.com可以访问互联网。
5.cn1.mydomain.com的BMC IP 地址是10.4.40.254
6.准备一张完整的 DVD 用于操作系统配置,而不是 LiveCD ISO,对于此示例,将使用RHEL-7.6-20181010.0-Server-x86_64-dvd1.iso,您可以从红帽网站下载它。

LiveCD 能够使你在不安装到硬盘的前提下,体验操作系统。大多数 Linux 桌面发行版都提供 LiveCD,这是宣传自己的一种很有效的方式。

以下所有步骤都要在xcatmn.mydomain.com中执行

二、准备管理节点xcatmn.mydomain.com

1.禁用 SELinux:

echo 0 > /selinux/enforce
sed -i 's/^SELINUX=.*$/SELINUX=disabled/' /etc/selinux/config

2.将主机名设置为:xcatmn.mydomain.com

hostname xcatmn.mydomain.com

3.在文件/etc/sysconfig/network-scripts/ifcfg-<proc_nic>中将 IP 设置为静态
4.更新/etc/resolv.conf中的DNS设置,确保节点可以访问github和xcat官网
5.将任何域搜索字符串和名称服务器配置到文件/etc/resolv.conf
6.在/etc/hosts里面加入xcatmn

192.168.0.2 xcatmn xcatmn.mydomain.com

7.安装xcat

wget https://raw.githubusercontent.com/xcat2/xcat-core/master/xCAT-server/share/xcat/tools/go-xcat -O - >/tmp/go-xcat
chmod +x /tmp/go-xcat
/tmp/go-xcat --yes install
source /etc/profile.d/xcat.sh

8.设置计算节点root系统密码

chtab key=system passwd.username=root passwd.password=abc123

三、第1阶段:添加你的第一个节点并且用带外BMC接口控制它

1.定义计算节点:cn1:

mkdef -t node cn1 --template x86_64-template ip=192.168.0.3 mac=42:3d:0a:05:27:0c bmc=10.4.40.254 bmcusername=USERID bmcpassword=PASSW0RD

2.配置DNS:

makehosts cn1
makedns -n

3.检查 cn1硬件控制:

cn1 电源管理:

rpower cn1 on
rpower cn1 state
cn1: on

cn1 固件信息:

rinv cn1 firm
cn1: UEFI Version: 1.31 (TDE134EUS  2013/08/27)
cn1: Backup UEFI Version: 1.00 (TDE112DUS )
cn1: Backup IMM Version: 1.25 (1AOO26K 2012/02/23)
cn1: BMC Firmware: 3.10 (1AOO48H 2013/08/22 18:49:44)

四、第 2 阶段 预配节点并使用并行 shell 对其进行管理

1.为了进行 PXE 引导,您需要一个 DHCP 服务器来分发地址并将引导系统定向到 TFTP 服务器,在那里它可以下载网络引导文件。配置 DHCP:

makedhcp -n

2.将分发 ISO 的所有内容复制到目录/install中,创建操作系统存储库和操作系统映像以进行操作系统配置:

copycds RHEL-7.6-20181010.0-Server-x86_64-dvd1.iso

copycds之后,将自动生成相应的基本osimage。稍后,可以自定义目标计算节点的包列表或后记。列出生成的图像:

lsdef -t osimage

3.用xcatprobe预检查 xCAT 管理节点是否已准备好进行操作系统预配:

xcatprobe xcatmn
[mn]: Checking all xCAT daemons are running...                                      [ OK ]
[mn]: Checking xcatd can receive command request...                                 [ OK ]
[mn]: Checking 'site' table is configured...                                        [ OK ]
[mn]: Checking provision network is configured...                                   [ OK ]
[mn]: Checking 'passwd' table is configured...                                      [ OK ]
[mn]: Checking important directories(installdir,tftpdir) are configured...          [ OK ]
[mn]: Checking SELinux is disabled...                                               [ OK ]
[mn]: Checking HTTP service is configured...                                        [ OK ]
[mn]: Checking TFTP service is configured...                                        [ OK ]
[mn]: Checking DNS service is configured...                                         [ OK ]
[mn]: Checking DHCP service is configured...                                        [ OK ]
... ...
[mn]: Checking dhcpd.leases file is less than 100M...                               [ OK ]
=================================== SUMMARY ====================================
[MN]: Checking on MN...                                                             [ OK ]

4.启动磁盘操作系统部署:

rinstall cn1 osimage=rhels7.6-x86_64-install-compute

5.监控安装过程

makegocons cn1
rcons cn1

注意:Ctrl+e/c会断开操作台链接.

5-10 分钟后,验证预配状态是否为:booted:
lsdef cn1 -i status
Object name: cn1
status=booted

用xdsh检查 cn1操作系统版本,操作系统预配是否成功:


xdsh cn1 more /etc/*release
cn1: ::::::::::::::
cn1: /etc/os-release
cn1: ::::::::::::::
cn1: NAME="Red Hat Enterprise Linux Server"
cn1: VERSION="7.6 (Maipo)"
... ...

二:工作流程指南

如果 xCAT 看起来适合您的要求,建议按照以下步骤设置 xCAT 群集。

1. 查找 xCAT 管理节点的服务器

  • 服务器可以是裸机服务器或虚拟机。选择服务器的主要因素是群集中的计算机数量。集群越大,服务器的性能需要更好。

  • 建议 xCAT 管理节点的架构与集群中的目标计算节点相同。

2. 在所选服务器上安装 xCAT

  • 安装 xCAT 的服务器将是xCAT 管理节点。

  • 请参阅 doc:xcat安装指南,了解如何在服务器上安装 xCAT。

  • 请参阅 doc:xCAT 管理员指南以了解如何管理 xCAT管理服务器。

3. 发现聚类中的目标计算节点

在管理目标节点之前,在 xCAT 数据库中定义目标节点。

  • 对于小型簇(小于 5 个),您可以逐个收集目标节点的信息,然后通过命令mkdef 手动定义。
  • 对于较大的簇,可以使用自动方法来发现目标节点。发现的节点将定义为 xCAT 数据库。您可以使用lsdef来显示它们。
  • 请参阅 doc:xCAT 发现指南,了解如何发现和定义计算节点。

4. 对目标计算节点执行硬件控制操作

  • 验证已定义节点的硬件控制。
    .e.g.
rpower <node> stat.
  • 请参阅文档:硬件管理以了解如何执行远程硬件控制。

5. 在目标节点上部署操作系统

  • 准备操作系统映像
  • 自定义操作系统映像(可选)
  • 执行操作系统部署
    请参阅文档:磁盘安装,无磁盘安装,了解如何为目标节点部署操作系统。

6. 部署后更新操作系统

  • 您可能需要在操作系统部署后更新某些目标节点的操作系统,请尝试updatenode命令.updatenode命令可以为目标节点执行以下任务:

    • 为目标节点安装其他软件/应用程序
    • 将一些文件同步到目标节点
    • 为目标节点运行一些后记
  • 请参考 doc:Updatenode了解如何使用命令。

7. 运行并行命令

  • 管理具有数百或数千个节点的集群时,可能需要在多个节点上并行操作。xCAT 为此提供了一些并行命令。
    • 并行shell
    • 并行copy
    • 并行ping
  • 请参阅并行命令以了解如何使用并行命令。

8. 为 xCAT 做出贡献(可选)

  • 在使用 xCAT 时,如果您发现可以改进的内容(代码、文档等),并且您想将其贡献给 xCAT,请这样做是为了您和其他 xCAT 用户的利益。欢迎来到xCAT社区!

  • 请参阅开发人员,了解如何为 xCAT 社区做出贡献。

XCAT的安装与简单使用 XCAT在Windows下的简单使用 阅读详情

相关推荐

保姆级教程:用XCAT在CentOS 7.9上快速搭建你的第一个HPC/计算集群

本文提供了一份详细的保姆级教程,指导用户如何在CentOS 7.9上使用XCAT快速搭建高性能计算集群(HPC)。教程涵盖了从环境准备、XCAT安装、基础服务配置到计算节点管理的全过程,特别适合运维工程师和学生快速上手集群部署与管理。

java 学习 640

XCAT部署集群指南

xCAT 是一个集群管理工具,xCAT 能提供云、集群、HPC、系统网络、数据中心、在线游戏基础设施的管理。xCAT 使管理员能够: 1 发现硬件服务器 2 执行远程系统管理 3 在物理机或虚拟机上配置操作系统 4 准备机器的 Diskful(有状态)和 Diskless(无状态) 5 安装和配置用户应用程序 6 并行系统管理。

hackermengzhi的博客 2823

XCAT集群管理从入门到精通:手把手教你配置NTP、DNS和节点定义(附完整命令清单)

本文详细介绍了XCAT集群管理的核心配置方法,包括NTP时间同步、DNS系统搭建和异构节点定义。通过实战演示和完整命令清单,帮助用户快速掌握XCAT部署技巧,提升集群管理效率,特别适合实验室和开发测试环境使用。

java 学习 415

xCAT工具部署与踩坑记录

xCAT一个开源的可扩展的高级集群管理和配置工具,允许使用者通过一个单点控制和管理一个集群系统,管理者可以通过该工具批量管理裸金属服务器、虚拟机,可以批量分发安装操作系统,包括linux和windows等,并实现分发过程的高度自定义

R★F的博客 3529

保姆级教程:用XCAT在CentOS 7.9上快速搭建你的第一个计算集群(含NTP/DNS避坑指南)

本教程详细介绍了如何使用XCAT在CentOS 7.9上快速搭建计算集群,包括环境准备、XCAT安装、核心服务配置(NTP/DNS)及计算节点部署。特别针对NTP时间同步和DNS配置中的常见问题提供解决方案,帮助用户轻松完成集群搭建和管理。

java 学习 512

XCAT集群管理实战:从PXE批量部署到自动化运维

在数据中心与超算集群规模持续扩大的背景下,传统手工安装操作系统的模式已无法满足高效交付的需求。批量部署作为基础设施自动化的核心环节,依赖PXE网络引导、DHCP动态分配、TFTP文件传输等基础协议协同工作,实现裸机从加电到系统就绪的全流程无人值守安装。XCAT(Extreme Cloud Administration Toolkit)作为IBM开源的集群管理工具,正是将这些底层协议整合为统一节点定义、镜像管理与批量操作框架的代表性方案。它支持osimage镜像定制、noderange批量控制、电源管理与并行

weixin_30647423的博客 347

使用xcat 简化AIX集群的部署和管理

xCAT 简介 xCAT (Extreme Cloud Administration Toolkit) 是一个开源的可扩展的高级集群管理和配置工具,允许使用者通过一个单点控制和管理一个集群系统。xCAT 最先是为 IBM xSeries 系列 Linux Cluster 做的第三方软件。它在简化集群管理的同时,还使集群能够方便地实现快速扩展,从而提高了系统管理员的工作效率。 值得一提的

YonghuaQin的专栏 2871

xCat部署及分发操作系统

一、环境准备 此次安装部署均在VMware虚拟机上运行。系统采用通用稳定的centos7系统,移植到其他(linux)系统应该问题不大。软件服务器的VMware虚拟机的创建部分就跳过了.注意事项: 1.虚拟机的网络采用NAT模式 2.虚拟的DHCP关闭,否则和xcat的DHCP冲突 2.2系统内核优化,使用脚本优化(管理节点操作) 2.3配置主机名(管理节点操作) 2.4禁用防火墙 三、部署NTP时间服务器 1.NTP服务端+客户端crontab定时器定时执行ntpdate同步时间 2.NTP服务端

十八闲客的博客,专注于大数据运维 624

xCAT初始安装笔记

快速记录下自己在虚拟机安装xCAT的过程,仅供参考。 1. 下载、安装xCAT安装包,包括 core &amp; dep http://xcat.org/download.html,当前最新版本2.13.8,core和dep版本一致。 xcat-core-2.13.8-linux.tar.bz2 xcat-dep-2.13.8-linux.tar.bz2 2. 创建安装路径并解压 mkdir -p ~/xcat cd ~/xcat/ mv ../xcat* ./ tar jxvf xcat-core-2.1

ShawnTheCoder的博客 1318

RK3588+TRL8367s四网口千兆交换机硬件调试与DTS配置实战

本文详细介绍了基于RK3588处理器与RTL8367S交换机芯片构建四网口千兆交换设备的硬件调试与DTS配置实战。文章深入对比了MDIO与SMI两种通讯方式的配置差异,提供了详尽的设备树代码示例,并总结了常见问题的排查思路,旨在帮助开发者高效完成嵌入式网络设备的软硬件集成与调试工作。

weixin_28308325的博客 469

紫光同创PGL50H开发板实战:盘古50KN网口板的高速通信与数据处理

本文详细介绍了紫光同创PGL50H开发板(盘古50KN网口板)在高速通信与数据处理领域的实战应用。文章从开箱、核心芯片解析、开发环境搭建入手,重点讲解了如何配置与测试其8路千兆以太网接口和SFP光纤接口,并深入探讨了FPGA与DDR3协同进行多路数据汇聚处理的系统架构与调试方法,为网络通信与高速数据处理系统开发提供了宝贵的实践经验。

weixin_28256233的博客 452

xCAT 简介

xCAT (Extreme Cloud Administration Toolkit) 是一个开源的可扩展的高级分布式集群管理和配置工具,允许使用者通过一个单点控制和管理一个集群系统。它在简化集群管理的同时,还使集群能够方便地实现快速扩展,从而提高了系统管理员的工作效率。xCAT对高性能计算机群(HPC clusters)、集群渲染(RenderFarms)、网格计算(Grids)、大型站点(We

xCAT系统管理专栏 7577

Hopf振荡器在机器人步态控制里到底怎么用?一个CPG仿生案例说清楚

本文深入解析了Hopf振荡器在机器人步态控制中的实际应用,通过CPG仿生案例详细展示了从数学方程到关节指令的完整流程。重点探讨了Hopf振荡器的极限环稳定性、参数调节技巧及自适应控制策略,为机器人运动控制提供了高效解决方案。

weixin_29284657的博客 202

【亲测免费】 xCAT 项目安装与使用教程

xCAT 项目安装与使用教程 1. 项目介绍 xCAT(Extreme Cloud Administration Toolkit)是一个用于部署和管理大规模集群的工具包。它支持多种操作系统和硬件平台,能够自动化完成从裸机到完全配置的集群环境的部署过程。xCAT 提供了丰富的命令行工具和 API,使得集群的管理和维护变得简单高效。 2. 项目快速启动 安装 xCAT xCAT 可以通过 go-xca...

gitblog_00011的博客 1414

STM32笔记:高精度脉冲宽度计 双输入捕获+DMA方式

本文介绍如何用STM32F107VC实现高精度的脉冲宽度计(测量周期脉冲的占空比)。 采用定时器的外部输入捕获功能,双输入+DMA方式,追求硬件的极限表现。

st01lsp的专栏 5289

【软件测试】人工智能(AI)在软件测试领域的应用

AI在软件测试领域的应用使测试过程更加自动化、高效和智能。它可以帮助测试团队减轻负担,更快地识别和修复问题,最终提高软件的质量和可靠性。随着AI技术的不断进步,未来AI在软件测试领域的应用将更加广泛和深入。

weixin_46453070的博客 4385

使用 xCAT 简化 AIX 集群的部署和管理

使用 xCAT 简化 AIX 集群的部署和管理 基于 IBM® Power 520 Express® (8203-E4A) 的实践 本文主要介绍了 xCAT 软件的工作原理,并且通过在 IBM® Power 520 Express® (8203-E4A) 上的实践, 演示了如何使用 xCAT 来简化 AIX 集群的安装和管理的具体方法和步骤,方便 AIX 集群使用者了解

yu132563的专栏 2632

OceanBase全局索引深度解析:分布式环境下的高效索引设计与实战优化指南

全局索引(Global Index)是OceanBase数据库在分布式环境中提供的一种跨分区、跨服务器的索引结构,它允许用户创建跨越多个分区的索引,为分布式查询提供高效的数据访问路径。与局部索引(Local Index)不同,全局索引不是与表分区一一对应的,而是作为一个独立的逻辑结构存在。 在分布式数据库系统中,全局索引解决了以下几个关键问题: 跨分区查询性能:当查询条件不包含分区键时,全局索引可以避免全表扫描 唯一性约束维护:全局索引能够保证索引键在全局范围内的唯一性 分布式事务支持:全局索引与主表数

本博客聚焦 YOLOv11 全流程落地,涵盖架构优化、数据集处理、训练技巧与多场景部署,兼及国产数据库、Java 开发与 AI 模型应用,内容兼顾理论与工程实践,为开发者提供系统干货,助力高效提升技术能力。 717

Linux安装集群管理软件xCAT

1 下载软件 xcat-core     http://xcat.sourceforge.net/#download 下载 xcat-dep   http://xcat.sourceforge.net/#download 2 在管理节点上 mkdir -p /install/src cd /install/src tar

记事本 1809

mabl:AI原生测试自动化平台的基础使用

mabl是一个基于人工智能和机器学习的云原生测试自动化平台。它通过使用先进的技术,如机器学习,自动创建和执行测试,自动分析测试结果,并根据需求的变化自动适配和维护测试。这样的自动化过程极大地提高了软件测试的效率和准确性。mabl的口号是 “You write code, mabl tests”,意味着开发者只需关注编写代码,而测试工作则可以交给mabl来完成。mabl的平台支持多种测试类型,包括 Web、App、Api、可访问性和性能测试,使得团队能够更快速、更有信心地发布软件。

blues_C的博客 3657

FTU电科院检测学习笔记-规划

如果写到最后,还非常的有动力和兴趣,可能会举出一些特定的例子来,但不保证一定是这样。

sixtome 1101

【亲测免费】 xCAT:大规模集群部署与管理的利器

xCAT:大规模集群部署与管理的利器 项目介绍 xCAT(Extreme Cloud Administration Toolkit)是一款专为大规模集群部署和管理而设计的工具包。无论您是管理一个小型实验室集群,还是一个大型的数据中心,xCAT 都能为您提供强大的支持。通过 xCAT,您可以轻松地进行节点配置、操作系统部署、集群监控和管理等操作,极大地简化了集群管理的复杂性。 项目技术分析 xCAT...

gitblog_00875的博客 874

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

freeswitch 集群_xCAT在集群管理中的应用

xCAT (Extreme Cloud Administration Toolkit) 是一个开源的可扩展的高级集群管理和配置工具,允许使用者通过一个单点控制和管理一个集群系统。xCAT 最先是为 IBM xSeries 系列 Linux Cluster 做的第三方软件。它在简化集群管理的同时,还使集群能够方便地实现快速扩展,从而提高了系统管理员的工作效率。值得一提的是,xCAT 软件包基本上全部...

weixin_39726873的博客 401

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

【亲测免费】 xcat 开源项目教程

xcat 开源项目教程 项目介绍 xcat 是一个用于快速生成和操作 CSV 文件的命令行工具。它由 Python 编写,旨在提供一种简单而强大的方式来处理 CSV 数据。xcat 支持多种操作,包括合并、分割、过滤和转换 CSV 文件,使其成为数据处理和分析的得力助手。 项目快速启动 安装 xcat 首先,确保你已经安装了 Python 3.6 或更高版本。然后,使用 pip 安装 xcat: ...

gitblog_01101的博客 563

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain&#39;s apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = &quot;R. B. Palm&quot;, title = &quot;Prediction as a candidate for learning deep hierarchical models of data&quot;, year = &quot;2012&quot;,}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath(&#39;DeepLearnToolbox&#39;));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand(&#39;state&#39;,0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W&#39;); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand(&#39;state&#39;,0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = &#39;sigm&#39;;%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er &lt; 0.10, &#39;Too big error&#39;);```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand(&#39;state&#39;,0)sae = saesetup([784 100]);sae.ae{1}.activation_function = &#39;sigm&#39;;sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)&#39;)% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = &#39;sigm&#39;;nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er &lt; 0.16, &#39;Too big error&#39;);```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x&#39;,28,28,60000))/255;test_x = double(reshape(test_x&#39;,28,28,10000))/255;train_y = double(train_y&#39;);test_y = double(test_y&#39;);%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you&#39;ll get around 1.2% errorrand(&#39;state&#39;,0)cnn.layers = { struct(&#39;type&#39;, &#39;i&#39;) %input layer struct(&#39;type&#39;, &#39;c&#39;, &#39;outputmaps&#39;, 6, &#39;kernelsize&#39;, 5) %convolution layer struct(&#39;type&#39;, &#39;s&#39;, &#39;scale&#39;, 2) %sub sampling layer struct(&#39;type&#39;, &#39;c&#39;, &#39;outputmaps&#39;, 12, &#39;kernelsize&#39;, 5) %convolution layer struct(&#39;type&#39;, &#39;s&#39;, &#39;scale&#39;, 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er&lt;0.12, &#39;Too big error&#39;);```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand(&#39;state&#39;,0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er &lt; 0.08, &#39;Too big error&#39;);%% ex2 neural net with L2 weight decayrand(&#39;state&#39;,0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er &lt; 0.1, &#39;Too big error&#39;);%% ex3 neural net with dropoutrand(&#39;state&#39;,0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er &lt; 0.1, &#39;Too big error&#39;);%% ex4 neural net with sigmoid activation functionrand(&#39;state&#39;,0)nn = nnsetup([784 100 10]);nn.activation_function = &#39;sigm&#39;; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er &lt; 0.1, &#39;Too big error&#39;);%% ex5 plotting functionalityrand(&#39;state&#39;,0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = &#39;softmax&#39;; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er &lt; 0.1, &#39;Too big error&#39;);%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand(&#39;state&#39;,0)nn = nnsetup([784 20 10]); nn.output = &#39;softmax&#39;; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er &lt; 0.1, &#39;Too big error&#39;);```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free &quot;Bitdeli Badge&quot;)

告别手动装机!用XCAT在CentOS 7.9上批量部署计算节点的保姆级避坑指南

本文详细介绍了如何使用XCAT在CentOS 7.9上批量部署计算节点,提供从环境准备、核心组件部署到网络服务配置的保姆级指南。重点解析了DHCP与TFTP服务联动、定制kickstart模板的避坑技巧,帮助运维工程师和HPC管理员快速构建自动化部署体系,显著提升集群管理效率。

java 学习 401

xCAT集群管理配置工具

xCAT (Extreme Cloud Administration Toolkit) 是一个开源的可扩展的高级集群管理和配置工具,允许使用者通过一个单点控制和管理一个集群系统。xCAT 最先是为 IBM xSeries 系列 ...

coekaa826620的博客 365
上一篇: xCAT安装指南
下一篇: Python合并文档神器
谁的BUG最难改
博客等级 码龄7年 4779粉丝 113原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

谁的BUG最难改

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值