- 博客(481)
- 收藏
- 关注
原创 OpenShift / RHEL / DevSecOps 汇总目录
文章目录OpenShiftHands-onLabQuarkusGitOpsIstioServiceMesh系列Istio-TutorialServiceMeshKnatvie系列Knative入门Knative-TutorialOpenShiftHands-onLabHands-onLab(0)-教程说明和准备环境Hands-onLab(1)-多种方法部署运行应........................................................
2020-03-23 23:50:58
19106
5
原创 OpenShift - 在本地部署 OpenShift Lightspeed
说明:本文已经在 OpenShift 4.18 + OpenShift Lightspeed 1.0 的环境中验证。
2025-11-10 10:45:04
699
原创 OpenShift Virtualization - 为使用 ovn-k8s-cni-overlay 类型网络的 VM 分配 IP 地址
说明:本文已经在支持 OpenShift Local 4.19 的环境中验证。
2025-10-09 19:23:11
1046
原创 OpenShift Virtualization - 利用 MetalLB 实现基于 LoadBalancer 类型服务从集群外部访问 VM 中的服务
说明:本文已经在支持 OpenShift Local 4.19 的环境中验证。
2025-10-09 09:33:25
1009
原创 RHEL - 在离线的 RHEL 10 中部署 Lightspeed 命令行助手
以下环境为 RHEL 10 或 RHEL 9.6,命令默认使用 root 用户运行。
2025-09-30 16:41:43
811
1
原创 OpenShift Virtualization - 虚机存储的相关概念 DataVolume、CDI 和 StorageProfile
说明:本文已经在 OpenShift 4.18 环境中验证为给虚机提供存储,KubeVirt 在 Kubernetes 的基础上增加了一些存储对象和概念,它们主要包括 DataVolume、CDI、StorageProfile 等。
2025-09-17 16:01:23
1308
原创 OpenShift Virtualization - 创建 Windows 虚拟机
《OpenShift / RHEL / DevSecOps 汇总目录》说明:本文已经在 OpenShift 4.18 环境中验证在点击 Create VirtualMachine 后会自动安装 Windows Server 虚机并安装要求的软件,在完成后可看到下图 Windows 虚机的运行状态。配置可迁移 Windows VM可以看到当前 Windows 虚机的状态为 Not migratable。另外可进入 Windows 虚机的 Diagnstics 栏查看 NotMigratable
2025-09-12 10:37:10
815
原创 OpenShift Virtualization - 使用 OADP 实现虚拟机的 Backup 和 Restore
说明:本文已经在 OpenShift 4.18 + OADP 1.4.5 环境中验证。
2025-09-09 17:55:39
731
原创 红帽 AI 推理服务(vLLM)- 压缩 LLM 模型
例如,提高模型的准确性通常需要更多的参数,这会导致模型变大,并可能使推理速度变慢。根据前面的测试结果可以看到模型优化前后准确性得分分别为 0.6687 和 0.6801,优化后准确性为原始模型的 101.7%。GSM8K 是一个包含超过 8000 个问题及答案的数据集,这些问题是来自小学数学范畴的题目,旨在测试模型解答需要多步推理的基本数学问题的能力。LLM Compressor 是 vLLM 项目提供的模型压缩工具,它提供了一种简单直接的方法,可利用多种优化技术对模型进行压缩。
2025-08-25 10:45:26
999
原创 红帽 AI 推理服务(vLLM)- 评估 LLM 模型性能
本文介绍了评估LLM模型性能的关键指标和测试方法。主要指标包括每秒请求数(RPS)、请求延迟、首次令牌生成时间(TTFT)、令牌间延迟(ITL)和每秒输出令牌数(TPOT)。文章详细说明了如何使用vLLM工具进行性能测试,包括下载Git仓库、安装依赖库和运行基准测试脚本,并展示了测试结果示例,包含吞吐量、延迟等多个维度的性能数据。这些指标和方法对于评估LLM推理服务的实际表现具有重要意义。
2025-08-15 10:24:21
907
原创 红帽 AI 推理服务 (vLLM) - 入门篇
vLLM (Virtual Large Language Model)是一款专为大语言模型推理加速而设计的框架。它是由加州大学伯克利分校 (UC Berkeley) 的研究团队于 2023 年开源的项目,目前 UC Berkeley 和 RedHat 分别是 vLLM 开源社区的两大主要代码贡献方。
2025-08-14 19:59:11
892
原创 OpenShift AI - 用 Hardware profiles 为运行环境分配可用的硬件规格
说明:本文已经在 OpenShift 4.19 + OpenShift AI 2.29 的环境中验证。
2025-08-01 17:08:44
989
原创 OpenShift AI - 匹配 NVIDIA 驱动和 CUDA Toolkit 版本
说明:本文已经在 OpenShift 4.19 + OpenShift AI 2.21 的环境中验证。
2025-08-01 14:58:12
759
原创 OpenShift AI - 将 Python 库安装到 Workbench 共享存储中
如果在 OpenShift AI 中的 Workbench 运行环境中安装 Python 库,默认不会安装到为 Workbench 分配的存储中。在创建 Workbench 的界面中添加以下两个环境变量:PIP_TARGET 和 PYTHONPATH,他们分别指定 pip 命令默认使用的目录和 python 命令默认使用的目录。在 Terminal 中执行以下命令,在分配给 Workbench 的共享存储中创建指定目录,然后在其中安装 Python 库。
2025-07-29 16:21:23
354
原创 OpenShift AI - 使用 NVIDIA Triton Runtime 运行模型
说明:本文已经在 OpenShift 4.18 + OpenShift AI 2.19 的环境中验证。
2025-07-04 17:21:36
1059
原创 OpenShift AI - 用 Open-WebUI 统一访问 OpenShift AI 上的 LLM 模型
说明:本文已经在 OpenShift 4.18 + OpenShift AI 2.19 的环境中验证。
2025-06-30 09:16:29
687
原创 OpenShift AI - 为模型训练定制 Notebook 镜像
如果 OpenShift AI Workbench 的默认镜像没有用户使用的库,或者用户使用的库别于默认镜像提供的库版本,亦或用户需要使用需要使用一些应用程序,但无法直接在运行环境中安装(用户没有 root 访问权限,而这些操作需要 root 访问权限),我们可以为 Workbench 定制 Notebook 镜像已实现定制的需求。
2025-06-03 09:55:30
1049
原创 OpenShift AI - 启用过时版本的 Notebook 镜像
本文介绍了在OpenShift AI 2.19环境中查看可用Notebook镜像的方法。通过控制台可在Workbench或Applications中查看内置镜像,包括TensorFlow 2025.1和2024.2版本,并支持查看镜像所含软件包。RedHat每6个月会升级镜像并淘汰旧版本。命令行方式可通过oc get is查看所有镜像,如TensorFlow还包含2024.1、2023.2等更早版本。文章还提供了检查镜像标签和对应地址的YAML输出示例。
2025-06-01 13:42:35
565
原创 OpenShift AI - 用 ModelCar 构建容器化模型,提升模型弹性扩展速度
OpenShift AI - 用 ModelCar 构建容器化模型,提升模型弹性扩展速度
2025-05-15 11:39:28
800
原创 OpenShift AI - 模型注册管理
说明:本文已经在 OpenShift 4.18 + OpenShift AI 2.19 的环境中验证。
2025-05-07 18:26:29
1117
原创 OpenShift AI - 在 OpenShift 和 OpenShift AI 上运行 LLM 推理服务
说明:本文已经在 OpenShift 4.18 + OpenShift AI 2.19 的环境中验证。
2025-05-07 08:36:33
1252
原创 OpenShift AI - OpenShift 支持的 NVIDIA GPU 共享和分区技术 2
本文已经在 OpenShift 4.18 的环境中验证。
2025-05-06 14:48:31
1043
原创 OpenShift AI - OpenShift 支持的 NVIDIA GPU 共享和分区技术 1
将一个物理 GPU 进行虚拟化,分配给不同的 VM 使用。多个 VM 共享一个物理 GPU 设备来提升 GPU 的使用率。优点缺点MIG 可将单个物理 GPU 划分为多个独立实例,每个实例都有自己的计算资源、内存和性能配置文件,隔离性最高。优点缺点MPS 可用于多个 CUDA 应用程序并发共享单个 GPU。优点缺点时间片技术可将 GPU 资源划分为时间间隔 “切片”,并按顺序分配给不同的用户或进程。优点缺点https://develope
2025-05-06 10:52:20
1063
原创 JBoss EAP 8 - 配置高可用集群
本文介绍 JBoss EAP 高可用集群配置。建议先通过《JBoss EAP 8 - 概念篇》了解 Managed Domai 及相关概念,并通过《JBoss EAP 8 - Standalone 运行模式》掌握初步 JBoss EAP 的配置和操作。
2025-03-31 10:52:54
908
原创 JBoss EAP 8 - 使用 Domain 运行模式
本文介绍以受管域 (Managed Domain) 方式运行的 JBoss EAP。建议先通过《JBoss EAP 8 - 概念篇》了解 Managed Domai 及相关概念,并通过《JBoss EAP 8 - Standalone 运行模式》掌握初步 JBoss EAP 的配置和操作。
2025-03-28 08:26:20
1127
原创 JBoss EAP 8 - 使用 Standalone 运行模式
先将 https://github.com/RedHatQuickCourses/eap-qc-apps/releases/download/eap8-lp/temperature-converter.war 下载到本地。除了可直接修改 EAP_HOME/bin/standalone.conf 文件中的 JBOSS_JAVA_SIZING 参数外,还可通过以下方法设置 JBoss EAP Server 实例的 Java 参数。由于 zip 安装方式支持在离线主机中安装多份运行环境,因此最灵活性。
2025-03-26 14:06:52
1011
原创 JBoss EAP 8 - 概念篇
JBoss EAP 7/8 是符合 Jakarta EE 8/10 规范的 Java 应用服务器。在运行 Java 应用方面 JBoss EAP 的能力和 Weblogic Server 大致相当,但在功能架构方面,两者有部分稍区别。本文主要介绍 JBoss EAP 在功能架构方面的核心概念,尤其是和 Weblogic Server 差异部分。
2025-03-25 16:44:28
1032
原创 RHEL AI (1) - 在 InstructLab 上运行 Granite 模型
它是 IBM 在生成式 AI 和自然语言处理领域的最新成果之一,专注于通过指令(Instruction)驱动的方式提升模型的能力。:在下载的模型中前三个是 GGUF 类型模型,而 granite-embedding-125m-english 是为运行 RAG 而用的 Safetensor 类模型。:本文使用的是社区版 InstructLab。使用 InstructLab 运行和训练 Granite 模型的迭代过程如下图,本文实现的是红色部分的操作。为了运行模型,可以直接下载模型文件,也可以下载模型的镜像。
2025-02-25 14:58:37
753
原创 OpenShift Dev Spaces 7 - 使用 AI 代码生成插件
本文在 OpenShift 4.18 + Dev Spaces 3.18.1 验证。
2025-02-24 08:28:46
952
原创 OpenShift Dev spaces 8 - 在一个 Workspace 中同时开发多个项目
本系列在 OpenShift 4.17 + Dev Spaces 3.17.0 验证。
2025-02-11 14:52:09
343
原创 RHEL故障诊断3 - 为系统配置 Kdump
Kdump 是 Linux 系统中的一种重要机制,用于在系统内核崩溃时收集关键信息以帮助分析问题。当系统出现故障时内核崩溃转储是唯一可用的信息,因此在关键任务环境中运行 Kdump 非常重要。在系统启动时,Kdump 会预留一部分物理内存(称为拯救内核空间),专门用于加载 Kdump 用到的第二个内核。这个备用内核与正常运行的主内核相互独立。当系统出现故障时,Kdump 会使用 kexec 调用启动到第二个内核,即捕获内核,而无需重启。
2025-02-11 14:34:41
753
原创 RHEL故障诊断1 - Kdump 和 core dump 的区别
Kdump 和 core dump 都是当 Linux 出现异常时用来收集信息以帮助分析问题的机制,但它们在适用领域、触发条件、收集内容等方面有明显区别。
2025-02-10 14:15:08
441
原创 RHEL故障诊断5 - 如何分析 sosreport 排除系统故障
它能从sosreport目录中收集系统的bios、os、CPU、内存、网络、存储、kdump等配置信息。在sosreport中的sos_commands/kernel/dmesg文件和var/log/dmesg文件内都包含了Kernel消息,但它们在生成方式和包含的内容范围有所不同。还可在sos_commands/logs中的journalctl_–no-pager文件中查找关键字(如error、panic、oom、reboot等)。
2025-01-20 10:00:30
1532
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅