自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(481)
  • 收藏
  • 关注

原创 OpenShift / RHEL / DevSecOps 汇总目录

文章目录OpenShiftHands-onLabQuarkusGitOpsIstioServiceMesh系列Istio-TutorialServiceMeshKnatvie系列Knative入门Knative-TutorialOpenShiftHands-onLabHands-onLab(0)-教程说明和准备环境Hands-onLab(1)-多种方法部署运行应........................................................

2020-03-23 23:50:58 19106 5

原创 OpenShift - 在本地部署 OpenShift Lightspeed

说明:本文已经在 OpenShift 4.18 + OpenShift Lightspeed 1.0 的环境中验证。

2025-11-10 10:45:04 699

原创 OpenShift Virtualization - 为使用 ovn-k8s-cni-overlay 类型网络的 VM 分配 IP 地址

说明:本文已经在支持 OpenShift Local 4.19 的环境中验证。

2025-10-09 19:23:11 1046

原创 OpenShift Virtualization - 利用 MetalLB 实现基于 LoadBalancer 类型服务从集群外部访问 VM 中的服务

说明:本文已经在支持 OpenShift Local 4.19 的环境中验证。

2025-10-09 09:33:25 1009

原创 RHEL - 在离线的 RHEL 10 中部署 Lightspeed 命令行助手

以下环境为 RHEL 10 或 RHEL 9.6,命令默认使用 root 用户运行。

2025-09-30 16:41:43 811 1

原创 OpenShift Virtualization - 虚机存储的相关概念 DataVolume、CDI 和 StorageProfile

说明:本文已经在 OpenShift 4.18 环境中验证为给虚机提供存储,KubeVirt 在 Kubernetes 的基础上增加了一些存储对象和概念,它们主要包括 DataVolume、CDI、StorageProfile 等。

2025-09-17 16:01:23 1308

原创 OpenShift Virtualization - 创建 Windows 虚拟机

《OpenShift / RHEL / DevSecOps 汇总目录》说明:本文已经在 OpenShift 4.18 环境中验证在点击 Create VirtualMachine 后会自动安装 Windows Server 虚机并安装要求的软件,在完成后可看到下图 Windows 虚机的运行状态。配置可迁移 Windows VM可以看到当前 Windows 虚机的状态为 Not migratable。另外可进入 Windows 虚机的 Diagnstics 栏查看 NotMigratable

2025-09-12 10:37:10 815

原创 OpenShift Virtualization - 使用 OADP 实现虚拟机的 Backup 和 Restore

说明:本文已经在 OpenShift 4.18 + OADP 1.4.5 环境中验证。

2025-09-09 17:55:39 731

原创 红帽 AI 推理服务(vLLM)- 压缩 LLM 模型

例如,提高模型的准确性通常需要更多的参数,这会导致模型变大,并可能使推理速度变慢。根据前面的测试结果可以看到模型优化前后准确性得分分别为 0.6687 和 0.6801,优化后准确性为原始模型的 101.7%。GSM8K 是一个包含超过 8000 个问题及答案的数据集,这些问题是来自小学数学范畴的题目,旨在测试模型解答需要多步推理的基本数学问题的能力。LLM Compressor 是 vLLM 项目提供的模型压缩工具,它提供了一种简单直接的方法,可利用多种优化技术对模型进行压缩。

2025-08-25 10:45:26 999

原创 红帽 AI 推理服务(vLLM)- 运行本地的模型

【代码】红帽 AI 推理服务(vLLM)- 运行本地的模型。

2025-08-15 15:03:34 353

原创 红帽 AI 推理服务(vLLM)- 评估 LLM 模型性能

本文介绍了评估LLM模型性能的关键指标和测试方法。主要指标包括每秒请求数(RPS)、请求延迟、首次令牌生成时间(TTFT)、令牌间延迟(ITL)和每秒输出令牌数(TPOT)。文章详细说明了如何使用vLLM工具进行性能测试,包括下载Git仓库、安装依赖库和运行基准测试脚本,并展示了测试结果示例,包含吞吐量、延迟等多个维度的性能数据。这些指标和方法对于评估LLM推理服务的实际表现具有重要意义。

2025-08-15 10:24:21 907

原创 红帽 AI 推理服务 (vLLM) - 入门篇

vLLM (Virtual Large Language Model)是一款专为大语言模型推理加速而设计的框架。它是由加州大学伯克利分校 (UC Berkeley) 的研究团队于 2023 年开源的项目,目前 UC Berkeley 和 RedHat 分别是 vLLM 开源社区的两大主要代码贡献方。

2025-08-14 19:59:11 892

原创 OpenShift AI - 用 Hardware profiles 为运行环境分配可用的硬件规格

说明:本文已经在 OpenShift 4.19 + OpenShift AI 2.29 的环境中验证。

2025-08-01 17:08:44 989

原创 OpenShift AI - 匹配 NVIDIA 驱动和 CUDA Toolkit 版本

说明:本文已经在 OpenShift 4.19 + OpenShift AI 2.21 的环境中验证。

2025-08-01 14:58:12 759

原创 OpenShift AI - 将 Python 库安装到 Workbench 共享存储中

如果在 OpenShift AI 中的 Workbench 运行环境中安装 Python 库,默认不会安装到为 Workbench 分配的存储中。在创建 Workbench 的界面中添加以下两个环境变量:PIP_TARGET 和 PYTHONPATH,他们分别指定 pip 命令默认使用的目录和 python 命令默认使用的目录。在 Terminal 中执行以下命令,在分配给 Workbench 的共享存储中创建指定目录,然后在其中安装 Python 库。

2025-07-29 16:21:23 354

原创 OpenShift AI - 使用 NVIDIA Triton Runtime 运行模型

说明:本文已经在 OpenShift 4.18 + OpenShift AI 2.19 的环境中验证。

2025-07-04 17:21:36 1059

原创 OpenShift AI - 用 Open-WebUI 统一访问 OpenShift AI 上的 LLM 模型

说明:本文已经在 OpenShift 4.18 + OpenShift AI 2.19 的环境中验证。

2025-06-30 09:16:29 687

原创 OpenShift AI - 为模型训练定制 Notebook 镜像

如果 OpenShift AI Workbench 的默认镜像没有用户使用的库,或者用户使用的库别于默认镜像提供的库版本,亦或用户需要使用需要使用一些应用程序,但无法直接在运行环境中安装(用户没有 root 访问权限,而这些操作需要 root 访问权限),我们可以为 Workbench 定制 Notebook 镜像已实现定制的需求。

2025-06-03 09:55:30 1049

原创 OpenShift AI - 启用过时版本的 Notebook 镜像

本文介绍了在OpenShift AI 2.19环境中查看可用Notebook镜像的方法。通过控制台可在Workbench或Applications中查看内置镜像,包括TensorFlow 2025.1和2024.2版本,并支持查看镜像所含软件包。RedHat每6个月会升级镜像并淘汰旧版本。命令行方式可通过oc get is查看所有镜像,如TensorFlow还包含2024.1、2023.2等更早版本。文章还提供了检查镜像标签和对应地址的YAML输出示例。

2025-06-01 13:42:35 565

原创 OpenShift AI - 模型下载工具

说明:本文已经在 OpenShift 4.18。

2025-05-19 08:39:04 552

原创 OpenShift AI - 用 ModelCar 构建容器化模型,提升模型弹性扩展速度

OpenShift AI - 用 ModelCar 构建容器化模型,提升模型弹性扩展速度

2025-05-15 11:39:28 800

原创 OpenShift AI - 在控制台增加 NVIDIA GPU 监控功能

说明:本文已经在 OpenShift 4.18 的环境中验证。

2025-05-08 08:39:56 971

原创 OpenShift AI - 模型注册管理

说明:本文已经在 OpenShift 4.18 + OpenShift AI 2.19 的环境中验证。

2025-05-07 18:26:29 1117

原创 OpenShift AI - 在 OpenShift 和 OpenShift AI 上运行 LLM 推理服务

说明:本文已经在 OpenShift 4.18 + OpenShift AI 2.19 的环境中验证。

2025-05-07 08:36:33 1252

原创 OpenShift AI - OpenShift 支持的 NVIDIA GPU 共享和分区技术 2

本文已经在 OpenShift 4.18 的环境中验证。

2025-05-06 14:48:31 1043

原创 OpenShift AI - OpenShift 支持的 NVIDIA GPU 共享和分区技术 1

将一个物理 GPU 进行虚拟化,分配给不同的 VM 使用。多个 VM 共享一个物理 GPU 设备来提升 GPU 的使用率。优点缺点MIG 可将单个物理 GPU 划分为多个独立实例,每个实例都有自己的计算资源、内存和性能配置文件,隔离性最高。优点缺点MPS 可用于多个 CUDA 应用程序并发共享单个 GPU。优点缺点时间片技术可将 GPU 资源划分为时间间隔 “切片”,并按顺序分配给不同的用户或进程。优点缺点https://develope

2025-05-06 10:52:20 1063

原创 OpenShift 4 - 卷快照和卷克隆

说明:本文已经在OpenShift 4.18 环境中验证。

2025-04-24 08:40:54 1058

原创 JBoss EAP 8 - 配置高可用集群

本文介绍 JBoss EAP 高可用集群配置。建议先通过《JBoss EAP 8 - 概念篇》了解 Managed Domai 及相关概念,并通过《JBoss EAP 8 - Standalone 运行模式》掌握初步 JBoss EAP 的配置和操作。

2025-03-31 10:52:54 908

原创 JBoss EAP 8 - 使用 Domain 运行模式

本文介绍以受管域 (Managed Domain) 方式运行的 JBoss EAP。建议先通过《JBoss EAP 8 - 概念篇》了解 Managed Domai 及相关概念,并通过《JBoss EAP 8 - Standalone 运行模式》掌握初步 JBoss EAP 的配置和操作。

2025-03-28 08:26:20 1127

原创 JBoss EAP 8 - 使用 Standalone 运行模式

先将 https://github.com/RedHatQuickCourses/eap-qc-apps/releases/download/eap8-lp/temperature-converter.war 下载到本地。除了可直接修改 EAP_HOME/bin/standalone.conf 文件中的 JBOSS_JAVA_SIZING 参数外,还可通过以下方法设置 JBoss EAP Server 实例的 Java 参数。由于 zip 安装方式支持在离线主机中安装多份运行环境,因此最灵活性。

2025-03-26 14:06:52 1011

原创 JBoss EAP 8 - 概念篇

JBoss EAP 7/8 是符合 Jakarta EE 8/10 规范的 Java 应用服务器。在运行 Java 应用方面 JBoss EAP 的能力和 Weblogic Server 大致相当,但在功能架构方面,两者有部分稍区别。本文主要介绍 JBoss EAP 在功能架构方面的核心概念,尤其是和 Weblogic Server 差异部分。

2025-03-25 16:44:28 1032

原创 RHEL AI (2) - 用 InstructLab 训练 Granite 模型

已在 InstructLab 0.24.1 验证。

2025-02-27 13:44:06 1002

原创 RHEL AI (1) - 在 InstructLab 上运行 Granite 模型

它是 IBM 在生成式 AI 和自然语言处理领域的最新成果之一,专注于通过指令(Instruction)驱动的方式提升模型的能力。:在下载的模型中前三个是 GGUF 类型模型,而 granite-embedding-125m-english 是为运行 RAG 而用的 Safetensor 类模型。:本文使用的是社区版 InstructLab。使用 InstructLab 运行和训练 Granite 模型的迭代过程如下图,本文实现的是红色部分的操作。为了运行模型,可以直接下载模型文件,也可以下载模型的镜像。

2025-02-25 14:58:37 753

原创 OpenShift Dev Spaces 7 - 使用 AI 代码生成插件

本文在 OpenShift 4.18 + Dev Spaces 3.18.1 验证。

2025-02-24 08:28:46 952

原创 OpenShift Dev spaces 8 - 在一个 Workspace 中同时开发多个项目

本系列在 OpenShift 4.17 + Dev Spaces 3.17.0 验证。

2025-02-11 14:52:09 343

原创 RHEL故障诊断4 - 根据 Kdump 转储文件分析内核崩溃原因

说明:本文针对 Linux 的版本为 RHEL 8。

2025-02-11 14:35:18 1068

原创 RHEL故障诊断3 - 为系统配置 Kdump

Kdump 是 Linux 系统中的一种重要机制,用于在系统内核崩溃时收集关键信息以帮助分析问题。当系统出现故障时内核崩溃转储是唯一可用的信息,因此在关键任务环境中运行 Kdump 非常重要。在系统启动时,Kdump 会预留一部分物理内存(称为拯救内核空间),专门用于加载 Kdump 用到的第二个内核。这个备用内核与正常运行的主内核相互独立。当系统出现故障时,Kdump 会使用 kexec 调用启动到第二个内核,即捕获内核,而无需重启。

2025-02-11 14:34:41 753

原创 RHEL故障诊断2 - 配置 core dump,分析应用故障

说明:本文针对 Linux 的版本为 RHEL 8。

2025-02-10 14:17:20 512

原创 RHEL故障诊断1 - Kdump 和 core dump 的区别

Kdump 和 core dump 都是当 Linux 出现异常时用来收集信息以帮助分析问题的机制,但它们在适用领域、触发条件、收集内容等方面有明显区别。

2025-02-10 14:15:08 441

原创 RHEL故障诊断5 - 如何分析 sosreport 排除系统故障

它能从sosreport目录中收集系统的bios、os、CPU、内存、网络、存储、kdump等配置信息。在sosreport中的sos_commands/kernel/dmesg文件和var/log/dmesg文件内都包含了Kernel消息,但它们在生成方式和包含的内容范围有所不同。还可在sos_commands/logs中的journalctl_–no-pager文件中查找关键字(如error、panic、oom、reboot等)。

2025-01-20 10:00:30 1532

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除