- 博客(34)
- 收藏
- 关注
原创 KubeVirt 架构设计与核心工作原理
KubeVirt 采用服务导向架构(Service Oriented Architecture)和编排模式(Choreography Pattern)设计,作为 Kubernetes 的扩展,为其增加虚拟机管理能力。KubeVirt 遵循"KubeVirt Razor"原则,即"如果某功能对 Pod 有用,我们不应该仅为 VM 实现它"。这种集成方式使 KubeVirt 能够无缝地与 Kubernetes 生态系统协作,同时提供专门的虚拟化功能。
2025-06-05 09:56:59
2572
原创 基于Anaconda环境开发一个智能算力平台自动化部署插件完整指南
基于Anaconda开发的智能算力自动化部署插件旨在简化和自动化在 Kubernetes 环境中部署一系列智能算力相关组件的过程,包括 Kube-OVN、KubeVirt、NVIDIA GPU Operator、NVIDIA Network Operator、Volcano、HAMi、Prometheus、Node Exporter 和 NPU Exporter。插件将基于 Anaconda 环境进行开发和运行,利用其强大的环境管理和依赖管理能力,确保部署过程的稳定性和可复现性。
2025-06-27 12:25:21
1030
原创 LMDeploy 架构设计与工作原理
LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发,是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。LMDeploy 是一个用于大型语言模型(LLMs)和视觉-语言模型(VLMs)压缩、部署和服务的 Python 库。 其核心推理引擎包括 TurboMind 引擎和 PyTorch 引擎。前者由 C++ 和 CUDA 开发,致力于推理性能的优化,而后者纯 Python 开发,旨在降低开发者的门槛。
2025-06-27 11:39:45
838
原创 CubeFS 架构设计、工作原理及集群部署
通过对开源云原生分布式存储系统 CubeFS 进行了深入分析,涵盖了其架构设计、工作原理、核心组件以及集群部署方案。CubeFS 旨在提供高性能、高可用、高可扩展的存储服务,支持多种访问协议,并广泛应用于大数据、机器学习、容器共享存储等场景。
2025-06-23 16:10:48
1308
原创 JuiceFS 架构设计与工作原理
**JuiceFS** 是一个高性能的 [POSIX]() 文件系统,基于 Apache License 2.0 发布,专为云原生环境设计。通过 JuiceFS 存储的数据将持久化在对象存储(例如 Amazon S3)中,而相应的元数据可以根据场景和需求持久化在各种兼容的数据库引擎中,例如 Redis、MySQL 和 TiKV。
2025-06-20 17:16:27
1330
原创 JuiceFS 集群部署详细指南:使用 SeaweedFS 作为数据存储,ETCD 作为元数据存储
部署一个 JuiceFS 集群,其中数据存储层采用高性能的分布式对象存储 SeaweedFS,元数据存储层采用强一致性的分布式键值存储 ETCD。这种组合方案旨在为用户提供一个高性能、高可用、易于扩展且数据强一致的分布式文件系统解决方案,特别适用于云原生环境和对小文件读写性能有较高要求的场景。JuiceFS 通过将文件数据和元数据分离存储,充分利用了各自存储系统的优势:SeaweedFS 负责高效地存储和管理海量文件数据块,而 ETCD 则提供可靠且一致的元数据服务。JuiceFS 客户端作为连接两者的
2025-06-20 17:07:10
1436
原创 SeaweedFS 集群部署方案与 CSI 插件使用
SeaweedFS 是一个快速分布式存储系统,用于处理大量小文件、对象、文件和数据湖。它具有 O(1) 磁盘寻道时间,支持云分层存储。Filer 支持云盘、跨数据中心主备复制、Kubernetes、POSIX FUSE 挂载、S3 API、S3 Gateway、Hadoop、WebDAV、加密和纠删码。
2025-06-19 12:06:43
1340
原创 SeaweedFS 架构设计与工作原理
SeaweedFS 是一个快速分布式存储系统,用于处理大量小文件、对象、文件和数据湖。它具有 O(1) 磁盘寻道时间,支持云分层存储。Filer 支持云盘、跨数据中心主备复制、Kubernetes、POSIX FUSE 挂载、S3 API、S3 Gateway、Hadoop、WebDAV、加密和纠删码。
2025-06-19 11:49:34
1105
原创 Kube-OVN 架构设计与核心模块
Kube-OVN 是一款 CNCF 旗下的企业级云原生网络编排系统,将 SDN 的能力和云原生结合,提供丰富的功能,极致的性能以及良好的可运维性。Kube-OVN 在底层使用 Open Virtual Network(OVN)和 OpenVswitch 来实现网络的编排,并将其丰富的能力暴露给 Kubernetes 网络。
2025-06-17 14:34:44
1251
原创 Kube-OVN 工作原理与应用场景
Kube-OVN 是一款 CNCF 旗下的企业级云原生网络编排系统,将 SDN 的能力和云原生结合,提供丰富的功能,极致的性能以及良好的可运维性。Kube-OVN 在底层使用 Open Virtual Network(OVN)和 OpenVswitch 来实现网络的编排,并将其丰富的能力暴露给 Kubernetes 网络。
2025-06-17 14:34:37
1055
原创 DataHub 代码仓库结构和主要模块分析
DataHub 代码仓库采用多语言、多模块的组织结构,整体形成了一个分层架构,从底层的元数据模型到顶层的用户界面,每一层都有明确的职责和边界。
2025-06-15 09:30:00
841
原创 DataHub 扩展数据源插件开发
DataHub 的元数据摄取框架采用了模块化、可扩展的插件架构,允许开发者轻松添加新的数据源连接器。这种架构使得 DataHub 能够与各种数据系统集成,包括数据库、数据仓库、BI 工具、云服务等。
2025-06-15 09:00:00
1148
原创 DataHub 架构设计与核心工作原理
DataHub 是一个第三代数据目录系统,专为现代数据栈设计,支持数据发现、协作、治理和端到端可观测性。其架构采用模型优先的设计理念,注重不同工具和系统之间的互操作性。
2025-06-14 16:19:39
1073
原创 DataHub 架构设计与模块规划
DataHub 作为一个开源的元数据管理平台,致力于解决现代数据栈中元数据发现、协作、治理和可观测性等挑战。通过对 DataHub 的 GitHub 仓库代码和官方文档的综合研究,本报告将提供一个全面的概述,帮助读者更好地理解 DataHub 的内部机制及其可扩展性。
2025-06-14 12:27:31
1005
原创 HAMi GPU 虚拟化流程与插件开发
HAMi 通过其模块化的设计、与 Kubernetes 的深度集成以及对多种异构设备的支持,为用户提供了一个强大而灵活的异构计算资源管理和虚拟化解决方案。其核心组件(调度器、设备插件、Webhook)协同工作,实现了细粒度的资源分配、隔离和高效的调度。通过抽象设备接口和配置驱动的方式,HAMi 具备良好的可扩展性,能够适应不断发展的硬件和应用需求。
2025-06-13 08:30:00
1286
原创 HAMi 核心模块与架构设计
HAMi 的架构设计是围绕 Kubernetes 生态系统构建的,通过扩展 Kubernetes 的调度能力和设备管理能力,为用户提供了高效、灵活的异构设备虚拟化和管理解决方案。
2025-06-13 08:15:00
2394
原创 Volcano 调度插件扩展机制
Volcano调度器采用了高度可扩展的插件化架构,允许用户通过实现特定接口来扩展调度功能。本文档将详细分析Volcano的插件扩展机制,包括插件注册、生命周期管理、扩展点接口和插件开发模式。
2025-06-12 09:15:00
1205
原创 Volcano 调度策略
Volcano通过插件化设计支持多种调度策略,包括Gang调度、DRF调度、优先级调度、装箱调度、设备共享调度等。这些策略可以根据需求灵活组合,满足不同批处理场景的需求。
2025-06-12 09:00:00
1445
原创 Volcano 代码模块规划
Volcano的模块规划体现了良好的关注点分离和模块化设计原则。核心功能被分解为多个独立的模块,每个模块负责特定的功能域。通过插件机制和扩展点,Volcano实现了高度的可扩展性和灵活性,能够适应各种批处理调度场景的需求。
2025-06-11 09:30:00
960
原创 Volcano 工作原理
Volcano的工作原理体现了云原生批处理系统的设计理念,通过与Kubernetes的深度集成,为批处理工作负载提供了强大的调度和资源管理能力。其模块化、插件化的设计使系统具有高度的可扩展性和灵活性,能够适应各种复杂的调度场景和需求。
2025-06-11 09:15:00
1005
原创 Volcano 架构设计
Volcano是CNCF 下首个也是唯一的基于Kubernetes的容器批量计算平台,主要用于高性能计算场景。它提供了Kubernetes目前缺 少的一套机制,这些机制通常是机器学习大数据应用、科学计算、特效渲染等多种高性能工作负载所需的。作为一个通用批处理平台,Volcano与几乎所有的主流计算框 架无缝对接,如Spark 、TensorFlow 、PyTorch 、 Flink 、Argo 、MindSpore 、 PaddlePaddle,Ray等。它还提供了包括异构设备调度,网络拓扑感知调度,多集群
2025-06-11 09:00:00
3031
原创 OpenMetadata 二开支持 openGauss 连接器
对于 openGauss 连接器,由于其与 PostgreSQL 在许多方面具有兼容性,因此在 Python 摄取代码中可以复用 PostgresSource。在 Java 后端,如果 openGauss 的元数据结构和数据类型与 PostgreSQL 相似,则可能不需要进行大量的 Java ClassConverter 开发。然而,为了完全支持 openGauss 的所有特性,仍然需要仔细审查其特有功能,并根据需要进行 Java 端的适配。————————————————
2025-06-10 09:30:00
971
原创 OpenMetadata 元数据平台架构设计和工作原理
OpenMetadata 是一个功能强大且全面的元数据管理平台,其设计理念是开放、可扩展和协作。通过其模块化的架构、Schema-first 的方法以及对元数据生命周期各个阶段的全面支持,OpenMetadata 旨在帮助组织更好地理解、管理和利用其数据资产。其对数据血缘、数据质量和数据治理的深入支持,使其成为现代数据生态系统中不可或缺的工具。
2025-06-10 09:00:00
1542
原创 KubeVirt 核心模块功能说明
KubeVirt 采用模块化设计,各组件职责明确,相互协作完成虚拟机在 Kubernetes 集群中的管理。通过分析仓库结构和代码组织,可以清晰地了解 KubeVirt 的模块规划。
2025-06-09 10:39:24
1024
原创 Harbor x86-64和ARM64多架构镜像管理指南
多架构镜像(Multi-architecture Image)是一种特殊类型的容器镜像,它包含适用于不同硬件架构的多个镜像变体,但共享相同的镜像名称和标签。当用户拉取多架构镜像时,容器运行时会自动选择与当前系统架构匹配的镜像变体。这种机制使得开发者可以使用相同的镜像名称和标签,在不同架构的系统上运行容器,而无需关心底层架构的差异。
2025-06-09 09:46:26
1561
原创 Harbor工作原理及使用指南
Harbor作为企业级容器镜像注册表,其工作原理涉及多个核心流程和机制,包括用户认证、镜像管理、安全扫描、复制同步等。本节将详细介绍Harbor的工作原理,帮助读者深入理解Harbor的内部机制和运行流程。
2025-06-08 12:14:21
940
原创 Harbor 架构设计及模块规划
Harbor最初由VMware中国研发中心于2016年创建,并于2018年7月捐赠给云原生计算基金会(CNCF),成为CNCF的孵化项目。2020年6月,Harbor正式从CNCF毕业,成为继Kubernetes、Prometheus、Envoy、CoreDNS、containerd和Fluentd之后的第七个毕业项目,标志着其在容器注册表领域的成熟度和广泛采用。
2025-06-08 12:12:56
1288
原创 Longhorn 快照、备份、灾备高级特性使用样例
Longhorn 提供了快照、备份和灾备三大数据保护功能。快照基于写时复制实现,支持原生和CSI两种类型,可通过UI或API创建/恢复。备份功能将数据存储到外部系统,支持增量备份和定期备份策略。灾备卷则基于备份创建,支持按需数据获取和跨集群恢复。最佳实践包括定期创建快照/备份、规范命名、管理快照链、测试恢复流程以及结合多种保护措施使用。这些功能共同构建了多层次的数据保护体系,确保业务连续性。
2025-06-07 11:19:45
1038
原创 Longhorn 代码仓库结构和模块分析
Longhorn 采用微服务架构,将存储系统分解为多个独立组件,每个组件负责特定功能。这种设计提供了高度的灵活性和可扩展性,同时通过 Kubernetes 原生集成简化了部署和管理。核心组件分布在多个仓库中,主仓库作为整合点,提供部署和配置文件。
2025-06-07 11:07:51
676
原创 VSCode科技风主题设计详细指南
科技风设计是一种强调未来感、现代感和高科技感的设计风格,设计一个科技风的VSCode主题需要结合科技风设计的特点和VSCode主题开发的技术要求。通过选择合适的色彩方案、设计语法高亮和界面元素,可以打造出既美观又实用的编程环境,展现个性化的编程美学。
2025-06-06 16:33:49
1570
原创 快速搭建Python虚拟环境
利用Anaconda3、Pyenv、Poetry和UV快速搭建Python虚拟环境,在实际使用过程中选择合适的工具或工具组合,应根据项目需求、团队熟悉度和个人偏好来决定。最重要的是,这些工具都能帮助你创建隔离的Python环境,确保项目依赖的一致性和可重现性。
2025-06-06 12:23:21
1123
原创 Longhorn 架构设计与核心工作原理
Longhorn 的架构设计和工作原理体现了分布式存储系统的现代设计理念,这种设计使 Longhorn 能够为 Kubernetes 环境提供企业级的分布式存储功能,支持各种工作负载和使用场景。
2025-06-06 10:49:04
1231
原创 KubeVirt 插件开发方式与扩展机制
KubeVirt 的插件系统采用了灵活的架构设计,主要通过 Hooks 机制实现,允许在虚拟机生命周期的关键点进行自定义扩展。
2025-06-06 10:35:17
1066
原创 KubeVirt 代码分析
对 KubeVirt 项目进行了全面分析,包括代码仓库结构、架构设计、工作原理、插件开发方式以及 arm64 版 Docker 镜像的编译方法。KubeVirt 作为 Kubernetes 的虚拟机管理扩展,通过自定义资源定义(CRD)和控制器模式实现了虚拟机在 Kubernetes 集群中的无缝管理。本报告详细阐述了其核心组件、工作流程、扩展机制以及多架构支持情况,为理解和使用 KubeVirt 提供了系统性指导。
2025-06-05 10:02:54
1086
AI 智能算力平台多架构容器镜像管理部署包 - Harbor
2025-09-18
【大数据管理】DataHub开源项目深度解析:元数据管理与数据治理的企业级应用及未来展望了DataHub开源
2025-06-25
【数据治理领域】OpenMetadata开源项目解析:集中式元数据管理平台的设计与应用
2025-06-25
Ceph 架构、⼯作原理与⾼可⽤集群部署报告
2025-06-24
Ceph 分布式存储系统:架构设计、工作原理与高可用集群部署
2025-06-24
CubeFS 3.5.1 ARM64 离线安装包
2025-06-23
KubeVirt 架构设计与实现:从核心原理到扩展开发
2025-06-19
Harbor 最新v2.13.1的ARM64版离线安装包
2025-05-21
Harbor 最新v2.12.3的ARM64版离线安装包
2025-05-07
v2.13.0 持续更新最新 Harbor 的ARM64版离线安装包
2025-04-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅