自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(34)
  • 收藏
  • 关注

原创 KubeVirt 架构设计与核心工作原理

KubeVirt 采用服务导向架构(Service Oriented Architecture)和编排模式(Choreography Pattern)设计,作为 Kubernetes 的扩展,为其增加虚拟机管理能力。KubeVirt 遵循"KubeVirt Razor"原则,即"如果某功能对 Pod 有用,我们不应该仅为 VM 实现它"。这种集成方式使 KubeVirt 能够无缝地与 Kubernetes 生态系统协作,同时提供专门的虚拟化功能。

2025-06-05 09:56:59 2572

原创 基于Anaconda环境开发一个智能算力平台自动化部署插件完整指南

基于Anaconda开发的智能算力自动化部署插件旨在简化和自动化在 Kubernetes 环境中部署一系列智能算力相关组件的过程,包括 Kube-OVN、KubeVirt、NVIDIA GPU Operator、NVIDIA Network Operator、Volcano、HAMi、Prometheus、Node Exporter 和 NPU Exporter。插件将基于 Anaconda 环境进行开发和运行,利用其强大的环境管理和依赖管理能力,确保部署过程的稳定性和可复现性。

2025-06-27 12:25:21 1030

原创 LMDeploy 架构设计与工作原理

LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发,是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。LMDeploy 是一个用于大型语言模型(LLMs)和视觉-语言模型(VLMs)压缩、部署和服务的 Python 库。 其核心推理引擎包括 TurboMind 引擎和 PyTorch 引擎。前者由 C++ 和 CUDA 开发,致力于推理性能的优化,而后者纯 Python 开发,旨在降低开发者的门槛。

2025-06-27 11:39:45 838

原创 CubeFS 架构设计、工作原理及集群部署

通过对开源云原生分布式存储系统 CubeFS 进行了深入分析,涵盖了其架构设计、工作原理、核心组件以及集群部署方案。CubeFS 旨在提供高性能、高可用、高可扩展的存储服务,支持多种访问协议,并广泛应用于大数据、机器学习、容器共享存储等场景。

2025-06-23 16:10:48 1308

原创 JuiceFS 架构设计与工作原理

**JuiceFS** 是一个高性能的 [POSIX]() 文件系统,基于 Apache License 2.0 发布,专为云原生环境设计。通过 JuiceFS 存储的数据将持久化在对象存储(例如 Amazon S3)中,而相应的元数据可以根据场景和需求持久化在各种兼容的数据库引擎中,例如 Redis、MySQL 和 TiKV。

2025-06-20 17:16:27 1330

原创 JuiceFS 集群部署详细指南:使用 SeaweedFS 作为数据存储,ETCD 作为元数据存储

部署一个 JuiceFS 集群,其中数据存储层采用高性能的分布式对象存储 SeaweedFS,元数据存储层采用强一致性的分布式键值存储 ETCD。这种组合方案旨在为用户提供一个高性能、高可用、易于扩展且数据强一致的分布式文件系统解决方案,特别适用于云原生环境和对小文件读写性能有较高要求的场景。JuiceFS 通过将文件数据和元数据分离存储,充分利用了各自存储系统的优势:SeaweedFS 负责高效地存储和管理海量文件数据块,而 ETCD 则提供可靠且一致的元数据服务。JuiceFS 客户端作为连接两者的

2025-06-20 17:07:10 1436

原创 SeaweedFS 集群部署方案与 CSI 插件使用

SeaweedFS 是一个快速分布式存储系统,用于处理大量小文件、对象、文件和数据湖。它具有 O(1) 磁盘寻道时间,支持云分层存储。Filer 支持云盘、跨数据中心主备复制、Kubernetes、POSIX FUSE 挂载、S3 API、S3 Gateway、Hadoop、WebDAV、加密和纠删码。

2025-06-19 12:06:43 1340

原创 SeaweedFS 架构设计与工作原理

SeaweedFS 是一个快速分布式存储系统,用于处理大量小文件、对象、文件和数据湖。它具有 O(1) 磁盘寻道时间,支持云分层存储。Filer 支持云盘、跨数据中心主备复制、Kubernetes、POSIX FUSE 挂载、S3 API、S3 Gateway、Hadoop、WebDAV、加密和纠删码。

2025-06-19 11:49:34 1105

原创 Kube-OVN 架构设计与核心模块

Kube-OVN 是一款 CNCF 旗下的企业级云原生网络编排系统,将 SDN 的能力和云原生结合,提供丰富的功能,极致的性能以及良好的可运维性。Kube-OVN 在底层使用 Open Virtual Network(OVN)和 OpenVswitch 来实现网络的编排,并将其丰富的能力暴露给 Kubernetes 网络。

2025-06-17 14:34:44 1251

原创 Kube-OVN 工作原理与应用场景

Kube-OVN 是一款 CNCF 旗下的企业级云原生网络编排系统,将 SDN 的能力和云原生结合,提供丰富的功能,极致的性能以及良好的可运维性。Kube-OVN 在底层使用 Open Virtual Network(OVN)和 OpenVswitch 来实现网络的编排,并将其丰富的能力暴露给 Kubernetes 网络。

2025-06-17 14:34:37 1055

原创 DataHub 代码仓库结构和主要模块分析

DataHub 代码仓库采用多语言、多模块的组织结构,整体形成了一个分层架构,从底层的元数据模型到顶层的用户界面,每一层都有明确的职责和边界。

2025-06-15 09:30:00 841

原创 DataHub 扩展数据源插件开发

DataHub 的元数据摄取框架采用了模块化、可扩展的插件架构,允许开发者轻松添加新的数据源连接器。这种架构使得 DataHub 能够与各种数据系统集成,包括数据库、数据仓库、BI 工具、云服务等。

2025-06-15 09:00:00 1148

原创 DataHub 架构设计与核心工作原理

DataHub 是一个第三代数据目录系统,专为现代数据栈设计,支持数据发现、协作、治理和端到端可观测性。其架构采用模型优先的设计理念,注重不同工具和系统之间的互操作性。

2025-06-14 16:19:39 1073

原创 DataHub 架构设计与模块规划

DataHub 作为一个开源的元数据管理平台,致力于解决现代数据栈中元数据发现、协作、治理和可观测性等挑战。通过对 DataHub 的 GitHub 仓库代码和官方文档的综合研究,本报告将提供一个全面的概述,帮助读者更好地理解 DataHub 的内部机制及其可扩展性。

2025-06-14 12:27:31 1005

原创 HAMi GPU 虚拟化流程与插件开发

HAMi 通过其模块化的设计、与 Kubernetes 的深度集成以及对多种异构设备的支持,为用户提供了一个强大而灵活的异构计算资源管理和虚拟化解决方案。其核心组件(调度器、设备插件、Webhook)协同工作,实现了细粒度的资源分配、隔离和高效的调度。通过抽象设备接口和配置驱动的方式,HAMi 具备良好的可扩展性,能够适应不断发展的硬件和应用需求。

2025-06-13 08:30:00 1286

原创 HAMi 核心模块与架构设计

HAMi 的架构设计是围绕 Kubernetes 生态系统构建的,通过扩展 Kubernetes 的调度能力和设备管理能力,为用户提供了高效、灵活的异构设备虚拟化和管理解决方案。

2025-06-13 08:15:00 2394

原创 Volcano 调度插件扩展机制

Volcano调度器采用了高度可扩展的插件化架构,允许用户通过实现特定接口来扩展调度功能。本文档将详细分析Volcano的插件扩展机制,包括插件注册、生命周期管理、扩展点接口和插件开发模式。

2025-06-12 09:15:00 1205

原创 Volcano 调度策略

Volcano通过插件化设计支持多种调度策略,包括Gang调度、DRF调度、优先级调度、装箱调度、设备共享调度等。这些策略可以根据需求灵活组合,满足不同批处理场景的需求。

2025-06-12 09:00:00 1445

原创 Volcano 代码模块规划

Volcano的模块规划体现了良好的关注点分离和模块化设计原则。核心功能被分解为多个独立的模块,每个模块负责特定的功能域。通过插件机制和扩展点,Volcano实现了高度的可扩展性和灵活性,能够适应各种批处理调度场景的需求。

2025-06-11 09:30:00 960

原创 Volcano 工作原理

Volcano的工作原理体现了云原生批处理系统的设计理念,通过与Kubernetes的深度集成,为批处理工作负载提供了强大的调度和资源管理能力。其模块化、插件化的设计使系统具有高度的可扩展性和灵活性,能够适应各种复杂的调度场景和需求。

2025-06-11 09:15:00 1005

原创 Volcano 架构设计

Volcano是CNCF 下首个也是唯一的基于Kubernetes的容器批量计算平台,主要用于高性能计算场景。它提供了Kubernetes目前缺 少的一套机制,这些机制通常是机器学习大数据应用、科学计算、特效渲染等多种高性能工作负载所需的。作为一个通用批处理平台,Volcano与几乎所有的主流计算框 架无缝对接,如Spark 、TensorFlow 、PyTorch 、 Flink 、Argo 、MindSpore 、 PaddlePaddle,Ray等。它还提供了包括异构设备调度,网络拓扑感知调度,多集群

2025-06-11 09:00:00 3031

原创 OpenMetadata 二开支持 openGauss 连接器

对于 openGauss 连接器,由于其与 PostgreSQL 在许多方面具有兼容性,因此在 Python 摄取代码中可以复用 PostgresSource。在 Java 后端,如果 openGauss 的元数据结构和数据类型与 PostgreSQL 相似,则可能不需要进行大量的 Java ClassConverter 开发。然而,为了完全支持 openGauss 的所有特性,仍然需要仔细审查其特有功能,并根据需要进行 Java 端的适配。————————————————

2025-06-10 09:30:00 971

原创 OpenMetadata 元数据平台架构设计和工作原理

OpenMetadata 是一个功能强大且全面的元数据管理平台,其设计理念是开放、可扩展和协作。通过其模块化的架构、Schema-first 的方法以及对元数据生命周期各个阶段的全面支持,OpenMetadata 旨在帮助组织更好地理解、管理和利用其数据资产。其对数据血缘、数据质量和数据治理的深入支持,使其成为现代数据生态系统中不可或缺的工具。

2025-06-10 09:00:00 1542

原创 KubeVirt 核心模块功能说明

KubeVirt 采用模块化设计,各组件职责明确,相互协作完成虚拟机在 Kubernetes 集群中的管理。通过分析仓库结构和代码组织,可以清晰地了解 KubeVirt 的模块规划。

2025-06-09 10:39:24 1024

原创 Harbor x86-64和ARM64多架构镜像管理指南

多架构镜像(Multi-architecture Image)是一种特殊类型的容器镜像,它包含适用于不同硬件架构的多个镜像变体,但共享相同的镜像名称和标签。当用户拉取多架构镜像时,容器运行时会自动选择与当前系统架构匹配的镜像变体。这种机制使得开发者可以使用相同的镜像名称和标签,在不同架构的系统上运行容器,而无需关心底层架构的差异。

2025-06-09 09:46:26 1561

原创 Harbor工作原理及使用指南

Harbor作为企业级容器镜像注册表,其工作原理涉及多个核心流程和机制,包括用户认证、镜像管理、安全扫描、复制同步等。本节将详细介绍Harbor的工作原理,帮助读者深入理解Harbor的内部机制和运行流程。

2025-06-08 12:14:21 940

原创 Harbor 架构设计及模块规划

Harbor最初由VMware中国研发中心于2016年创建,并于2018年7月捐赠给云原生计算基金会(CNCF),成为CNCF的孵化项目。2020年6月,Harbor正式从CNCF毕业,成为继Kubernetes、Prometheus、Envoy、CoreDNS、containerd和Fluentd之后的第七个毕业项目,标志着其在容器注册表领域的成熟度和广泛采用。

2025-06-08 12:12:56 1288

原创 Longhorn 快照、备份、灾备高级特性使用样例

Longhorn 提供了快照、备份和灾备三大数据保护功能。快照基于写时复制实现,支持原生和CSI两种类型,可通过UI或API创建/恢复。备份功能将数据存储到外部系统,支持增量备份和定期备份策略。灾备卷则基于备份创建,支持按需数据获取和跨集群恢复。最佳实践包括定期创建快照/备份、规范命名、管理快照链、测试恢复流程以及结合多种保护措施使用。这些功能共同构建了多层次的数据保护体系,确保业务连续性。

2025-06-07 11:19:45 1038

原创 Longhorn 代码仓库结构和模块分析

Longhorn 采用微服务架构,将存储系统分解为多个独立组件,每个组件负责特定功能。这种设计提供了高度的灵活性和可扩展性,同时通过 Kubernetes 原生集成简化了部署和管理。核心组件分布在多个仓库中,主仓库作为整合点,提供部署和配置文件。

2025-06-07 11:07:51 676

原创 VSCode科技风主题设计详细指南

科技风设计是一种强调未来感、现代感和高科技感的设计风格,设计一个科技风的VSCode主题需要结合科技风设计的特点和VSCode主题开发的技术要求。通过选择合适的色彩方案、设计语法高亮和界面元素,可以打造出既美观又实用的编程环境,展现个性化的编程美学。

2025-06-06 16:33:49 1570

原创 快速搭建Python虚拟环境

利用Anaconda3、Pyenv、Poetry和UV快速搭建Python虚拟环境,在实际使用过程中选择合适的工具或工具组合,应根据项目需求、团队熟悉度和个人偏好来决定。最重要的是,这些工具都能帮助你创建隔离的Python环境,确保项目依赖的一致性和可重现性。

2025-06-06 12:23:21 1123

原创 Longhorn 架构设计与核心工作原理

Longhorn 的架构设计和工作原理体现了分布式存储系统的现代设计理念,这种设计使 Longhorn 能够为 Kubernetes 环境提供企业级的分布式存储功能,支持各种工作负载和使用场景。

2025-06-06 10:49:04 1231

原创 KubeVirt 插件开发方式与扩展机制

KubeVirt 的插件系统采用了灵活的架构设计,主要通过 Hooks 机制实现,允许在虚拟机生命周期的关键点进行自定义扩展。

2025-06-06 10:35:17 1066

原创 KubeVirt 代码分析

对 KubeVirt 项目进行了全面分析,包括代码仓库结构、架构设计、工作原理、插件开发方式以及 arm64 版 Docker 镜像的编译方法。KubeVirt 作为 Kubernetes 的虚拟机管理扩展,通过自定义资源定义(CRD)和控制器模式实现了虚拟机在 Kubernetes 集群中的无缝管理。本报告详细阐述了其核心组件、工作流程、扩展机制以及多架构支持情况,为理解和使用 KubeVirt 提供了系统性指导。

2025-06-05 10:02:54 1086

AI 智能算力平台多架构容器镜像管理部署包 - Harbor

主要用于AI 智能算力平台多架构容器镜像管理,部署包信息如下: 版本:v2.14.0 架构:ARM64 部署包类型:离线部署 依赖:Docker 特性: - 支持国产化操作系统部署 - 支持最新版本特性

2025-09-18

【大数据管理】DataHub开源项目深度解析:元数据管理与数据治理的企业级应用及未来展望了DataHub开源

内容概要:DataHub是由LinkedIn开源的一款提供元数据搜索与发现的工具,旨在解决大数据生态系统中数据资产发现和管理的问题。其核心功能涵盖元数据管理、数据治理和数据血缘追踪,支持多种数据系统的预构建集成。DataHub采用第三代基于事件的元数据管理架构,具备低延迟的元数据变更捕获能力,支持实时治理操作。社区活跃度高,已应用于多个行业,如电子政务、科技产业和企业数据治理。未来三年的发展路线图聚焦于元数据联邦治理能力强化、AI/ML管道深度集成和血缘解析精度提升。 适合人群:数据工程师、数据科学家、数据治理专家、业务分析师和IT管理员。 使用场景及目标:①数据工程师可通过DataHub统一的数据资产视图和血缘关系追踪能力,管理和维护数据基础设施;②数据科学家利用其搜索和发现功能,高效探索和理解数据;③数据治理专家借助标签管理、术语表和域划分等功能,确保数据符合组织政策和法规要求;④业务分析师通过360°视图和技术逻辑元数据,全面理解数据实体;⑤IT管理员负责系统部署和维护,支持云和本地部署。 其他说明:DataHub的技术架构基于事件驱动设计,前端基于React框架,后端采用混合存储架构。社区运营采用分层管理模式,核心团队负责架构演进决策,社区贡献通过"contrib"目录接收。尽管DataHub具备诸多优势,但也面临运维复杂度高、Hadoop生态兼容性有限等挑战。未来发展方向包括优化混合存储架构、提升实时元数据同步效率和均衡多语言SDK发展。商业化路径和社区可持续发展也是项目面临的两大挑战。

2025-06-25

【数据治理领域】OpenMetadata开源项目解析:集中式元数据管理平台的设计与应用

内容概要:本文详细解析了OpenMetadata开源项目的背景、架构、技术亮点及其未来发展。OpenMetadata旨在解决元数据管理中的数据孤岛、标准缺失和工具碎片化等问题,特别是为金融、电信等行业提供列级血缘追踪、实时元数据同步等功能。项目采用松耦合的微服务架构,支持55个以上的连接器,涵盖主流数据仓库和数据库服务。其核心功能包括元数据采集与存储、数据血缘追踪、数据质量分析和治理功能。此外,文章还探讨了项目的社区生态、技术架构演进、商业化潜力及行业趋势,如数据网格架构下的新需求、AI/ML集成的机会及多云环境下的部署优化。 适合人群:数据工程师、数据分析师、数据治理团队成员,尤其是那些需要处理复杂元数据管理和数据治理问题的专业人士。 使用场景及目标:①数据工程师可以利用其元数据采集和血缘追踪功能,解决数据管道中的依赖分析问题;②数据分析师可以通过数据发现和协作功能,定位和使用可用数据资产;③治理团队可以利用数据质量监控和KPI仪表盘,实施合规管理,确保数据治理符合GDPR、CCPA等法规要求。 其他说明:OpenMetadata的开放性和灵活性使其能够适应多种应用场景,如金融风控中的列级血缘追踪、电商行业的数据质量监控等。项目不仅提供了强大的技术支撑,还通过社区活动和技术布道,促进了用户的广泛参与和使用。未来,项目将继续优化图数据库性能、增强血缘解析技术和深化数据治理,以更好地支持多云环境和AI/ML集成。

2025-06-25

Ceph 架构、⼯作原理与⾼可⽤集群部署报告

内容概要:本文深入分析了Ceph分布式存储系统的架构设计、核心工作原理及其高可用集群的部署方法。Ceph作为一个统一的分布式存储系统,通过RADOS和CRUSH算法实现了对象、块和文件存储的统一管理。文章详细介绍了Ceph的核心组件,如Ceph Monitor、OSD、Manager和Metadata Server,解释了它们的工作方式和相互协作机制。此外,文中还探讨了Ceph的数据一致性保障措施,包括心跳机制、对等、数据再平衡、擦洗和故障恢复等。最后,文章提供了基于Cephadm工具的高可用集群部署指南,涵盖了从环境准备到核心组件配置的具体步骤,并强调了高可用性配置的重要性。 适合人群:对分布式存储系统感兴趣的IT专业人员,尤其是那些希望深入了解Ceph架构和部署实践的技术专家、系统管理员和架构师。 使用场景及目标:适用于需要构建大规模、高性能、高可用性存储解决方案的企业和技术团队。具体应用场景包括大数据存储、云存储、虚拟化环境下的块存储、对象存储和文件系统支持等。目标是帮助读者掌握Ceph的架构设计、工作原理和部署技巧,从而更好地应用于实际项目中。 阅读建议:由于Ceph的复杂性和多样性,建议读者在阅读过程中结合官方文档和实际操作进行学习。特别关注RADOS和CRUSH算法的理解,以及Cephadm工具的实际应用。同时,对于高可用性配置部分,建议读者仔细研读并结合自身需求进行实践,以确保所构建的Ceph集群能够满足生产环境的要求。

2025-06-24

Ceph 分布式存储系统:架构设计、工作原理与高可用集群部署

Ceph 是一个开源的统一的分布式存储系统,是高性能的并行文件系统。Ceph 是加州大学Santa Cruz分校的Sage Weil(DreamHost的联合创始人)专为博士论文设计的新一代自由软件分布式文件系统。Ceph 提供三种存储方式分别是对象存储,块存储和文件系统。在虚拟化领域里,比较常用到的是Ceph的块设备存储。Ceph以其稳定、高可用、可扩展的特性,乘着开源云计算管理系统 OpenStack 的东风,迅速成为最热门的开源分布式存储系统。

2025-06-24

CubeFS 3.5.1 ARM64 离线安装包

CubeFS 是新一代云原生存储产品,目前是云原生计算基金会(CNCF)托管的毕业开源项目, 兼容 S3、POSIX、HDFS 等多种访问协议,支持多副本与纠删码两种存储引擎,为用户提供多租户、 多 AZ 部署以及跨区域复制等多种特性,广泛应用于大数据、AI、容器平台、数据库、中间件存算分离、数据共享以及数据保护等场景。

2025-06-23

助力AI平台建设:JuiceFS架构设计与部署实践

智能算力平台建设存储篇,利用JuiceFS+ETCD+SeaweedFS构建分布式存储体系

2025-06-20

KubeVirt 架构设计与实现:从核心原理到扩展开发

KubeVirt 的架构设计、模块规划、工作原理、虚拟机使用 Kube-OVN 网络、SeaweedFS 存储和扩展插件开发的详细指南

2025-06-19

kubevirt-manager 1.5.0 arm64版本docker镜像

kubevirt-manager 1.5.0 arm64版本docker镜像

2025-05-29

Harbor 最新v2.12.4的ARM64版离线安装包

Harbor 最新v2.12.4的ARM64版离线安装包

2025-05-27

Harbor 最新v2.13.1的ARM64版离线安装包

持续更新最新 Harbor 的ARM64版离线安装包 当前安装包版本 harbor-offline-installer-v2.13.1

2025-05-21

Harbor 最新v2.12.3的ARM64版离线安装包

持续更新最新 Harbor 的ARM64版离线安装包 当前安装包版本 harbor-offline-installer-v2.12.3

2025-05-07

v2.13.0 持续更新最新 Harbor 的ARM64版离线安装包

持续更新最新 Harbor 的ARM64版离线安装包 当前安装包版本 harbor-offline-installer-v2.13.0

2025-04-11

Harbor 最新v2.12.2的ARM64版离线安装包

Harbor 最新v2.12.2的ARM64版离线安装包

2025-03-05

Harbor 最新v2.12.0的ARM64版离线安装包

Harbor 最新v2.12.0的ARM64版离线安装包

2024-11-22

Harbor 最新v2.11.1的ARM64版离线安装包

Harbor 最新v2.11.1的ARM64版离线安装包

2024-11-08

Nvidia network-operator和gpu-operator组件版本汇总

Nvidia network-operator和gpu-operator组件版本汇总

2024-11-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除