在 K8s 上运行 GraphScope

最新推荐文章于 2025-06-11 09:14:21 发布
最新推荐文章于 2025-06-11 09:14:21 发布
阅读量350 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 技术干货 文章标签： 图计算 kubernetes
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/graphscope/article/details/123900354
本文详述了如何在Kubernetes集群上部署GraphScope，包括前置准备、Python集群部署、离线部署和构建自定义开发镜像的步骤。GraphScope借助vineyard支持分布式内存数据管理，适配大规模图计算需求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文将详细介绍： 1) 如何基于 Kubernetes 集群部署 GraphScope ; 2) 背后的工作细节; 3) 如何在分布式环境中使用自己构建的 GraphScope 开发镜像。

上篇文章介绍了 GraphScope 可以很容易在单机环境下进行部署。然而在真实的工业场景中，需要处理的图数据规模十分巨大，已远远超过了单机的处理能力。因此除单机部署方式外，借助 vineyard 提供的分布式内存数据管理能力，GraphScope 也支持在 Kubernetes 集群上运行。

前置准备

在开始之前，请确保当前环境满足下述条件之一：

  • Linux 系统：ubuntu18.04+ 或 centos7+；
  • macOS (Big Sur) 11.2.1+。

以及具备以下依赖:

  • Docker
  • kubectl
  • 一套可用的 K8s 环境，可以是
    • 一个 K8s 集群
    • 或者是 kind/minikube 之类的单机模拟集群的工具

由于 minikube 在服务暴露上与 Kubernetes 不兼容，因此本文以 Kind 为例，介绍如何在本地单机构建一个虚拟 Kubernetes 集群并做部署。如果想搭建一个真实的多节点集群，可以参照 K8s 官方支持的文档搭建；如果你不想手动管理一个 Kubernetes 集群，也可以选择一个经过认证的平台来托管部署服务，如 Aliyun ACK 、AWS EKS 等。

如果已经满足依赖并安装完 kind 之后，首先通过以下命令初始化一个本地虚拟集群：

$ kind create cluster

如果你不想手动逐个安装依赖，也可以使用 GraphScope 提供的脚本，来安装需要的依赖并初始化虚拟集群：

$ wget -O - https://raw.githubusercontent.com/alibaba/GraphScope/main/scripts/install_deps.sh | bash -s -- --k8s

脚本的执行过程会安装所需依赖并尝试检测通过 Kind 拉起 Kubernetes 集群。如果你选择不使用 Kind，也可以使用社区支持的其它工具搭建 Kubernetes 群集。

完成本地虚拟化集群的拉起后，我们可以运行如下命令来查看 Kubernetes 配置是正确的：

$ kubectl get nodes

NAME    STATUS   ROLES    AGE    VERSION
node1    Ready    <none>   5d9h   v1.22.3-aliyun.1

如果上述命令报错，则说明集群并未准备就绪。请参考 Kubernetes 相关文档 查看问题。

为了完整运行下文中的示例，你还需要在本机上安装 GraphScope Python 客户端。

pip3 install graphscope

通过 Python 进行集群部署

GraphScope 以 docker 镜像的方式发布引擎组件。默认情况下，如果运行 GraphScope 的机器不存在对应镜像，则会拉取当前版本的最新镜像，因此，请确保你的集群可以正常访问公共镜像仓

最低0.47元/天 解锁文章
使用 Helm 部署 GraphScope
graphscope的博客
04-02 1556
本文介绍如何通过 Helm 工具部署和使用 GraphScope 集群。
GraphScope:GraphScope
03-15
阿里巴巴的一站式大型图形计算系统 GraphScope是一个统一的分布式图形计算平台，它提供了一个一站式环境，可通过用户友好的Python界面在计算机集群上执行各种图形操作。 GraphScope通过结合几个重要的阿里巴巴技术，使计算集群上的大规模图形数据的多阶段处理变得简单：包括 ， 和用于分析，交互式和图神经网络（GNN）计算的 （GL） ，以及提供有效内存数据传输的商店。 请访问我们的网站以了解更多信息。 入门 我们为提供了托管的JupyterLab。 立即在浏览器中 ！ GraphScope可以在容器内由管理的群集上运行。 为了快速入门，我们可以设置一个本地Kubernetes集群，并利用预构建的Docker映像，如下所示。 先决条件 若要在本地计算机上运行GraphScope，需要以下依赖项或工具。 码头工人 Python> = 3.6（含pip） 本地Kubernet
【大数据分析】graphscope开发环境搭建
sword_csdn的博客
09-13 894
graphscope的安装对配置有一定的要求，例如所运行的cpu内核数>=4，内存>=8等，还至少两个worker。可以看到此时的graphscope的pod并没有准备好，进一步用一下命令，可以看到第一次安装graphscope会有一个较长的拉取镜像（pulling image）的过程。（3）每个 service 会创建出来一个虚拟 ip，通过访问 vip:port 就能获取服务的内容（vip是虚拟ip，用于内部访问，外部无法访问的）。graphscope依赖于k8s环境，关于k8s的部署安装可以参考。
GraphScope 项目教程
gitblog_00724的博客
08-07 825
GraphScope 项目教程 1. 项目的目录结构及介绍 GraphScope 项目的目录结构如下： GraphScope/ ├── CODE_OF_CONDUCT.md ├── CONTRIBUTING.md ├── CONTRIBUTORS ├── LICENSE ├── Makefile ├── NOTICE.txt ├── README-zh.md ├── README.md ├── V...
【Rust 日报】2022-10-02 GraphScope：大规模图计算系统
Rust语言学习交流
10-03 468
Rust正在进入Linux6.1地址：https://lore.kernel.org/lkml/202210010816.1317F2C@keescook/GraphScope：大规模图计算系统GraphScope 是阿里巴巴达摩院智能计算实验室研发并开源的一站式图计算平台。依托于阿里海量数据和丰富场景，与达摩院的高水平研究，GraphScope 致力于针对实际生产场景中图计算的挑战，提供一站式高...
GraphScope、Gemini与GraphX的性能对比
tanekf6979的博客
09-03 1672
目前图计算系统主要分为两大流派，generalpurpose和graph-specific。Generalpurpose系统底层基于RDD等通用数据抽象，基于通用大数据平台（如Spark）将图计算操作转换为retationaloperator等通用操作，而graph-specific系统将数据直接表示成图结构，并为用户提供访问、操作点、边的图结构等接口。为了比较generalpurpose和graph-specific图计算系统在图分析任务上的计算效率，我在阿里云拉起了配置为16核CPU，248G...
GraphScope: 阿里巴巴的一站式大规模图计算系统
2401_87458718的博客
09-23 1031
GraphScope是阿里巴巴开源的一站式大规模图计算系统,旨在为用户提供一个统一的分布式图计算环境,可以通过简单的Python接口在计算集群上执行各种图操作。GraphScope集成了阿里巴巴的多项关键技术,包括用于图分析的GRAPE、用于交互式查询的MaxGraph以及用于图神经网络(GNN)计算的Graph-Learn(GL),并利用Vineyard存储系统实现高效的内存数据传输。GraphScope的主要特点包括:高性能:与最先进的图系统相比具有卓越的性能表现。
GraphScope，开源图数据分析引擎的领航者
程序员野蛮成长
08-22 998
GraphScope是一个开源的大规模图数据分析引擎，由Aliyun、阿里巴巴集团和华为公司共同开发。GraphScope旨在为大规模图数据处理和分析提供高性能、高效率的解决方案。
图计算引擎Neo4j和Graphscope有什么区别？
figliano的博客
02-25 930
图计算引擎Neo4j和Graphscope有什么区别？ Neo4j是单机系统，主要做图数据库。 GraphScope是由阿里巴巴达摩院智能计算实验室研发的图计算平台，是全球首个一站式超大规模分布式图计算平台，并且还入选了中 国科学技术协会“科创中国”平台。Graphscope的代码在github.com/alibaba/graphscope上开源。SSSP算法上,GraphScope单机模式下平均要比Neo4j快176.38倍，最快在datagen-9.2_zf数据集上快了292.2倍。 ...
GraphScope: 大规模图计算平台的一站式解决方案
gitblog_00426的博客
08-07 646
GraphScope: 大规模图计算平台的一站式解决方案 GraphScope???? ???? ???? ???? GraphScope: A One-Stop Large-Scale Graph Computing System from Alibaba 来自阿里巴巴的一站式大规模图计算系统 图分析 图查询 图机器学习项目地址:https://gitcode.com/gh_mirrors/gr/GraphScope...
GraphScope项目教程：如何编写自定义图算法
最新发布
gitblog_00070的博客
06-11 292
GraphScope项目教程：如何编写自定义图算法 GraphScope ???? ???? ???? ???? GraphScope: A One-Stop Large-Scale Graph Computing System from Alibaba | 一站式图计算系统 ...
开源！一文了解阿里一站式图计算平台GraphScope
阿里云开发者
12-18 3607
简介：随着大数据的爆发，图数据的应用规模不断增长，现有的图计算系统仍然存在一定的局限。阿里巴巴拥有全球最大的商品知识图谱，在丰富的图场景和真实应用的驱动下，阿里巴巴达摩院智能计算实验室研发并开源了全球首个一站式超大规模分布式图计算平台GraphScope，并入选中国科学技术协会“科创中国”平台。本文详解图计算的原理和应用及GraphScope的架构设计。一 什么是图计算图数据对一组对象（顶点）及其关系（边）进行建模，可以直观、自然地表示现实世界中各种实体对象以及它们之间的关系。在大数据场景下，社交网络、交
GraphScope 项目常见问题解决方案
gitblog_00917的博客
01-27 350
GraphScope 项目常见问题解决方案 GraphScope ???? ???? ???? ???? GraphScope: A One-Stop Large-Scale Graph Computing System from Alibaba 来自阿里巴巴的一站式大规模图计算系统 图分析 图查询 图机器学习 ...
阿里发布图计算平台GraphScope，即将向全社会开源
喜欢打酱油的老鸟
11-10 996
2020-11-09 17:49:26 11月9日，在第二届世界科技与发展论坛上，阿里发布全球首个一站式超大规模分布式图计算平台GraphScope，并入选中国科学技术协会“科创中国”平台。GraphScope可处理万亿规模的图数据，能在一毫秒内遍历全部中国路网，其提供的高效、易用的一站式开发环境，极大降低图计算门槛。GraphScope将于12月开源。 图说：阿里发布一站式图计算平台GraphScope 图可自然表达数据之间复杂的关联与结构特征，图计算能有效挖掘和利用这种关联信息，成为数字原生时
K8s学习之路（三）---制作镜像
weixin_51157015的博客
05-21 5826
本文主要总结制作容器镜像的知识 一、镜像制作简介 1.镜像打包需要的配置文件 主要文件：Dockerfile 文件 其他文件：工程的代码和运行工程所需要的环境列表 2.Dockerfile文件 Dockerfile文件是打包docker镜像时定义指令的文本文件，每条指令构建一层镜像。执行docker build指令时，Docker读取Dockerfile文件中的指令并执行。 下面是Dockerfile文件的基本内容。 关于Dockerfile内容详解，请移步：https://blog.youkuaiyun.com/x
k8s的yaml拉取私有仓库镜像配置
jialiu111111的博客
02-06 3384
拉取私有仓库镜像配置当我们制作好一个镜像后，我们可以传到公共镜像仓库，供所有人拉取使用，不需要指定拉取镜像的用户、密码。我们也可以将镜像推送到自己搭建的镜像库，比如harbor镜像仓库中，如果我们在镜像仓库中的项目是公开项目，拉取镜像也是不要用户名、密码的。但如果是私有项目，则需要指定用户名、密码才能拉取。下面将介绍两种方式通过用户名、密码拉取私有镜像制作拉取镜像secret不论是何种姿势拉取私有镜像，都需要先创建拉取镜像的secret。创建拉取镜像secret有两种方式，如下。
k8s minikube启动时指定镜像源的启动方式
学亮编程手记
02-28 855
k8s minikube启动时指定镜像源的启动方式
k8s镜像拉取方式选择-imagePullPolicy
Bertram的博客
06-11 2654
镜像拉取方式选择 k8s-imagePullPolicy containers: - name: uses-private-image image: $PRIVATE_IMAGE_NAME imagePullPolicy: Always command: [ "echo", "SUCCESS" ] k8s的配置文件中经常看到有imagePullPolicy属性，这个属性是描述镜像的拉取策略 Always 总是拉取镜像 IfNotPresent 本
K8s一般在哪个虚拟机上运行
03-08
<think>好的，用户问的是“K8s一般在哪个虚拟机上运行”。首先，我需要确认用户的问题是什么。K8s是Kubernetes的缩写，他们想知道Kubernetes通常运行在哪些虚拟机上。可能用户对Kubernetes的部署环境不太熟悉，或者在考虑自己的基础设施选择，比如是选公有云还是私有云，或者想了解本地部署时的虚拟机选项。 首先，我应该先解释Kubernetes本身的架构，说明它是一个容器编排系统，可以运行在各种环境中，包括虚拟机、物理机、公有云等。用户可能想知道常见的虚拟机平台有哪些，特别是在私有云或本地环境中。比如VMware、OpenStack、VirtualBox等。 然后，需要考虑到用户可能对云服务不太了解，或者他们可能是在企业环境中工作，需要使用特定的虚拟化技术。比如，很多企业使用VMware vSphere来管理虚拟机，Kubernetes可以部署在这些VM上。此外，像OpenStack这样的私有云平台也常用来托管Kubernetes集群。 另外，可能用户的问题背后是想了解如何搭建自己的K8s环境，或者在云上使用托管的K8s服务。这时候需要区分开，虚拟机只是其中的一部分，而公有云如AWS、Azure、GCP也提供托管的Kubernetes服务（如EKS、AKS、GKE），这些服务底层可能也使用虚拟机，但用户不需要直接管理虚拟机。 需要进一步分析用户可能的场景：如果是个人学习，可能会用VirtualBox或VMware Workstation在本地创建虚拟机来运行Kubernetes节点；如果是企业环境，可能更倾向于使用VMware或OpenStack；如果是云环境，可能会直接使用云服务商的虚拟机实例，比如AWS EC2。 此外，用户可能对Kubernetes的部署方式有疑问，比如是否必须使用虚拟机，或者是否可以在物理机上直接运行。这时候需要说明Kubernetes的灵活性，可以运行在物理机、虚拟机甚至容器中（比如K3s），但虚拟机是常见的选择，因为它提供了资源隔离和灵活性。 可能还需要提到一些工具，如Kubeadm、Minikube、Kind等，这些工具可以帮助用户在虚拟机或本地环境中快速搭建Kubernetes集群。例如，Minikube通常用于本地开发，会在单个虚拟机中运行一个单节点集群，而生产环境可能需要多个虚拟机组成的集群。 另外，用户可能关心性能或资源消耗的问题，虚拟机与裸金属之间的差异。这时候需要简要说明虚拟机的优缺点，比如资源开销较高但管理方便，而物理机性能更好但维护成本高。 最后，需要总结常见的虚拟机平台，并给出建议，根据不同的使用场景选择合适的虚拟化技术或云服务。同时，提醒用户注意Kubernetes的版本兼容性和系统要求，确保虚拟机环境满足需求。</think>以下是对 Kubernetes（K8s）运行环境的详细介绍： --- ### **Kubernetes 的运行环境** Kubernetes 是一个与基础设施无关的容器编排平台，理论上可以在任何支持容器的环境中运行。但实际部署中，**虚拟机（VM）** 是最常见的底层基础设施之一，尤其是在私有云或混合云场景中。 --- ### **常见虚拟机平台** 1. **通用虚拟化技术** - **VMware vSphere**：企业级虚拟化方案，常用于本地数据中心。 - 通过 `vSphere Provider` 集成，支持动态存储卷、负载均衡等功能。 - **KVM（Kernel-based Virtual Machine）**：开源虚拟化技术，多用于 Linux 环境。 - 配合 `libvirt` 或 `OpenStack` 管理虚拟机集群。 - **Hyper-V**：Windows 平台的虚拟化方案，适合混合 Windows/Linux 容器环境。 2. **公有云虚拟机实例** - **AWS EC2**：在 EC2 实例上部署 Kubernetes 节点（如使用 `kops` 工具）。 - **Azure VMs**：通过 `AKS Engine` 快速创建 Kubernetes 集群。 - **Google Compute Engine（GCE）**：GKE 的底层依赖，自动管理控制平面。 3. **轻量级开发环境** - **VirtualBox/Vagrant**：本地开发测试场景，常用于 `Minikube` 或 `Kind` 的单节点集群。 ```bash minikube start --driver=virtualbox # 使用 VirtualBox 启动本地 K8s ``` --- ### **为什么选择虚拟机？** - **资源隔离**：虚拟机为每个 Kubernetes 节点（Master/Worker）提供独立的 CPU、内存和存储。 - **兼容性**：支持异构操作系统（如 Linux 节点与 Windows 节点混合部署）。 - **灵活迁移**：虚拟机镜像可快速复制到不同物理机或云平台，适应混合云需求。 --- ### **Kubernetes 在虚拟机上的典型架构** $$ \begin{array}{ll} \text{物理服务器} & \rightarrow \text{虚拟机监控程序（Hypervisor）} \\ & \rightarrow \begin{cases} \text{VM 1（K8s Master）} & \rightarrow \text{etcd, API Server, Scheduler} \\ \text{VM 2（K8s Worker）} & \rightarrow \text{Pod/容器} \\ \text{VM 3（K8s Worker）} & \rightarrow \text{Pod/容器} \end{cases} \end{array} $$ --- ### **关键工具与集成** 1. **Terraform**：自动化创建和管理虚拟机基础设施（如 AWS EC2、Azure VM）。 2. **Kubeadm**：在虚拟机集群中快速初始化 Kubernetes（需手动配置网络插件如 Calico）。 ```bash kubeadm init --apiserver-advertise-address=<VM_IP> # 初始化 Master 节点 ``` 3. **OpenStack Magnum**：在 OpenStack 虚拟机集群中一键部署托管 Kubernetes 服务。 --- ### **与裸金属（Bare Metal）的对比** | **场景** | **虚拟机运行 K8s** | **裸金属运行 K8s** | |-----------------------|---------------------------------|-----------------------------| | **资源开销** | 较高（Hypervisor 层消耗资源） | 低（直接使用物理机资源） | | **隔离性** | 强（VM 间完全隔离） | 依赖命名空间隔离，安全性较低 | | **适用规模** | 中小型集群，快速扩展 | 超大规模集群（如高性能计算场景） | | **典型用例** | 企业私有云、混合云 | 数据中心、边缘计算（如 5G 基站） | --- ### **推荐实践** 1. **生产环境**： - 使用云服务商托管 Kubernetes（如 EKS、AKS、GKE），底层自动管理虚拟机。 - 若自建，选择企业级虚拟化平台（如 VMware + Tanzu）。 2. **开发测试**： - 本地虚拟机 + Minikube/Kind，或直接使用 Docker Desktop 内置 Kubernetes。 3. **边缘计算**： - 轻量级虚拟机（如 KVM 精简镜像） + K3s（专为边缘优化的 Kubernetes 发行版）。 --- ### **注意事项** - **网络配置**：确保虚拟机间网络互通，开放 K8s 端口（如 6443、2379-2380）。 - **存储性能**：虚拟机磁盘 I/O 可能成为瓶颈，建议使用 SSD 或直连物理存储。 - **License**：部分虚拟化平台（如 VMware）需商业许可才能用于生产环境。 --- $$ \text{总结：虚拟机是 K8s 的常见载体，但具体选择需权衡成本、性能和管理复杂度} $$
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值