使用python3.8获取pod列表的详细信息

最新推荐文章于 2024-11-26 15:33:10 发布
原创 最新推荐文章于 2024-11-26 15:33:10 发布 · 600 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #k8s

本文讲述了如何在Linux环境下安装Python3.8，然后使用Python脚本通过KubernetesAPI获取所有命名空间的Pod列表，包括Pod的状态信息。安装过程中可能遇到超时异常，但多次尝试后可以解决。

使用python脚本获取pod列表

安装python3.8环境

  • 在Linux下安装python3.8环境，过程有点慢
yum -y install zlib-devel
wget https://www.python.org/ftp/python/3.8.6/Python-3.8.6.tgz

tar xf Python-3.8.6.tgz
cd Python-3.8.6
./configure
make -j 4 && make install
  • 安装python插件kubernetes
pip3 install kubernetes
  • 安装过程可以会抛出异常，一般都是超时异常，多执行几次命令就OK了
    在这里插入图片描述
  • 到这里就安装成功了
    在这里插入图片描述

编写脚本文件

编写如下python脚本文件

#!/usr/local/bin/python3.8
from kubernetes import client
最低0.47元/天 解锁文章
Amasawa.
关注
kubernetes 获取pod状态
zhaoyangjian724的专栏
10-31 909
kubernetes
Python 中使用 vLLM 进行模型推理的并行化策略
AI天才研究院
07-22 1242
本文系统解析了在 Python 中基于 vLLM 框架实现大语言模型（LLM）推理并行化的核心策略。通过结合 vLLM 的核心优化技术（如 PagedAttention、连续批处理）与分布式并行理论，从模型并行、数据并行、张量并行等多层次展开分析，涵盖理论基础、架构设计、实现细节及实际部署考量。内容兼顾专家级技术深度与入门级教学清晰度，提供生产级代码示例与性能调优指南，帮助开发者在多 GPU/多节点环境下最大化推理效率。内存约束：单 GPU 无法容纳全模型，需拆分模型参数（模型并行）。计算瓶颈。
Python Requests 模块获取数据的方式
2401_86418269的博客
07-21 628
Python 的requests模块是一个强大且用户友好的 HTTP 库，用于发送 HTTP 请求和处理响应数据。无论是抓取网页内容、提交表单，还是与 API 进行交互，requests模块都提供了简洁的接口和丰富的功能。本文将详细介绍如何使用requests模块获取数据，并包括一些常见的使用示例和最佳实践。
获取spring容器中的实例
qq_33012981的博客
09-21 861
获取spring容器中的实例 @Component public class ApplicationContextProvider implements ApplicationContextAware { /** * 上下文对象实例 */ private static ApplicationContext applicationContext; @Override public void setApplicationContext(Application
Python3 - k8s之深入理解 Pod
韩俊强的博客
04-09 2315
在Kubernetes集群中除了我们经常使用到的普通的 Pod 外，还有一种特殊的 Pod，叫做Static Pod，就是我们说的静态 Pod，静态 Pod 有什么特殊的地方呢？
使用Prometheus调用本地Python接口获取指标数据
weixin_36906540的博客
06-28 398
　　在监控和度量应用程序性能时，Prometheus是一个广泛使用的开源工具，它通过HTTP端点收集指标数据。本文将探讨如何通过Prometheus配置，调用本地的Python接口以获取自定义的指标数据，从而实现更精确和个性化的监控解决方案。步骤一：理解Prometheus的基本概念1. Prometheus基础确保了解P...
探索kopf与Python 3.8+：新特性带来的优势
![kopf，一个实用的 Python 库！...# 1. kopf框架简介与Python 3.8+新特性概览 在本章中，我们将首先简要介绍kopf框架。...我们还将概览Python 3.8及之后版本中引入的关键新特性，这些特性为编程提供了更强大的
敏捷开发利器：Linux下Python3.8与Docker、Kubernetes的容器技术实战
[敏捷开发利器：Linux下Python3.8与Docker、Kubernetes的容器技术实战](https://img-blog.csdnimg.cn/img_convert/e13fc6c39bd3c3711fc21927e9b5a184.jpeg) # 1. 敏捷开发概述 敏捷开发是一种软件开发方法论，强调...
【python】--python+webSocket初识
寻梦友的博客
08-12 770
因项目需要，结识webSocket。本博客参考网上例子，单纯集成webSocket，初步了解Flask-SocketIO如何工作。
python k8sjob管理
llc的博客
03-04 724
获取pod信息 根据标签查询pod列表 core = CoreV1Api() pod_list = core.list_namespaced_pod(namespace='default', label_selector='job') for pod in pod_list.items: # 元数据 metadata: V1ObjectMeta = pod.metadata # 名称 pod_name = metadata.name # 标签 labels = metadata.labels
使用 Django 构建支持 Kubernetes API 测试连接的 POST 接口
XMYX-0
11-26 1772
本文详细介绍了如何通过 Django 构建一个只支持POST请求的接口，用于测试 Kubernetes 集群连接和获取 Pod 列表。通过请求方法限制、参数验证和异常处理，该接口在功能性和安全性上都有较好的保障。希望对您有所帮助！
Kubernetes Python API中文使用说明
热门推荐
不懂的博客
12-13 1万+
创建管理员用户，授权，获取Token 创建用户 vi CreateServiceAccount.yaml apiVersion: v1 kind: ServiceAccount metadata: name: admin-user namespace: kube-system kubectl create -f CreateServiceAccount.yaml 用户授权 vi Role...
在 Kubernetes 中查找 Pod IP 地址的 2 种方法
网络技术联盟站
02-07 3660
如果只是需要快速查找某个Pod的IP地址或者进行简单的调试，使用kubectl命令可能更为方便。如果需要集成到自动化脚本、程序或工作流中，或者需要进行更复杂的查询和过滤操作，使用Kubernetes API是更好的选择。综合考虑使用场景和需求，可以根据具体情况选择合适的方法。通过本文我们详细介绍了在Kubernetes中查找Pod IP地址的两种方法：一种是通过kubectl命令，另一种是通过Kubernetes API查询。每种方法都有其优点和缺点，适用于不同的使用场景。
kubernetes Pod在容器内获取Pod信息
cnzzs的博客
08-18 805
Downward API我们知道，每个Pod在被成功创建出来之后，都会被系统分配唯一的名字、IP地址，并且处于某个Namespace中，那么我们如何在Pod的容器内获取Pod的这些重要信息呢？答案就是使用Downward API。Pod信息注入容器内部。(1)环境变量：用于单个变量，可以将Pod信息和Container信息...
【Kubernetes | Pod 系列】Pod 的基本管理（2）——对 Pod 的查询
VMware, Windows, Linux, Cisco, Container, Kubernetes, Kali
11-14 6971
博客介绍了如何查询 Kubernetes 对象 Pod，包括kubectl get pod -o wide和watch命令及参数详细说明。
java 调用k8s创建 pod
liaoxiaolin520的博客
10-20 3091
这里使用的包是 <dependency> <groupId>io.kubernetes</groupId> <artifactId>client-java</artifactId> <version>9.0.0</version> </dependency> <dependency> <groupId>io.kubernetes</groupId&
[Python脚本]抓取一Deployment下所有Pod的qps
ᠮᠤᠷᠢᠨ ᠬᠤᠭᠤᠷ
10-09 874
#!/usr/bin/python # -*- coding: UTF-8 -*- #===========================================================# #该脚本根据匹配到的Deployment进入到每个Pod下面抓取Nginx的QPS #zabbixServer端可以获取到值，客户端无法通过该脚本获取 #主要用于zabbix获取qps #=========================================================.
django namespace_Django实现WebSSH操作Kubernetes Pod
weixin_39951419的博客
11-24 327
优秀的系统都是根据反馈逐渐完善出来的上篇文章介绍了我们为了应对安全和多分支频繁测试的问题而开发了一套Alodi系统，Alodi可以通过一个按钮快速构建一套测试环境，生成一个临时访问地址，详细信息可以看这一篇文章：Alodi：为了保密我开发了一个系统系统上线后，SSH登陆控制台成了一个迫切的需求，Kubernetes的Dashboard控制台虽然有WebSSH的功能，但却没办法跟Alodi...
用Python操作Kubernetes的Job
Dragon的博客
09-12 2540
目录 初始化 创建Job 直接使用YAML 使用dict 监控Job运行 V1Job的使用 列出Job 读取Job 列出一个Job的Pod 删除Job 更新Job 总结 关于Kubernetes的Python SDK，几乎只有官方项目的examples。关于Job的基本增删改查操作，可以参考job_crud.py。但是，这只是基本用法，缺乏一些实用细节。 本文给出Python SDK操作Kubernetes Job的更多示例代码，以及相关解释。 pipinstallk..
以上yaml文件不需要设置PYSPARK_PYTHON 信息么？
最新发布
08-09
<think>根据用户的问题，我们需要确认在Kubernetes上为PySpark配置自定义Python环境（使用ZIP包）时，是否需要在YAML文件中显式设置`PYSPARK_PYTHON`环境变量。 ### 分析 1. **PySpark的Python环境机制**： - 默认情况下，PySpark使用`SPARK_HOME`下的`python`目录（即自带的Py4J和pyspark库）以及系统环境中的Python解释器。 - 当使用自定义Python环境（如通过ZIP包分发）时，我们需要确保Driver和Executor使用该环境中的Python解释器。 2. **`PYSPARK_PYTHON`的作用**： - `PYSPARK_PYTHON`环境变量用于指定PySpark Driver和Executor使用的Python解释器路径。 - 如果不设置，PySpark会使用系统默认的Python（通常是`/usr/bin/python3`），这可能与自定义环境不兼容。 3. **Kubernetes环境中的特殊要求**： - 在Kubernetes上，Driver和Executor Pods是动态创建的，因此必须确保每个Pod都使用ZIP包中的Python环境。 - 使用ZIP包分发Python环境时，我们通常将整个环境（包括Python解释器）打包进去，但注意：ZIP包中的Python解释器不能直接执行（因为ZIP是压缩文件，需要解压后使用）。 ### 结论 在以下情况下**必须设置**`PYSPARK_PYTHON`： 1. **自定义环境包含Python解释器**：如果ZIP包内包含完整的Python解释器（例如通过Conda或Virtualenv打包的Python可执行文件），则需要在YAML中指定解压后环境中的Python路径。 2. **使用非默认Python版本**：如果集群节点上的默认Python版本与所需版本不一致，必须显式指定。 ### 配置示例 在SparkApplication YAML中，通过`sparkConf`和Pod的`env`字段设置： ```yaml spec: sparkConf: "spark.kubernetes.driverEnv.PYSPARK_PYTHON": "/opt/spark/work-dir/pyenv/bin/python" # Driver的Python路径 "spark.kubernetes.executorEnv.PYSPARK_PYTHON": "/opt/spark/work-dir/pyenv/bin/python" # Executor的Python路径 driver: env: - name: PYSPARK_PYTHON value: "/opt/spark/work-dir/pyenv/bin/python" executor: env: - name: PYSPARK_PYTHON value: "/opt/spark/work-dir/pyenv/bin/python" ``` ### 注意事项 1. **ZIP包结构**： - 如果使用`conda-pack`或`virtualenv-pack`打包，解压后会得到一个包含`bin/python`的目录。 - 确保在YAML中指定的路径与ZIP包内的实际路径匹配。 2. **解压机制**： - PySpark不会自动解压ZIP包中的Python环境，因此需要： - 在SparkApplication的`initContainers`中手动解压，或 - 使用自定义入口点脚本（在容器启动时解压）。 3. **自定义镜像方案对比**： - 如果使用自定义镜像（包含预装Python环境），则无需设置`PYSPARK_PYTHON`，因为可以直接使用镜像中的Python路径[^1]。 ### 完整示例片段 结合ZIP包分发和路径设置： ```yaml apiVersion: "sparkoperator.k8s.io/v1beta2" kind: SparkApplication metadata: name: pyspark-custom-python spec: # ...其他配置 deps: pyFiles: - "s3a://your-bucket/pyspark_env.zip" # 包含Python环境的ZIP包 sparkConf: "spark.kubernetes.driverEnv.PYSPARK_PYTHON": "/opt/spark/work-dir/pyspark_env/bin/python" "spark.kubernetes.executorEnv.PYSPARK_PYTHON": "/opt/spark/work-dir/pyspark_env/bin/python" "spark.kubernetes.file.upload.path": "s3a://your-bucket/spark-uploads/" driver: env: - name: PYSPARK_PYTHON value: "/opt/spark/work-dir/pyspark_env/bin/python" volumeMounts: - name: workdir mountPath: /opt/spark/work-dir executor: env: - name: PYSPARK_PYTHON value: "/opt/spark/work-dir/pyspark_env/bin/python" volumeMounts: - name: workdir mountPath: /opt/spark/work-dir volumes: - name: workdir emptyDir: {} ``` ### 验证方法 在代码中添加检查： ```python import sys print(f"Python executable: {sys.executable}") print(f"Python version: {sys.version}") ``` ### 总结 在Kubernetes上使用ZIP包为PySpark配置自定义Python环境时，**需要显式设置`PYSPARK_PYTHON`环境变量**，指向ZIP包解压后环境中的Python解释器路径，以确保Driver和Executor使用正确的Python环境[^1]。 §§相关问题§§ 1. 如何正确打包包含Python解释器的ZIP环境用于PySpark on Kubernetes？ 2. 在Kubernetes中，如何为PySpark作业动态解压ZIP格式的Python环境包？ 3. 当使用自定义Python环境时，如何避免PySpark作业中的模块导入错误？</think>在 Kubernetes 上使用 ZIP 包为 PySpark 配置自定义 Python 环境时，**需要显式设置 `PYSPARK_PYTHON` 环境变量**。以下是详细分析和配置建议： ### 🔍 关键结论 1. **必须设置 `PYSPARK_PYTHON`**： - PySpark 需要明确知道使用哪个 Python 解释器路径 - 默认使用系统路径（如 `/usr/bin/python3`），可能不匹配自定义环境 - 未设置会导致使用系统 Python，可能缺少所需依赖[^1] 2. **ZIP 包场景的特殊性**： - ZIP 包中的 Python 环境需要解压后指定解释器路径 - 不同于预构建镜像（镜像中可直接指定 Python 路径） ### 🛠️ 配置示例（YAML 片段） ```yaml apiVersion: "sparkoperator.k8s.io/v1beta2" kind: SparkApplication spec: sparkConf: # 核心配置：指定Python解释器路径 "spark.kubernetes.driverEnv.PYSPARK_PYTHON": "/opt/spark/work-dir/pyenv/bin/python" "spark.kubernetes.executorEnv.PYSPARK_PYTHON": "/opt/spark/work-dir/pyenv/bin/python" driver: env: # 双重保障：Driver和Executor显式设置 - name: PYSPARK_PYTHON value: "/opt/spark/work-dir/pyenv/bin/python" executor: env: - name: PYSPARK_PYTHON value: "/opt/spark/work-dir/pyenv/bin/python" # ZIP包分发配置 deps: pyFiles: - "s3a://your-bucket/pyenv.zip" # 包含Python环境的ZIP包 ``` ### ⚙️ 工作原理 1. **ZIP 包分发**： - ZIP 包通过 `deps.pyFiles` 分发到 `/opt/spark/work-dir` - Spark 自动解压 ZIP 包（需基础镜像支持 `unzip` 命令） 2. **路径解析**： - 假设 ZIP 包解压后结构： ``` /opt/spark/work-dir/pyenv ├── bin/ │ └── python # Python解释器 ├── lib/ │ └── python3.8/ # 依赖库 └── ... ``` - `PYSPARK_PYTHON` 指向解压后的解释器路径 3. **环境验证**： 在代码中添加检查： ```python import sys print(f"Python路径: {sys.executable}") print(f"Python版本: {sys.version}") ``` ### ⚠️ 常见问题排查 若遇到 `No module named XXX` 错误： 1. 确认 `PYSPARK_PYTHON` 路径是否正确指向 ZIP 解压目录 2. 检查 ZIP 包是否包含完整的虚拟环境（使用 `conda-pack` 或 `virtualenv-pack` 打包） 3. 验证基础镜像是否包含 `unzip` 工具（否则需自定义镜像） ### 📌 最佳实践 1. **打包要求**： ```bash # 使用conda-pack打包（推荐） conda activate pyenv conda pack -n pyenv -o pyenv.zip ``` 2. **路径规范**： - 保持 ZIP 包内目录结构与 `PYSPARK_PYTHON` 配置一致 - 建议使用绝对路径：`/opt/spark/work-dir/<解压目录>/bin/python` > **关键总结**：在 Kubernetes 上使用 ZIP 包分发 PySpark 环境时，**必须显式配置 `PYSPARK_PYTHON`** 指向解压后的 Python 解释器路径，这是确保自定义依赖正确加载的核心机制[^1]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值