基于 kubeflow k8s 中运行jupyter 提交PySpark 任务

最新推荐文章于 2025-10-28 14:09:06 发布

shiter

最新推荐文章于 2025-10-28 14:09:06 发布

阅读量893

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据机器学习实践探索文章标签： pyspark jupyter k8s spark on k8s

本文链接：https://blog.youkuaiyun.com/wangyaninglm/article/details/117805255

大数据机器学习实践探索专栏收录该内容

130 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

文章大纲

制作镜像
- 最小依赖需要些什么？
jupyter 编写 pyspark
- 需要注意的问题
spark-submit 方式提交
- Cluster 模式提交
- Client模式提交
参考文献

制作镜像

这个不细谈了，主要建议直接使用官方提供的镜像。或者参加参考文件的方式

最小依赖需要些什么？

#安装
pip install pyspark==2.4.7
sudo apt-get install openjdk-8-jdk
pip install numpy
   
#配置环境变量   
SPARK_HOME = /opt/conda/lib/python3

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

shiter

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

8、分布式数据处理与特征准备：TensorFlow Transform与Apache Spark实践

agile9scrum的博客

09-24

本文深入探讨了使用TensorFlow Transform和Apache Spark进行分布式数据处理与特征准备的实践方法。详细介绍了TensorFlow Transform在数据一致性转换中的应用，以及Apache Spark在大规模数据清洗、特征提取和ML管道构建中的强大能力。通过实际案例分析和操作代码示例，展示了从原始数据到模型训练的完整流程，并对比了不同工具的适用场景。文章还提供了Kubeflow集成、性能优化及常见问题解决方案，帮助读者在真实项目中高效构建高质量的数据处理 pipeline。

在k8s上部署JupyterHub

m0_57860663的博客

11-16

905

生成一个代表32个字节的随机十六进制字符串，用作安全令牌，保存好字符串，放在下一步secretToken后面的双引号中。kubectl get svc -n jhub查看jupyterhub的地址和端口，然后去浏览器访问jupyterhub。# 替换为自己需要的镜像即可，本例中使用的是支持TensorFlow的镜像，可以从官方网站上去找合适的镜像。- display_name: "GPU Server" ## 普通GPU使用模式。5、使用kubectl get pod -n jhub查看pod是否正常。

1 条评论您还未登录，请先登录后发表或查看评论

Kubernetes（k8s）集群安装JupyterHub以及Lab

小云的博客

12-13

1850

背景JupyterHub 为用户组带来了笔记本的强大功能。它使用户能够访问计算环境和资源，而不会给用户带来安装和维护任务的负担。用户——包括学生、研究人员和数据科学家——可以在他们自己的工...

Kubeflow Pipelines：从入门到精通的完整指南

最新发布

networknomicon的博客

10-28

878

Kubeflow Pipelines（KFP）是Kubeflow的核心组件，为机器学习工作流提供基于Kubernetes的解决方案。它通过容器化组件解决了ML开发中的可重复性、可扩展性和协作难题。KFP的核心概念包括容器化组件、有向无环图结构的流水线、运行实例记录和工件追踪。文章展示了如何通过Python SDK创建包含数据处理、模型训练和评估的三步ML流水线。KFP将离散的ML流程整合为可管理、可重用的工作流，极大简化了ML项目的生命周期管理，避免了传统手动执行脚本的碎片化问题。

hadoop组件---spark实战----spark on k8s模式k8s原生方式spark2.4.4在python程序中通过conf创建sparkSession

直到世界的尽头

02-20

1365

我们在之前的文章中已经尝试了使用spark on k8s。 hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 client mode提交python程序和运行pyspark 不过使用的方式是spark-submit 或者 pyspark 来启动 spark on k8s。但是一般我们进行业务编程，都会有其他的处理逻辑，然后在 ...

Jupyterhub部署到k8s

weixin_44263052的博客

05-20

1276

jupyterhub部署到 kubernetes

K8S+Helm 安装 Jupyterhub

帷幄庸者的博客

07-22

2199

前提条件：准备好的k8s环境和helm环境准备配置文件生成随机数 openssl rand -hex 32 # 8fc2826e9ce6930ec26c9fd541c0620b448a947357edbdf9647516af16bbc798 配置config.yaml如下，token是上一步生成 proxy: secretToken: "8fc2826e9ce6930ec26c9fd541c0620b448a947357edbdf9647516af16bbc798" 安装JupyterHub.

如何将Jupyter Notebook连接到远程Spark集群并每天运行Spark作业？

weixin_26746401的博客

08-21

1735

As a data scientist, you are developing notebooks that process large data that does not fit in your laptop using Spark. What would you do? This is not a trivial problem. 作为数据科学家，您正在开发使用Spark处理笔记本电脑无法容...

别让技术成为瓶颈！AI应用架构师教你企业AI创新能力技术底座搭建

AI天才研究院

09-08

963

当ChatGPT掀起全球AI浪潮，几乎所有企业都意识到：AI不再是“选择题”，而是“生存题”。这些问题的根源，并非企业缺乏AI人才或资金，而是。就像建大楼需要坚实的地基，企业AI创新也需要统一、高效、安全的技术底座，才能让数据顺畅流动、算力按需分配、模型快速迭代、应用安全落地。

数据湖中的AI技术集成：架构师的实战解决方案

SuperAGI2025

08-22

1068

[数据湖AI集成架构图]

jupyterhub+k8s+spark/yarn

u011739062的博客

11-21

979

1.生产集群若是是Spark/Yarn，方便集成(docker内部链接到现有spark on yarn集群) 2.自定义镜像 2.1 work机上安装python3.7 link到/opt/conda/bin/python FROM jupyter/all-spark-notebook:2ce7c06a61a1 ENV HADOOP_HOME /usr/local/hadoop...

zero-to-jupyterhub-k8s：在Kubernetes上部署JupyterHub的Helm图表和文档

02-03

使用Kubernetes从零到JupyterHub 此仓库包含JupyterHub的Helm图表和使用指南。它们共同使您能够为大量用户（例如大学的教职员工和学生）提供JupyterHub。导游提供了用户友好的步骤，以使用和在云上部署。该指南是很好补充。舵图 JupyterHub Helm图表使用户可以在云环境中的Kubernetes集群上创建可复制且可维护的JupyterHub部署。已发布的图表可在我们的。历史本文档的许多初始基础是从UC Berkeley的JupyterHub和Kubernetes在程序中的成功使用中学到的信息。致谢感谢以下贡献者：亚伦·库里奇（Aaron Culich）卡罗尔·威林克里斯·霍尔德格拉夫埃里克·桑德尔瑞安·洛夫特（Ryan Lovett） Yuvi Panda 洛朗·戈德雷（Laurent Goderre）鼓励未来的贡献者也将自己添加到此README文件中。发牌该存储库获得了Apache2（与上游Kubernetes存储库匹配）和三子项BSD（与Project Jupyter存储库的其余部分匹配

jupyterhub-k8-sus:用于jupyter.demo.globus.org的自定义Jupyterhub Kubernetes单用户服务器

04-22

单用户服务器这是有人访问jupyter.demo.globus.org时启动的笔记本服务器。使用此处的单独构建库自动构建此处的所有内容：： nsglobusautobuilds用于获得dockerhub所需的广泛权限，以便使用自动构建（对公共和私有内容的读取和写入访问权限）。这扩展了此处列出的原始单用户服务器： : 这里的图像可能落后于最稳定的版本。我们还添加了一些Globus特定功能，例如确保安装了最新的Globus工具，并且可以与Globus教程笔记本一起运行：远端档案该映像取决于S3和Github上几个不同位置的远程文件。 S3包含要提取的文件清单，其中列出了要克隆的Github存储库。打算将此笔记本服务器配置为不具有持久性存储，并且在服务器关闭时将擦除所有存储。笔记本拉手-https: 文件/回购清单-https:

Jupyterhub on K8s 定制notebook镜像

一叶舟遥

01-06

3311

Jupyterhub使用Spawner实现用户Notebook环境的定制化。在Jupyterhub on k8s里用的是Kubespawner(https://jupyterhub-kubespawner.readthedocs.io/en/latest/) 配置Kubespawner 操作： - 保证在hub镜像中安装KubeSpawner，路径在/usr/local/lib/python3....

项目内部iframe嵌套jupyterhub for k8s

编程小将

11-27

2083

介绍： Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。——Jupyter Notebook官方介绍 jupyterhub是多用户版本的notebook，是在jupyter notebook基础之上又提供了一层服务。直接面向jupyterhub开发，可以更方便的区分用户 jupyterhub for k8s，是在kubernets上运行jupyterhub，可以更方便的进行容器编排与资源调度。而这些复杂的底层操作都交给它来实现

k8s+tensorflow+keras+jupyter部署

qq_33553493的博客

11-05

1197

参考链接：https://blog.youkuaiyun.com/weixin_40008349/article/details/81135847 一、使用docker命令拉取tensorFlow镜像 docker pull tensorflow/tensorflow:latest 二、使用docker run 命令创建容器运行新下载的tensorflow镜像 docker run -it tensor...

jupyterhub-k8s

u011739062的博客

08-15

2991

1、环境 win7、vituralblx(3)、cetnos7、k8s1.15.2、NFS https://blog.youkuaiyun.com/u011739062/article/details/99643177 https://mp.youkuaiyun.com/postedit/99473145 2.安装jupyterhub(k8s) 官网地址：http...

JupyterHub on Kubernetes-Helm安装

sinat_28371057的博客

11-21

849

JupyterHub on Kubernetes-Helm安装本文编译自https://zero-to-jupyterhub.readthedocs.io/en/latest/setup-jupyterhub.html 本文地址，https://my.oschina.net/u/2306127/blog/1836933，by openthings, 2018.06.28. 更多内容，参考JupyterHub on Kubernetes部署与应用指南。当我们有了Kubernetes clus...

Kubeflow

cnbird's blog

06-12

2612

https://github.com/kubeflow/kubeflow