<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[crazybean_lwb的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/crazybean_lwb</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; crazybean_lwb]]></copyright><item><title><![CDATA[大模型分布式训练并行技术分享]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/139178770</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/139178770</guid><author>crazybean_lwb</author><pubDate>Sun, 26 May 2024 10:13:24 +0800</pubDate><description><![CDATA[目前业内解决大模型问题，基本以多节点、分布式方案为主。分布式方案具体的实施时，又分为数据并行、参数并行、流水线并行等，针对具体的业务场景采取合适的并行方案方可带来更高的效率。后续结合业内主流的分布式框架，具体介绍各种并行的思路以及可能带来的收益。]]></description><category></category></item><item><title><![CDATA[Pytorch DDP分布式细节分享]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/138867057</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/138867057</guid><author>crazybean_lwb</author><pubDate>Thu, 23 May 2024 19:38:36 +0800</pubDate><description><![CDATA[如果find_unused_parameters设置为True，DDP 会分析本地模型的输出，从 out 开始遍历计算图，把未使用参数标示为 ready，因为每次计算图都会改变，所以每次都要遍历。此模式（Mode）允许在模型的子图上向后运行，并且 DDP 通过从模型输出out遍历 autograd 图，将所有未使用的参数标记为就绪，以减少反向传递中涉及的参数。自动微分的精髓在于它发现了微分计算的本质：微分计算就是一系列有限的可微算子的组合。假设显卡数量为N，将每张卡的梯度分为N个桶，每张卡的梯度总量是K。]]></description><category></category></item><item><title><![CDATA[Kubeflow pipeline构建workflow流程解析]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/131193757</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/131193757</guid><author>crazybean_lwb</author><pubDate>Sun, 12 May 2024 21:59:21 +0800</pubDate><description><![CDATA[对kubeflow workflow的构建流程做解析]]></description><category></category></item><item><title><![CDATA[spark支持深度学习批量推理]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/131250802</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/131250802</guid><author>crazybean_lwb</author><pubDate>Thu, 31 Aug 2023 20:11:24 +0800</pubDate><description><![CDATA[在数据量较大的业务场景中，spark在数据处理、传统机器学习训练、深度学习相关业务，能取得较明显的效率提升。本篇围绕spark大数据背景下的推理，介绍一些优雅的使用方式。]]></description><category></category></item><item><title><![CDATA[K8s operator从0到1实战]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/132111540</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/132111540</guid><author>crazybean_lwb</author><pubDate>Sun, 06 Aug 2023 17:25:44 +0800</pubDate><description><![CDATA[k8 crd入门]]></description><category></category></item><item><title><![CDATA[数据管理之特征仓库]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/120570790</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/120570790</guid><author>crazybean_lwb</author><pubDate>Mon, 20 Feb 2023 20:13:46 +0800</pubDate><description><![CDATA[feast特征仓库

]]></description><category></category></item><item><title><![CDATA[盘点常见的机器学习模型序列化结构]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/114966884</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/114966884</guid><author>crazybean_lwb</author><pubDate>Sun, 17 Oct 2021 21:05:03 +0800</pubDate><description><![CDATA[生产业务中的主流模型序列化结构

]]></description><category></category></item><item><title><![CDATA[解析python模块中的loop import]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/115621829</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/115621829</guid><author>crazybean_lwb</author><pubDate>Thu, 29 Jul 2021 20:03:59 +0800</pubDate><description><![CDATA[第三方模块中的循环引用

]]></description><category></category></item><item><title><![CDATA[Kubeflow Artifact Store简介]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/109392625</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/109392625</guid><author>crazybean_lwb</author><pubDate>Fri, 30 Oct 2020 20:39:42 +0800</pubDate><description><![CDATA[artifact作为结果信息展示的工具，主要服务于kubeflow notebook server和kubeflow pipelines，现结合artifact的应用作介绍。
Metadata
kubeflow artifact store最早称之为metadata store，它的定位是记录和管理kubeflow机器学习工作流中的元数据。
想要记录工程中的metadata，你需要使用专用的Metadata SDK，在python中使用pip安装即可:
pip install kubeflow-metada]]></description><category></category></item><item><title><![CDATA[使用kubeflow调参工具Katib]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/109392330</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/109392330</guid><author>crazybean_lwb</author><pubDate>Fri, 30 Oct 2020 20:30:48 +0800</pubDate><description><![CDATA[调参工具的工作原理是：将深度学习的训练、实验过程以kubeflow任务的形式发布，多次实验迭代会有多个任务发布；
目前Katib能支持一些主流算法框架，如tensorflow、mxnet、pytorch、xgboost等。
目前Katib调参功能细化为：超参数调节和神经网络结构搜索，开发者可以在kubeflow ui中实现配置和发布调参任务。
Hyperparameter Tuning
如下图所示，开发人员在ui中设置调参配置有两种方式：对k8s比较熟练的人员可以选择yaml文件配置；
不熟练的人员可以选择]]></description><category></category></item><item><title><![CDATA[使用Kubeflow pipelines]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/109326313</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/109326313</guid><author>crazybean_lwb</author><pubDate>Wed, 28 Oct 2020 09:50:47 +0800</pubDate><description><![CDATA[pipelines简介
pipelines是一个机器学习工作流的抽象概念，这个工作流可以小到函数的过程、也可以大到机器学习从数据加载、变换、清洗、特征构建、模型训练等多个环节。
在kubeflow中，该组件能以ui界面的方式记录、交互、反馈实验、任务和每一次运行。
pipelines各流程组件构建成功后，会依据事先定义好的组件依赖关系构建DAG（有向无环图）。
在pipelines构建各流程组件前，需要将对应流程的业务代码打包成docker镜像文件（kubeflow中运行业务代码均以容器的方式实现）
业务代]]></description><category></category></item><item><title><![CDATA[pipelines sdk简介]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/109325975</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/109325975</guid><author>crazybean_lwb</author><pubDate>Wed, 28 Oct 2020 09:49:30 +0800</pubDate><description><![CDATA[pipeline sdk是使用python配合kubeflow pipelines功能的工具包，文档在此进行了简单搬运，如果有想了解更多可以阅读原始文档：
https://www.bookstack.cn/read/kubeflow-1.0-en/dc127d6c8622b832.md
此外，为了简化用户使用kubeflow pipelines功能，对常用api做了使用封装。
常用api简介
将一个用dsl.pipeline装饰的工作流方法，编译成一个k8s任务.yaml配置的压缩文件:
Compiler.]]></description><category></category></item><item><title><![CDATA[使用Kubeflow notebook servers]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/109325722</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/109325722</guid><author>crazybean_lwb</author><pubDate>Wed, 28 Oct 2020 09:48:09 +0800</pubDate><description><![CDATA[kubeflow中起notebook服务
在kubeflow中使用notebook servers功能本质是起一个jupyter lab（当然，你可以选择其他jupyter的其他衍生产品）容器，在容器中起一个jupyter的服务。
所以在kubeflow中构建自己的notebook服务，你只需要按照如下步骤即可：
第一步：
在ui界面中找到notebook servers的子界面

第二步：
新建个人notebook服务

第三步：
配置notebook服务

notebook服务名称，默认是不能重复的。n]]></description><category></category></item><item><title><![CDATA[构建docker镜像基本教程]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/109325849</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/109325849</guid><author>crazybean_lwb</author><pubDate>Wed, 28 Oct 2020 09:45:51 +0800</pubDate><description><![CDATA[构建自定义kubeflow notebook镜像
构建notebook镜像的基本要求，是在镜像的python环境中安装jupyter和notebook 的工具包。
下面我以tensorflow/tensorflow:1.12.0-gpu-py3官方的基础镜像为例，构建用户自定义notebook镜像。
第一步：下载基础镜像
在公司办公网络的环境下，下载基础镜像会比较花时间，可以把下载基础镜像的工作放在晚上。
基础镜像作为构建个性化镜像的基础，可以复用。接下来我们的操作是在基础镜像的基础进行的。
第二步：构建镜]]></description><category></category></item><item><title><![CDATA[记一次python在代理环境中使用requests请求服务遇到的坑]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/108796451</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/108796451</guid><author>crazybean_lwb</author><pubDate>Tue, 20 Oct 2020 20:38:44 +0800</pubDate><description><![CDATA[坑！！！

]]></description><category></category></item><item><title><![CDATA[使用dashboard查看k8s任务和资源使用]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/108796555</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/108796555</guid><author>crazybean_lwb</author><pubDate>Fri, 25 Sep 2020 21:44:29 +0800</pubDate><description><![CDATA[dashboard

]]></description><category></category></item><item><title><![CDATA[安装kubeflow]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/107570017</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/107570017</guid><author>crazybean_lwb</author><pubDate>Fri, 24 Jul 2020 21:43:29 +0800</pubDate><description><![CDATA[此处为安装kubeflow 1.0.2版本的教程，其他版本仅作为参考。
准备工作
如果没有配置docker访问外网代理，可以参考离线安装docker配置代理部分
如果没有安装kubernetes集群，可以参考离线使用kubeadm安装kubernetes集群
下载需要的资源
1.从https://github.com/kubeflow/kfctl/releases/下载v1.0.2版本对应的kfctl二进制文件：

解压安装包并添加到执行路径：
tar -xvf kfctl_v1.0.2-0-ga47628]]></description><category></category></item><item><title><![CDATA[离线使用kubeadm安装kubernetes集群]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/107569115</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/107569115</guid><author>crazybean_lwb</author><pubDate>Fri, 24 Jul 2020 20:57:46 +0800</pubDate><description><![CDATA[由于生产机器网络的原因，在这里安装工具和镜像均使用离线的方式
环境准备
准备至少满足2c1g性能的机器若干
1.关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

2.关闭selinux
sed -i s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/config
setenforce 0

3.关闭swap
swapoff -a
cp /etc/fstab /etc/fstab_bak]]></description><category></category></item><item><title><![CDATA[离线安装docker]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/107568899</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/107568899</guid><author>crazybean_lwb</author><pubDate>Fri, 24 Jul 2020 20:28:28 +0800</pubDate><description><![CDATA[生产服务器访问外网受限，此外使用yum源下载镜像的速度较慢，在此介绍离线安装的方法。
第一步：准备docker离线包
在这里选择的是官方离线包(docker官方离线包下载地址)，在这里可以按自己的需求选择对应的版本。我安装使用的是docker-17.03.2-ce.tgz版本。
第二步：准备配置文件和安装脚本
为了方便查找，新建路径~k8s/docker，切换到该路径下。
新建docker.service系统配置文件
[Unit]
Description=Docker Application Contain]]></description><category></category></item><item><title><![CDATA[Spark On Yarn的两种模式解析]]></title><link>https://blog.youkuaiyun.com/crazybean_lwb/article/details/106316513</link><guid>https://blog.youkuaiyun.com/crazybean_lwb/article/details/106316513</guid><author>crazybean_lwb</author><pubDate>Sun, 24 May 2020 16:41:52 +0800</pubDate><description><![CDATA[使用yarn能对spark的运行资源调动进行动态划分，spark on yarn有yarn-client和yarn-cluster两种模式。这两种模式的作业虽然都运行在yarn上，但是运行方式不一样；下面解析一下这两种模式下提交作业到运行的全过程。
运行中涉及到的名词

Application: Appliction都是指用户编写的Spark应用程序，其中包括一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码
Driver: Spark中的Driver即运行上述Applicatio]]></description><category></category></item></channel></rss>