crazybean_lwb的博客

如果find_unused_parameters设置为True，DDP 会分析本地模型的输出，从 out 开始遍历计算图，把未使用参数标示为 ready，因为每次计算图都会改变，所以每次都要遍历。此模式（Mode）允许在模型的子图上向后运行，并且 DDP 通过从模型输出out遍历 autograd 图，将所有未使用的参数标记为就绪，以减少反向传递中涉及的参数。自动微分的精髓在于它发现了微分计算的本质：微分计算就是一系列有限的可微算子的组合。假设显卡数量为N，将每张卡的梯度分为N个桶，每张卡的梯度总量是K。

对kubeflow workflow的构建流程做解析

feast特征仓库

第三方模块中的循环引用

artifact作为结果信息展示的工具，主要服务于kubeflow notebook server和kubeflow pipelines，现结合artifact的应用作介绍。Metadatakubeflow artifact store最早称之为metadata store，它的定位是记录和管理kubeflow机器学习工作流中的元数据。想要记录工程中的metadata，你需要使用专用的Metadata SDK，在python中使用pip安装即可:pip install kubeflow-metada

pipelines简介pipelines是一个机器学习工作流的抽象概念，这个工作流可以小到函数的过程、也可以大到机器学习从数据加载、变换、清洗、特征构建、模型训练等多个环节。在kubeflow中，该组件能以ui界面的方式记录、交互、反馈实验、任务和每一次运行。pipelines各流程组件构建成功后，会依据事先定义好的组件依赖关系构建DAG（有向无环图）。在pipelines构建各流程组件前，需要将对应流程的业务代码打包成docker镜像文件（kubeflow中运行业务代码均以容器的方式实现）业务代

pipeline sdk是使用python配合kubeflow pipelines功能的工具包，文档在此进行了简单搬运，如果有想了解更多可以阅读原始文档：https://www.bookstack.cn/read/kubeflow-1.0-en/dc127d6c8622b832.md此外，为了简化用户使用kubeflow pipelines功能，对常用api做了使用封装。常用api简介将一个用dsl.pipeline装饰的工作流方法，编译成一个k8s任务.yaml配置的压缩文件:Compiler.

kubeflow中起notebook服务在kubeflow中使用notebook servers功能本质是起一个jupyter lab（当然，你可以选择其他jupyter的其他衍生产品）容器，在容器中起一个jupyter的服务。所以在kubeflow中构建自己的notebook服务，你只需要按照如下步骤即可：第一步：在ui界面中找到notebook servers的子界面第二步：新建个人notebook服务第三步：配置notebook服务notebook服务名称，默认是不能重复的。n

坑！！！

Magic Command简介Jupyter magic 命令形似%abc(line magic), %%abc(cell magic)我们常用的画图命令%matplotlib就是一种magic命令。magic命令是对jupyter功能的扩展，使用magic能简化在jupyter做实验编写代码工作，解决重复代码操作、新人编写和理解功能模块困难等问题。自定义Magic的方式目前官方推荐的有“...

前言pip上拥有丰富的第三方包，这是使用Python做开发的一个优势，但是在一个 Python 环境下开发时间越久、安装依赖越多，就越容易出现依赖包冲突的问题（使用pyspark做开发时，pandas和numpy包版本冲突给我本人带来不少难忘的回忆）。Python的包只能同时安装一个版本，对一个开发多个复杂项目的环境来说，只有像Java系的Maven库那样，多个版本同时保留，依赖检查延迟到打包时...

python类中的隐藏函数

说明代码的交互作用不能仅限于人与机器，更应该扩展到人与人，所以才有代码规范这一需求；一段好的代码不仅需要结构简单、功能块分工明确，而且别人能容易读懂。使用Pycharm等 IDE可以设置自己喜欢的代码风格，这种规范好的代码风格可以帮助新手规避掉很多很多常识性错误，本文档在此不做叙述（如果有兴趣可以通读python规范.pdf）。接下就“Imports 导⼊”、“注释”、“命名”、“代码结构”...

Python高级运用之修饰器

old-style and new-style 区分问题的引出Python刚入门者或者因为业务接触Python的同学们，大多从Python3入手（现在很多的规范都是基于3展开）。但是由于历史原因，很多老旧业务的服务还是基于Python2，这就会造成很多不理解2与3版本差异的同学莫名碰到一些问题，old-style and new-style就是面向对象编程时会遇到的一个问题。问题描述子类El...