crazybean_lwb的博客

如果find_unused_parameters设置为True，DDP 会分析本地模型的输出，从 out 开始遍历计算图，把未使用参数标示为 ready，因为每次计算图都会改变，所以每次都要遍历。此模式（Mode）允许在模型的子图上向后运行，并且 DDP 通过从模型输出out遍历 autograd 图，将所有未使用的参数标记为就绪，以减少反向传递中涉及的参数。自动微分的精髓在于它发现了微分计算的本质：微分计算就是一系列有限的可微算子的组合。假设显卡数量为N，将每张卡的梯度分为N个桶，每张卡的梯度总量是K。

feast特征仓库

生产业务中的主流模型序列化结构

kubeflow中起notebook服务在kubeflow中使用notebook servers功能本质是起一个jupyter lab（当然，你可以选择其他jupyter的其他衍生产品）容器，在容器中起一个jupyter的服务。所以在kubeflow中构建自己的notebook服务，你只需要按照如下步骤即可：第一步：在ui界面中找到notebook servers的子界面第二步：新建个人notebook服务第三步：配置notebook服务notebook服务名称，默认是不能重复的。n

构建自定义kubeflow notebook镜像构建notebook镜像的基本要求，是在镜像的python环境中安装jupyter和notebook 的工具包。下面我以tensorflow/tensorflow:1.12.0-gpu-py3官方的基础镜像为例，构建用户自定义notebook镜像。第一步：下载基础镜像在公司办公网络的环境下，下载基础镜像会比较花时间，可以把下载基础镜像的工作放在晚上。基础镜像作为构建个性化镜像的基础，可以复用。接下来我们的操作是在基础镜像的基础进行的。第二步：构建镜

Magic Command简介Jupyter magic 命令形似%abc(line magic), %%abc(cell magic)我们常用的画图命令%matplotlib就是一种magic命令。magic命令是对jupyter功能的扩展，使用magic能简化在jupyter做实验编写代码工作，解决重复代码操作、新人编写和理解功能模块困难等问题。自定义Magic的方式目前官方推荐的有“...

MLflow简介机器学习不是一个单向的pipeline，而是一个迭代的循环。其中包括四大部分：数据预处理、模型训练、模型部署、数据更新。行业痛点：数据预处理和模型训练都涉及到参数调整，不同参数对应的代码、不同参数对应的效果只能手动记录，这种方式比较费时费力而且不能保证每次记录都保存下来。开发模型和模型部署是两个分开的环节，需要大量的沟通工作以及代码改写以及环境的配置，费时费力。MLflo...