自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 收藏
  • 关注

原创 幻方投研平台(hai-platform)分时运行机制详解

幻方投研平台(hai-platform)作为量化行业的代表性分布式训练平台,其设计理念在于提供高效、灵活且可扩展的多用户训练环境。其中,“分时运行”是一个非常值得研究的功能点——在资源紧张时,平台会主动挂起低优先级任务,以便高优先级任务抢占资源,随后在资源充足时再恢复被挂起的任务。在对其开源代码的阅读和测试中,我们发现某些关键实现并未完全公开,但整体原理仍可从已有信息中推断出来。本文将结合源码与文档,对“分时运行”的核心思路、实现过程和关键技术组件作进一步的探讨。

2025-01-21 20:52:27 1408

原创 Finding a needle in Haystack: Facebook’s photo storage

Haystack是面向Facebook的海量照片存储需求而设计的对象存储系统。相比之前NFS+NAS的存储方案,Haystack更经济、性能更高。原方案无法将全部metadata保存在内存中,因此查找metadata时的多次磁盘操作成为了系统的性能瓶颈。因此Haystack对metadata进行精简,使之能完全保存在内存中,从而提高系统的吞吐。

2025-01-20 23:46:22 1106

原创 如何实现一个极简k8s调度器

如何以最小可行的方式(MVP)实现一个能够正常工作的调度器。我们会忽略性能与复杂调度策略的实现细节,专注于 如何让它“跑起来”

2025-01-13 21:41:51 2078

原创 kubeedge离线部署

kubeedge离线部署前言部署流程云端部署(cloudcore)边端部署(edgecore)清除前言KubeEdge部署有两种方式:1. keadm部署;2. 二进制部署。这里只记录keadm的部署过程。keadm是kubeedge官方提供的部署工具,会对用户屏蔽掉一系列复杂的部署工作,官方部署文档参见https://kubeedge.io/zh/docs/setup/keadm_zh/使用keadm部署时的唯一难点就是很多物料可能因为墙的原因无法直接下载到,所以需要自行下载物料并放置到目标目录下

2021-11-17 17:06:01 2805 3

原创 Linux非root用户安装,初始化,启动MYSQL全流程(踩坑记)

Linux非root用户安装,初始化,启动MYSQL全流程(踩坑记)写作目的安装包准备安装Cmake安装MYSQL创建几个要用到的文件夹cmake构建mysql修改配置文件初始化mysql启动mysqlDONE写作目的如题,基本按照前人教程https://blog.youkuaiyun.com/g863402758/article/details/78529447中所述操作。然而一路上定然是有坑的,记录一...

2019-01-24 21:57:15 4757 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除