滴滴开源 Levin:数据闪电加载方案

图像去模糊资源整理 The Weizmann Institute of Science(魏茨曼科学研究所) http://www.wisdom.weizmann.ac.il/~levina/ 阅读详情

1.背景

互联网某些业务场景下,我们常会遇到这种情况:服务启动需要加载大量数据到内存,数据规模达数十G,数据更新频率较低(天级、小时级、分钟级),使用方式为静态查询。如业务订单数据、线下挖掘的策略规则,地图路网数据等。而在线服务基于稳定性考虑通常至少加载双版本数据,服务启动通常需要数分钟之久。暴露的问题包括服务上线旷日持久,人力成本高;需求排队无法快速迭代,时间成本高;回滚速度慢,由于要加载大量数据故障实例无法快速恢复造成稳定性隐患。

如同闪电(Levin)一般快速加载启动是根治这类问题的灵丹妙药。Levin是针对上述低频更新、静态使用、大规模数据的快速加载方案,高效托管大规模静态数据,加速大内存服务冷启动和热加载。

2.原理

服务启动唯快不破,但是在单纯的服务变更场景中(比如上线、回滚、故障恢复)虽然并不涉及任何数据变更,服务进程重启导致堆和栈内存数据都会随之消亡,启动后需要重新加载数据。那么数据能不能在进程间传递复用呢?最高效的进程间数据传递方式就是共享内存,共享内存可以突破进程生命周期实现跨进程重用,并且具有内存对象访问效率和充足的可用地址空间(下图Memory Mapping Area),鱼(启动速度)与熊掌(查询效率)可以兼得。

再考虑数据更新场景,通常指数据版本切换,此时磁盘数据读取在所难免,那么从数十G的数据文件到内存数据对象(通常为STL容器),是否存在更高效的转换方式?思考如果直接离线编译出数据对象内存布局写入二进制文件,在线服务启动时进行一次性共享内存分配和IO读取,可以进一步提高加载效率。

在确定了使用共享内存和容器数据离线编译之后,关键的问题来了,如何将容器放入共享内存?最大的障碍是指针和容器内存不连续性。Levin的武器是降维:容器对象内存布局一维化,在一维世界中只需首地址加长度就可以表达、读取和复制整个容器对象。由于同一块共享内存会映射到不同进程的不同虚拟地址,使用偏移量代替容器中的指针,实现地址无关的容器。

我们也对造好的轮子(Boost interprocess容器)进行调研,发现其基线测试性能表现不佳:最常用的vector/hashmap查询效率较标准容器慢10%~20%左右。最终Levin选择了自定义共享内存容器,并在数据静态使用方式的前提下做了一系列优化,具备简单易用、效率高、性能好、内存省的优点。并实现了工程化应用落地不可或缺的功能:如共享容器内存校验、版本管理。

3.功能与特性

▍STL-like共享内存容器

支持托管在共享内存片段上的容器,包括常用容器vector、set、map、hashset、hashmap等。并支持使用适配、组合、特化等手段自定义共享内存容器。 基线测试表明Levin容器查询性能较标准容器有所提升,内存使用效率优势明显(详见benchmark)

Levin2.jpg

▍离线数据编译

高效使用数据是在线服务的目标,数据规范化是构建复杂系统的前提。 很多以数据为核心的系统都会将数据流程划分为离线编译和在线加载,其中离线数据编译是数据高效转换的重要一环,利用离线单节点把数据转换为可以方便使用的格式,省掉在线服务多节点重复的转换和构建工作。 Levin支持离线数据编译功能,将原始数据编译为进程可直接读入的共享容器对象内存布局二进制文件,为在线服务提供更加高效的数据服务。

▍在线数据加载

加载离线阶段编译产出的数据文件至命名共享内存区域,支持共享容器对象申请、校验、加载、释放。 Levin在线数据加载进行一次性共享内存分配和读取,省掉构建过程大量brk/mmap内存分配系统调用,减少IO次数,为在线服务数据加载进一步提速。下图是以上介绍的数据使用流程,推荐这种方式。

▍管理模块

用户大量使用共享容器时,共享容器使用情况全景不透明,逐个释放容易遗漏,服务出现异常等情况下会导致无用数据驻留内存空间,浪费节点内存资源。 Levin提供管理模块,支持共享容器以集合(group)的方式进行管理,相同生命周期的共享容器可交由同一管理模块实例托管,进行统一的创建、加载,释放。管理模块还支持共享容器全局搜索功能。支持安全释放、清理功能,避免容器数据异常销毁或无用容器驻留系统。支持可定制的数据文件校验方式,降低文件校验耗时。

▍版本切换

使用Levin管理模块对同版本容器数据进行group管理,卸载特定版本时可安全、统一释放相应的共享容器集合,完美支撑用户数据版本热切换需求实现。

4.内部实践

Levin内部应用实践效果:落地服务冷启动和热加载耗时均由分钟级降至秒级。内存用量方面优化明显,Levin容器静态数据转而由共享内存托管,与服务session动态数据分离。观察数据版本切换场景,磁盘IO次数大幅降低,切换导致的cpu抖动也明显缓解。以上,本文开头提到的人力、时间成本浪费和稳定性隐患问题迎刃而解。 闪电加载,你值得拥有!Getting Started

5.项目页面

GitHub:
GitHub - didi/levin: A Quick Way to Bulk LoadingDocumentation:
https://github.com/didi/levin/wiki 欢迎Star,欢迎Issue。

【信息科学与工程学】【数据中心】第三十五篇 云计算数据中心的学科知识04 编号学科(课程)核心知识点在云计算/云存储/云网络/云安全/云MaaS中的作用代表教材/资料/论文 + 数学方程式列表工业界应用D1421​云原生数据库:TiDB​HTAP(混合事务/分析处理)、分布式SQL、水平扩展、强一致(Raft)、自动故障恢复、与MySQL兼容、TiFlash列式引擎提供弹性扩展的分布式数据库;支撑高并发在线交易与实时分析教材:《TiDB in Action》PingCAP(2020) 论文:《TiDB: A Raft-based HTAP Database》(2017) 阅读详情

相关推荐

Windows平台MuJoCo仿真环境配置与Qt集成实战

本文详细介绍了在Windows平台上配置MuJoCo物理仿真环境并与Qt框架集成的完整实战流程。内容涵盖从环境准备、库文件配置、项目创建到核心代码编写的每一步,重点解决了Windows下常见的编译链接错误和路径问题,帮助开发者在Windows系统中高效搭建机器人仿真与可视化控制开发环境。

weixin_29221753的博客 178

【数据集】——NYU Depth Dataset V2简介

简介: NYU-Depth V2数据集由微软Kinect的RGB和Depth摄像机记录的各种室内场景的视频序列组成。它的特点: 1449张标注的RGB图片和深度图 来自3个城市,464个场景 407024张没有标注的图片 每个对象都有一个类和一个实例号(cup1、cup2、cup3等),像实例分割 数据集有几个部分: 标签:视频数据的一个子集,带有密集的多类标签。这些数据也经过预处理,以填补缺失的深度标签。 Raw: Kinect提供的原始rgb、深度和加速度计数据。 工具箱:用于操作数据和标签的有用函

怡宝2号 1万+

高分三号SAR影像超精细条带数据预处理实战:从原始数据到地理编码的完整操作指南

本文提供了高分三号SAR影像超精细条带数据预处理的完整实战指南。详细介绍了从原始数据导入、多视处理、滤波去噪、DEM准备到地理编码与辐射定标的完整流程,帮助用户利用SARscape软件将原始SAR数据转化为可用于分析的地理编码产品。

tree8的博客 579

Re15:读论文 LEVEN: A Large-Scale Chinese Legal Event Detection Dataset

论文阅读笔记:LEVEN: A Large-Scale Chinese Legal Event Detection Dataset

诸神缄默不语的博客 2003

如何使用MCP2518FD外部CAN FD控制器实现速速CAN通信

1、SPI时序MCP2518FD外部CAN FD控制器具有小尺寸和SPI接口,可实现轻松连接。可将CAN FD通道轻松添加到缺少CAN FD外设或没有所需CAN FD通道的微控制器上。MCP2518FD支持经典格式 (CAN 2.0B) 和CAN灵活数据速率 (CAN FD) 格式中的CAN帧格式,符合ISO11898-1:2015标准。框图:本文实验板MCU:CAN FD控制器:MCP2518FDCAN FD收发器:ATA6560开发环境:想了解开发板更详细信息,请点击。

qq_57798018的博客 1万+

ISA-95(S95)标准详解

ISA-95是制造业系统集成的“通用语言”,通过分层模型和信息流规范,打通企业计划层与设备控制层,成为实现数字化工厂的核心标准之一。其与ISA-88的协同应用,可进一步优化生产执行与资源管理的效率。标准,旨在解决企业商业系统(如ERP)与工业控制系统(如MES、SCADA)之间的集成问题。

「东哥说MES」 专注于MES制造执行系统,为你拆解核心架构、功能模块及与ERP/PLC的集成逻辑。提供从入门到精通的系列干货、精选行业报告与实用工具,构建你的数字化知识体系,关注我,用实战经验照亮你的数字化之路。 3742

Deep Image Deblurring: A Survey 去模糊文献阅读

图像去模糊是低层计算机视觉中的经典问题,其目标是从模糊的输入图像中恢复出清晰图像。模糊可能由多种因素引起,例如失焦、相机抖动或目标快速运动。近年来,深度学习技术的进步显著推动了这一问题的解决,大量去模糊网络被提出。本文旨在对近期发表的基于深度学习的图像去模糊方法进行全面且及时的综述,以服务于学术界作为有价值的文献参考。我们首先讨论图像模糊的常见成因,介绍基准数据集和性能指标,并总结不同的问题建模方式。接着,我们提出一种基于卷积神经网络(CNN)的方法分类体系,从架构、损失函数和应用角度进行详细回顾与比较。

qq_45987837的博客 2230

深入了解 Google Gemini:主要功能是什么以及我们为什么要使用它?

Google Gemini开启AI新纪元,以其独特的多模式功能重塑技术未来。

KompasAI的博客 4076

中路由切换页面会重新加载吗_滴滴开源 Levin:数据闪电加载方案

来自:滴滴技术1.背景互联网某些业务场景下,我们常会遇到这种情况:服务启动需要加载大量数据到内存,数据规模达数十G,数据更新频率较低(天级、小时级、分钟级),使用方式为静态查询。如业务订单数据、线下挖掘的策略规则,地图路网数据等。而在线服务基于稳定性考虑通常至少加载双版本数据,服务启动通常需要数分钟之久。暴露的问题包括服务上线旷日持久,人力成本高;需求排队无法快速迭代,时间成本高;回滚速度慢,由于...

weixin_31993699的博客 164

【雷达通信】雷达信号处理仿真【含Matlab源码 2509期】

雷达信号处理仿真 完整的代码,方可运行;可提供运行操作视频!适合小白!

订阅付费专栏Matlab(奶茶价版),可赠送奶茶价版付费专栏指定代码1份; 906

如何在不牺牲精度的前提下,把 YOLOv11 压缩到 Jetson 能跑的程度

YOLOv11 在目标检测任务中具备较强的准确性与多尺度鲁棒性,但其原始模型参数规模与计算量,对边缘设备来说并不友好,特别是面向 Jetson 这类资源受限的推理平台。本文基于实际部署场景,逐步拆解从结构层级改造、剪枝策略制定、量化导出流程,到 Jetson TensorRT 推理落地全过程。在不牺牲主干精度的前提下,最终实现 YOLOv11 推理延迟缩短 3 倍、模型体积压缩 4 倍、mAP 损失控制在 1% 以内的轻量化优化结果,并总结出一条可复用的工程路径,供工业界与边缘侧模型部署开发者参考。

努力分享一些人工智能、计算机视觉、影像等相关的知识干货! 2427

图像处理数据集

斯坦福背景数据集(SBD)结合了几个数据集的715张图像。3.在lib_tools/bsds500_convert_script.m中,调整目录的路径,即正确设置BSDS500_DIR。为了手动转换NYUV2数据集并提取使用的验证和测试子集,请使用lib_tools/nyuv2_convert.script.m。500张数据集=200训练集train+100验证集val+200测试集test。该数据集提供了语义上的地面真实分割,需要进行类似于NYUV2数据集的预处理。对于参数优化,使用了验证集。

cocapop的博客 3033

【芯片设计- RTL 数字逻辑设计入门 番外篇6 -- 术语 Tile 介绍】

在系统级芯片(System on Chip, SoC)设计中,“tile” 是一个可以指代不同概念的术语,但通常它指的是芯片上的一个独立的功能单元或核心。一个 tile 可以包含一个或多个处理器核心、缓存、内存控制器、输入输出设备、外设接口或其他功能模块。在 SoC 上,多个 tile 可以被组合和连接起来,以形成一个完整的系统。

CodingCos的博客 3082

论文分享|非自然L0稀疏表示:为自然图像去模糊开辟新径

本文介绍了一种基于非自然L0稀疏表示的单幅图像运动去模糊方法。针对传统最大后验概率(MAP)方法在盲去卷积中的局限性,研究者观察到成功去模糊算法的中间步骤都隐含或显式地产生了一种仅包含显著图像结构的“非自然表示”。基于此,论文提出了一个数学上严谨的L0稀疏近似方案,该方案通过设计一个新颖的分段惩罚函数来逼近L0范数,从而在优化过程中直接生成具有稀疏梯度的中间图像。该方法无需额外滤波步骤,优化过程能量下降迅速,仅需少量迭代即可收敛,并首次为均匀与非均匀运动去模糊提供了一个统一的求解框架。实验在多个标准数据集上

AladdinEdu,你的AI学习实践工作坊。让想法落地,让研究加速。助力高校AI人才成长,点亮创新未来。 666

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

法学领域的技术创新点

2022年的新任务。词级别分类,有点像序列标注,但不需要在所有词上面做预测。一共108种事件类型。训练集、验证集1来自于论文 LEVEN(ACL 2022 Findings), 包含8000+份文书,60000+个句子。验证集2和最终测试集将以混淆数据的形式向选手开放。作者:Erutan Lai链接:https://zhuanlan.zhihu.com/p/550558067来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

Hekena的博客 949

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

L-Eval:一个60k左右长文评测数据集

多项选择题(coursera, quality, tpo)数学问题(gsm100)话题检索(topic_retrieval)各种形式的问题回答(financial_qa, legal_contract_qa, multidoc_qa, natural_question, narrative_qa, scientific_qa)

木尧大兄弟 3870

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Deep Image Deblurring: A Survey 文献阅读

图像去模糊是低层计算机视觉中的经典问题,其目标是从模糊的输入图像中恢复出清晰图像。模糊可能由多种因素引起,例如失焦、相机抖动或目标快速运动。近年来,深度学习技术的进步显著推动了这一问题的解决,大量去模糊网络被提出。本文旨在对近期发表的基于深度学习的图像去模糊方法进行全面且及时的综述,以服务于学术界作为有价值的文献参考。我们首先讨论图像模糊的常见成因,介绍基准数据集和性能指标,并总结不同的问题建模方式。接着,我们提出一种基于卷积神经网络(CNN)的方法分类体系,从架构、损失函数和应用角度进行详细回顾与比较。

qq_45987837的博客 977

对Iris数据集使用LibSVM工具分别进行线性、多项式、高斯核这三种分类训练

目录一、下载LibSVM二、使用LibSVM手动创建Iris数据集三、模型训练得出决策函数的数学公式(1)创建项目(2)运行四、总结五、参考资料 一、下载LibSVM 百度网盘下载: 链接:https://pan.baidu.com/s/171JAO7nhlsGRsXenbs8-uA 提取码:762w 二、使用LibSVM手动创建Iris数据集 1.解压后打开文件 如下: 2.打开windows–>svm-toy.exe 3.可以手动在该程序上标点,点击change可以改变颜色 4.数据设置完成

m0_49297422的博客 1125

D-HAZY :一个用于定量评估去雾算法的数据集

原文 摘要 去雾处理是近年出现的一种图像增强技术。尽管它很重要,但是没有数据集来定量评估这些技术。在本文中,我们介绍了一个包含1400多对图像的数据集,这些图像包含地面真实参考图像和同一场景的模糊图像。由于光照条件的变化,记录这样的图像是不可行的,我们通过合成复杂场景的真实图像中的雾度来建立数据集。我们的数据集被称为D - HAZY,是建立在Middelbury [1]和NYU Depth [2]...

cherry1307的博客 1万+

LWN:滚动发布的稳定版内核!

关注了就能看到更多这么棒的文章哦~Rolling stable kernelsBy Jake EdgeOctober 6, 2021OSSNADeepL assisted translat...

Linux News搬运工 535

LWN: Linux稳定分支状况以及相应测试

点击上方蓝色字关注我们~Testing and the stable treeByJake EdgeMay 28, 2019LSFMMSasha Levin在2019 ...

Linux News搬运工 548

纽约poi数据集_NYU-Depth V2-纽约大学各种室内场景数据集

该数据是由纽约大学创建,提供了各种室内场景数据,欢迎访问帕伊提提下载使用(https://www.payititi.com).NYU-Depth V2数据集由Microsoft Kinect的RGB和Depth摄像机记录的各种室内场景的视频序列组成。它具有以下特点: 1、1449个密集标记的RGB和深度图像对齐对 2、来自3个城市的464个新场景 3、407,024个新的未标记帧 4、每个对象都标...

weixin_39637545的博客 1027

【深度学习】滴滴出行-交通场景目标检测

本次案例将使用深度学习技术来完成城市交通场景下的目标检测任务,案例所使用的数据集由滴滴出行提供,基于D2-City大规模行车记录视频数据集[1],经过视频抽帧等预处理步骤得到。数据集共包含12,000张图像,每张图像的大小为1080×1920或720×1280,已划分为训练集(10,000张)、验证集(1,000张)、测试集(1,000张),其中训练集和验证集提供了检测标签,测试集仅提供图像,用于提交后测试模型效果。

你一定能够成为你想要去成为的人。 4536

Linux内核新动作!

Linux内核是系统的底座。对于所有的上层技术而言,内核是基石,是支柱。内核的性能、稳定性乃至技术创新方向,都会对整个Linux生态产生重要影响。这就是为什么要不遗余力去重视Linux内核的维护。问题的症结在于,向后移植是一项繁重的工作,将维护负担交给无薪志愿者,倦怠在所难免。所以有这样一种声音:向后移植的负荷应该让从长达6年的服务中获利的公司承担才合理。

IT界那些事儿 2301
上一篇: 集群、限流、缓存 BAT 大厂无非也就是这么做
下一篇: 这份Java面试良心资料,不妨大家来瞅瞅,诚心推荐哦~
JavaMonsterr
博客等级 码龄4年 211粉丝 481原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值