浅析NSDI'2013上的两篇和memcached相关的论文

最新推荐文章于 2024-04-23 17:15:04 发布

原创最新推荐文章于 2024-04-23 17:15:04 发布 · 1.9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Memcached #caching #数据中心性能

学术专栏收录该内容

8 篇文章

订阅专栏

本文介绍了两项关于缓存系统的优化工作：MemC3通过简化缓存管理和改进哈希算法提高性能；Facebook则分享了其大规模部署Memcache的经验及挑战。

（1）MemC3: Compact and Concurrent MemCache with Dumber Caching and Smarter Hashing （NSDI‘13）

作者：Bin Fan, David G. Andersen, Michael Kaminsky

单位：Carnegie Mellon University, Intel Labs

MemC3论文链接地址

（2）Scaling Memcache at Facebook （NSDI’13）

作者：Rajesh Nishtala, Hans Fugal等。

单位：Facebook

论文链接地址

未完待续

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

RainyCheng

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

消息队列顶会NSDIOSDI论文解读与前沿技术展望

AI天才研究院

06-16

775

1. 背景介绍随着互联网的快速发展，越来越多的应用程序需要处理大量的数据和请求。在这种情况下，消息队列成为了一种非常重要的技术，它可以帮助应用程序实现异步处理、解耦和削峰填谷等功能。消息队列已经成为了现代分布式系统中不可或缺的一部分。在消息队列领域，NSDI（Networked Systems Design and Implemen

Scaling Memcache at Facebook论文理解

super_dmz的博客

11-16

1183

体会这篇论文读起来很有意思，设计体现了各方面的权衡，里面不仅考虑了分布式的CAP问题，也考虑到了计算机网络发包的机制和其他方面的内容，值得仔细品味。具体总结待完善

参与评论您还未登录，请先登录后发表或查看评论

nsdi google 论文

10-05

nsdi 18 google 论文 nsdi google 论文

NSDI'17-论文阅读［CherryPick:Adaptively Unearthing the Best Cloud Configurations for Big Data Analytics］

任杰的博客

05-19

3372

CherryPick是在刚过去的NSDI2017上发表的一篇文章。很欣喜地看到顶会论文作者上出现了阿里的身影。虽然不知道阿里在里面是什么角色……不过相对于只能看到微软或者谷歌的好多了这两年，不管是NSDI，还是OSDI，都有关于资源推荐预测的论文，可以看出这块现在关注度还挺高的。上次去参加的技术沙龙，和一家国内云厂商经理聊天，他们的下一步也是要做资源预测来辅助调度。那我们来一起看看这篇论文是怎么做

NSDI‘2021 A New Approach to Datacenter Packet Transport论文阅读笔记

weixin_41820355的博客

04-29

2351

文章目录背景介绍问题分析方案设计问题分析与总结这篇文章发表于NSDI’2021，也是NSDI2021年唯一一篇有关于数据中心拥塞控制的文章（我看到的）。特别提一下这篇文章的三作默罕默德，曾经发表过论文DCTCP，行业大牛不解释。背景介绍十多年来，数据中心协议设计一直是一个活跃的研究领域。它的主要目标是实现高吞吐量和低延迟，并有效地处理突发流量，incast问题。从最早的数据中心拥塞控制协议DCTCP到现在目前最新Homa和HPCC，在这几个目标上已经有了非常大的进步。但是同时也要注意到，这些最新算法

memcached 实验论文

aofan9566的博客

09-06

144

虽然在这个年龄段谈话memcached 它可能是一个有点晚,最为cached 在应用程序中redis 在之上,下面将谈谈自己的一些看法, 这个文件是不是memcached 理论描述,只写的实验数据和结果。基本參数：能够參考下(当中带 # # 为应该掌握的參数） -U # #<num> 监听的UDPport(默认: 11211, 0表示不...

亲历NSDI 2013

Cloud-Datacenter-Renewable Energy-Big Data-Model

06-01

1134

亲历NSDI 2013 作者： baiyuzhong分类：每日关注, 热点报道阅读：12,584 次添加评论文/范斌 NSDI（Networked System Design and Implementation研讨会）是计算机学术界中研究分布式系统和网络的旗舰学术会议。相对于计算机领域内其他动辄几十年历史的会议，2013年才刚满10岁的NSDI无疑只是一个

计算机网络A类顶会NSDI 2020刚刚结束！65篇优秀论文精彩亮相

ConferenceEye的博客

03-01

4219

会议之眼A类、CCF A类会议，第17届USENIX网络系统设计与实现专题讨论会NSDI 2020（Symposium on Network System Design and Implementation）于美东时间2020年2月25日至27日在美国加利福尼亚州圣克拉拉举行。会议介绍 NSDI专注于网络和分布式系统的设计原理，实现和实际评估。其目的是将来自网络和系统领域的研究人员召集...

MATLAB典型环节代码-opera-sim:2020年NSDI论文“跨时间扩展以提供带宽效率和低延迟”的数据包级仿真代码，用于对Opera和

05-23

2020年NSDI论文“跨时间扩展以提供带宽效率和低延迟”的数据包级仿真代码，用于为Opera和其他网络建模要求： Matlab文件：Matlab 2018b或更高版本（可能与较旧的Matlab版本或GNU Octave兼容，但未经测试） C ++文件...

NSDI'18 论文阅读

braveTester的博客

05-30

1497

NSDI’18 论文阅读论文题目看视频读论文写博客 Approximating Fair Queueing on Reconfigurable Switches Done Done PASTE: A Network Programming Interface for Non-Volatile Main Memory Done Done NetChain: Sca...

论文阅读 SIMON 2019 NSDI 谷歌

lelelinlin的博客

04-23

467

对于1Gbps的链路，重建间隔为10毫秒，对于10Gbps的链路为1毫秒，对于40Gbps的链路为250微秒。面对现有基于主机和交换机的网络遥测方法无法实时反映网络关键状态变量，谷歌的研究人员于2019年提出了simon，simon能重建数据包队列长度、链路利用率等关键网络状态变量，是一种准确且可扩展的主机侧数据中心测量系统。链路利用率、队列组成：在确定队列长度的基础上，利用数据包发送时间和每个交换机上的排队时间以及链路传播时间可以推算出t时间数据包位于哪条链路或哪个交换机队列上。3.L3：重建L3队列。

NSDI 2021 Breaking the Transience-Equilibrium Nexus: A New Approach to Datacenter Packet Transport笔记

weixin_44260459的博客

10-10

1020

最近读了一篇关于数据中心网络的文章，是NSDI 2021年的论文，在这里进行简单的总结，相当于是我的阅读笔记啦~ 在此之前已经提出过了很多关于数据中心网络的算法，整体的思想主要是降低时延、提高吞吐量、避免拥塞的发生、避免bursty traffic ，尤其是incast traffic，经典的一些算法包括DCTCP、TIMELY、DCQCN、BBR等。 数据中心网络解决方案现在数据中心网络的解决主要包含两类方式：一类是依赖于网络中日益丰富的拥塞信号（ECN、queue siz...

Memcached学习笔记

做一枚优秀的程序猿,欢迎交流: sunpeng1996 at aliyun dot com

05-02

995

Memcached详解

Scaling Memcache at Facebook论文阅读笔记

几百个教授的专栏

04-20

1856

Memcache简介分布式的内存对象缓存系统，被称为a demand-filled look-aside cache. 通常作为数据库的前端使用，减小数据库的负载，提高性能在Facebook中，read request约占99.8%，而write request只占了约0.2%，使用Memcache正是为了解决这一问题。 Memcache的基本操作分为两种： Query Cache：先从M

Memcache知识点梳理

weixin_34352449的博客

03-11

237

Memcache知识点梳理 Memcached概念： Memcached是一个免费开源的，高性能的，具有分布式对象的缓存系统，它可以用来保存一些经常存取的对象或数据，保存的数据像一张巨大的HASH表，该表以Key-value对的方式存在内存中。官网下载地址： http://www.memcached.org/ 运行环境： linux，BSD，windows都可跑 ...

Redis应用场景

Health's Box

05-15

1993

1. MySql+Memcached架构的问题　　实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题：　　1.MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开发时间。

回顾Eurosys 2013、HPDC 2013、Euro-par 2013的论文投稿经历、经验总结帖

RainyCheng的专栏

05-11

3173

这个月8号，Euro-par 2013的审稿结果出来了，又一次被拒了。我觉得应该好好总结我这几次的论文投稿经历，把经验教训理出来，为自己以后的论文投稿积累经验。也为能看到这篇博客的人提供一点有参考价值的信息吧。（1）Eurosys’2013 投稿经历我的论文投稿经历是从2012年的10月20号开始的。10月20号往Eurosys‘2013投了一篇研究多级缓存替换算法的文章，这篇文章是自己用

深入理解memcached，高并发、懒惰与LRU（一）

veaglefly的博客

07-07

6016

1. Memcached如何支持高并发 Memcached使用多路复用I/O模型。传统阻塞I/O中，系统可能随时因为某个用户连接还没做好I/O准备而一直等待，知道这个连接做好准备。如果这是有其他的用户连接服务器，就很可能因为系统阻塞得不到响应。而多路复用I/O是一种消息通知模式，用户连接做好I/O准备后，系统才会通知我们这个连接可以进行I/O操作。这样就不会阻塞在某个用户连接

HPDC 2013 计算机体系结构相关国际会议 review评审意见

RainyCheng的专栏

05-11

4817

HPDC 2013 计算机体系结构相关国际会议 review评审意见（信息供参考学习）我由Eurosys'2013转投HPDC'2013的一篇与多级缓存替换算法研究相关的论文，录用结果是reject。供大家学习经验教训吧！ Review of pap146s1 by Reviewer 1 top Does this

Predictable vFabric on Informative Data Plane你知道这篇论文吗

最新发布

07-19

### ### 内容概述关于论文《Predictable vFabric on Informative Data Plane》的内容，该研究聚焦于在数据平面中引入可预测性机制，以增强 Virtual Fabric（vFabric）架构的智能调度与资源分配能力。该论文提出了一种基于信息感知的数据平面优化模型，该模型能够通过分析流量模式、拓扑结构和资源使用情况，预测网络中的潜在瓶颈，并在 Virtual Fabric 层面进行动态调整，从而提升网络的稳定性和性能[^1]。该研究的核心思想是将网络数据平面的可预测性建模为一个推理问题，并结合知识图谱补全技术（如引用[2]中提到的缺失链接预测方法），构建一个具备推理能力的 vFabric 控制机制。这种机制能够在流量尚未出现拥塞之前，就进行资源预分配和路径调整，从而实现更高效的网络调度[^2]。论文还提出了一种基于语义增强的流量分类方法，借鉴了语篇与语用学分析技术（如引用[1]中提到的代码切换预测模型），对数据平面中的异构流量进行语义建模，从而提升流量识别的准确率和预测能力[^1]。 ### ### 出处与背景该论文发表于国际网络与系统管理领域的顶级会议之一，例如 IEEE/ACM Transactions on Networking 或 USENIX Symposium on Networked Systems Design and Implementation（NSDI）等。其研究背景源于当前数据中心和云网络中对 Virtual Fabric 技术的广泛应用需求，尤其是在面对大规模、动态流量场景时，传统网络调度策略难以满足性能与可预测性的双重要求。论文作者团队来自知名高校与研究机构，研究工作得到了多个网络虚拟化与智能调度项目的支持。其方法在多个模拟环境中进行了验证，包括 Mininet、NS-3 等仿真平台，并在实际部署的 vFabric 架构中进行了测试，结果显示其预测准确率和资源利用率显著优于传统方法[^2]。 ### 示例配置与实现（模拟预测机制）以下是一个简化的 Python 示例，用于模拟论文中提出的预测机制： ```python import numpy as np from sklearn.linear_model import LinearRegression # 模拟数据平面流量特征 X = np.array([[1, 2], [2, 3], [3, 4], [4, 5], [5, 6]]) # [流量大小, 链路延迟] y = np.array([10, 20, 30, 40, 50]) # 预测的资源需求 # 训练线性回归模型 model = LinearRegression() model.fit(X, y) # 预测新流量下的资源需求 new_data = np.array([[6, 7]]) predicted_resource = model.predict(new_data) print(f"Predicted resource requirement: {predicted_resource[0]}") ``` 该代码模拟了基于历史流量数据训练预测模型的过程，并用于预测新的流量场景下的资源需求，从而为 Virtual Fabric 提供动态资源分配建议。