the Tail at Scale

规模化的尾部预测
最新推荐文章于 2022-04-11 08:32:27 发布
原创 最新推荐文章于 2022-04-11 08:32:27 发布 · 358 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在大规模数据集上预测尾部分布的重要性与挑战，介绍了如何利用统计学与机器学习方法来解决尾部预测的问题，这对于理解长尾效应及优化资源分配具有重要意义。

原文：https://cacm.acm.org/magazines/2013/2/160173-the-tail-at-scale/fulltext

知乎整理: https://zhuanlan.zhihu.com/p/39373401?edition=yidianzixun&utm_source=yidianzixun&yidian_docid=0JZ8dxDU

另一篇相关论文：The Tail at Scale: How to Predict It?

The tail at scale by jeff dean
07-18
dean 大神 写的关于大规模服务系统的设计思路，来自于google实践，不得不看
The Tail at Scale
12-04
Google Jeffrey Dean大神的关于分布式系统调用延迟的论文
The Tail At Scale & HotRing 论文分享
专注做分享
12-18 1322
简介 在分布式系统中会存在耗时过长的请求，或者服务本身也需要进行相关的耗时优化，本期给大家带来的是两篇耗时优化相关的论文，《The Tail At Scale》是Google发布的关于分布式系统中关于在不可靠的系统中打造一个可靠的整体耗时模型的论文，《HotRing》是阿里发布的关于服务本地缓存优化的论文。 The Tail At Scale 论文简介 在下游众多的系统中，由于我们无法预测下游正在发生或者将要发生的事情，有的时候会因为下游服务的一些异样操作而导致耗时上涨，即便这个比例是很低的，但是在大
《The Tail At Scale》论文详细解读
专注做分享
01-16 1166
简介 ​ 用户体验与软件的流畅程度是呈正相关的，所以对于软件服务提供方来说，保持服务耗时在用户能接受的范围内就是一件必要的事情。但是在大型分布式系统上保持一个稳定的耗时又是一个很大的挑战，这篇文章解析的是google发布的一篇论文《The Tail At Scale》，里面讲述的是google内部的一些长尾耗时优化相关的经验，以及我个人的一些思考。 服务耗时为什么会产生抖动 ​ 在目前大规模的分布式系统中，服务与服务之间的调用关系可以呈现为下图的形式，服务A，B都有多个实例，服务A实例通过服务发现模块找到下
IO 密集型服务 性能优化实战记录
梦醒人间
04-11 1692
背景项目背景Feature 服务作为特征服务，产出特征数据供上游业务使用。服务压力：高峰期 API 模块 10wQPS，计算模块 20wQPS。服务本地缓存机制：计算模块有本地缓存，且命中率较高，最高可达 50% 左右；计算模块本地缓存在每分钟第 0 秒会全部失效，而在此时流量会全部击穿至下游 Codis；Codis 中 Key 名 = 特征名 + 地理格子 Id + 分...
Jeff-Dean-Large Scale Deep Learning
06-10
在本段节选自Google工程师Jeff Dean与同事们合作研究的《大规模深度学习》文章中，描述了构建更智能计算机系统的复杂性以及大数据、机器学习、深度学习在其中扮演的角色。Jeff Dean是Google的高级研究员和副总裁，他...
大数据存储与管理 (华中科技大学计算机科学与技术学院).zip
最新发布
01-02
大数据存储与管理 (华中科技大学计算机科学与技术学院)大数据存储系统与管理实验2023春季 @ 华中科技大学文件说明课程背景知识实验报告模板实验内容说明课程涉及的工具... The Tail at Scale[J]. Commun. ACM，2013，56
Google Dean论文：分布式系统中的延迟优化与实时交互挑战
"《大规模分布式延迟：The Tail at Scale》是一篇由Google杰出的工程师Jeffrey Dean撰写的重要论文，发表在2013年2月的《ACM通讯》(Communications of the ACM)上。这篇贡献文章深入探讨了在互联网服务快速响应用户...
关于性能，我们在谈些什么？
wujiandao的专栏
03-27 1172
当我们在说性能的时候，我们在谈些什么？ 衡量性能有两个指标： 在保持服务器资源配置不变的情况下，增加额定的访问量，会给系统带来多大的影响，比如影响了读取时间，写入时间等等。 在增加额定的访问量的情况下，要增加多少服务器资源，才能使其保持平日里的性能 这两个指标是基于服务架构来衡量的，要么在现有技术服务架构下，提出的衡量标准，要么基于未来的访问量，提出的架构设计。所以暂时这两个都不谈，也没...
Jeff Dean at Stanford
牧之-_-
01-26 767
Jeff Dean Stanford http://video.sina.com.cn/v/b/42305207-1605976542.html
k8s operator
kevin_darkelf的专栏
04-16 1252
Operator 的设计旨在简化复杂有状态应用管理，其通过CRD扩展 Kubernetes API 来自动创建、管理和配置应用实例。其本质上是针对特定的场景去做有状态服务，或者说针对复杂应用场景，去简化其运维管理的工具。 Operator以deployment的形式部署到K8S中。部署完这个Operator之后，想要部署一个集群，其实很方便。因为不需要再去管理这个集群的配置信息了，只需要创建一个C...
可用性设计
kevin_darkelf的专栏
08-12 852
概念 平均无故障时间 Mean Time Between Failure 平均故障恢复时间 Mean Time To Repair 可用性 Availability = MTBF/(MTBF + MTTR) 设计原则 减少故障发生的可能 避免单点 容错 过载保护 有效的监控、运维 减少故障恢复时间 无状态 有状态: 状态的持久化 故障隔离：分流 可运维干预 降低故障的外部影响 ...
understand the data model of Cassandra
kevin_darkelf的专栏
10-06 745
// this note is helpful to understand the data model of Cassandra // ref: http://arin.me/blog/wtf-is-a-supercolumn-cassandra-data-model
Replica Placement in DFS
kevin_darkelf的专栏
09-18 644
Replica Placement in DFS   Hadoop: How does the namenode choose which datanodes to store replicas on? There’s a tradeoff between reliability and write bandwidth and read bandwidth here. For examp
collections
kevin_darkelf的专栏
02-19 563
Scalability of the Hadoop Distributed File Systemhttp://developer.yahoo.com/blogs/hadoop/posts/2010/05/scalability_of_the_hadoop_dist/Hadoop
experences on building a reliable service
kevin_darkelf的专栏
11-03 524
why Twilio wasn't affected by AWS crash(http://www.twilio.com/engineering/2011/04/22/why-twilio-wasnt-affected-by-todays-aws-issues/),  there some important experences: 1, by building simple service
微服务框架比较
kevin_darkelf的专栏
05-27 398
分类 单机版 只算是整个微服务实例的可执行程序，RPC框架。 如grpc, brpc, dii， 有些支持多语言开发 带服务治理，单一语言 如 Java的Spring Cloud, dubbo Service Mesh 通sidecar 解决多语言通信，如 Linkerd和ISTIO 。 其实多语言通信，只要各语言都使用相同的协议，也就可以通信。如 java和c++的服务都使用http，或者pb。 service mesh更大的好处是在于… 带服务治理，支持多语言的框架，是serverless 的基础
大规模服务系统设计：Jeff Dean的洞察
在Jeff Dean的文章"The Tail at Scale"中，他深入探讨了大规模服务系统的设计原则和挑战，这些内容基于他在Google的实践经验。文章着重强调了快速响应用户操作的重要性，尤其是在当今互联网连接的提升和仓库规模计算...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值