Flickr 网站架构分析

最新推荐文章于 2025-11-30 19:25:58 发布
原创 最新推荐文章于 2025-11-30 19:25:58 发布 · 147 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #memcached

本文深入分析Flickr网站的架构设计，重点探讨了其如何处理每日高达40亿次的查询请求，利用Squid、Memcached等缓存技术以及庞大的数据库系统（总计约4亿7000万张照片），实现高效的图片存储与快速访问。此外，文章还提及了超过2PB的存储容量和超过8百万的注册用户，展示了Flickr在大规模图片分享平台中的技术实力。
Flickr 网站架构分析

每天多达40亿次的查询请求
squid总计约有3500万张照片（硬盘+内存）
squid内存中约有200万张照片
总计有大约4亿7000万张照片，每张图片又生成不同尺寸大小的4－5份图片
每秒38，000次Memcached请求 (Memcached总共存储了1200万对象)
超过2 PB 存储，其中数据库12TB
每天新增图片超过 40万（周日峰值超过200万，约1.5TB)
超过8百50万注册用户
超过1千万的唯一标签（tags)
响应4万个照片访问请求
处理10万个缓存操作
运行13万个数据库查询

http://www.itivy.com/ivy/archive/2011/3/7/634351294385186067.html
收集的大型网站架构实例
09-06
前Flickr员工Mikhail Panchenko在 Strange Loop 2010会议上分享了Flickr架构的演变过程，虽然没有深入技术细节，但他提出了对PHP代码质量的关注，以及对NoSQL技术的见解。他认为，选择数据库技术时，理解需求、监控...
Flickr的服务器架构
千里孤行的部落
12-31 1275
前Flickr的架构师 Cal Henderson，在 Flickr: Web Services 这个PPT中，有对其架构比较全面的阐述。 Flickr运维团队的John Allspaw，有两个讲LAMP的幻灯，Hardware Layouts for LAMP Installations 和 capacity planning for LAMP，但应该是Flickr架构演进和运维的一些经验总结，其中也透露一些服务器架构。 John Allspaw也很强调测量(measurement)的重要
通过 Flick 看数据库集群
cnmqw的专栏
09-19 266
原文参见 http://www.cchere.com/article/2371821 ，此处只抓几个图片，基本能表述数据库演变的过程了。   1、Master-Slave   2、Load Balancer 3、“Master"-"Master" 双树     4、以“目录”服务为基础的分割     5、Flickr架构 6、Flickr采用了“Writ...
Flickr 网站架构分析（转）
aoxianfo5014的博客
08-06 222
原文：http://www.itivy.com/ivy/archive/2011/3/7/634351294385186067.html Flickr.com 是网上最受欢迎的照片共享网站之一，还记得那位给Windows Vista拍摄壁纸的Hamad Darwish吗？他就是将照片上传到Flickr，后而被微软看中成为Vista壁纸御用摄影师。 Flickr.com 是最初由位于温...
Flickr网站架构分析
weixin_34297704的博客
03-25 161
http://www.itivy.com/ivy/archive/2011/3/7/634351294385186067.html 转载于:https://blog.51cto.com/yerik/1162259
<转载>Flickr 网站架构分析
weixin_30367543的博客
11-10 144
Flickr.com 是网上最受欢迎的照片共享网站之一，还记得那位给Windows Vista拍摄壁纸的Hamad Darwish吗？他就是将照片上传到Flickr，后而被微软看中成为Vista壁纸御用摄影师。 Flickr.com 是最初由位于温哥华的Ludicorp公司开发设计并于2004年2月正式发布的，由于大量应用了WEB 2.0技术，注重用户体验，使得其迅速获得了大量的用户，2007年...
各大型网站架构分析收集
u013604031的博客
01-25 602
各大型网站架构分析收集 标签： youtubescalability服务器理财web数据库服务器 2008-11-26 14:46 25992人阅读 评论(9) 收藏 举报 分类： Others（20） 版权声明：本文为博主原创文章，未经博主允许不得转载。 1. PlentyOfFish 网站架构学习 http://www
大型网站架构实例分析：Mixi、Flickr的服务器设计揭秘
Flickr的服务器架构则由前Flickr架构师Cal Henderson详细阐述。Flickr采用了LAMP（Linux、Apache、MySQL、PHP）架构，并在此基础上进行了扩展。其运维团队，如John Allspaw，强调了测量和基准测试的重要性，以确保...
基于Python的关于Flickr图片网站的爬虫.pdf
06-28
本项目的实现过程中，首先通过调研分析，选择了Flickr网站作为研究对象，然后利用Python语言的简洁语法和强大的类库支持来设计和编写爬虫程序。Python作为一种动态的面向对象的脚本语言，其语法简单明了，易于阅读和...
Flickr简化Lambda架构：批量与实时数据融合
在这部分，我们将深入探讨标题为“简化的Lambda示例”所呈现的项目内容，该项目源自Flickr的Magic View的实现，其通过结合Lambda架构，融合了批量处理与实时处理的方法，以支持庞大的用户数据处理需求。 首先，...
面试必问——Redis 主从同步
2301_79966297的博客
11-26 566
偏移量，随着记录在repl_baklog中的数据增多而逐渐增大。salve完成同步时也会记录当前同步的offset。如果salve的offset小于master的offset，说明salve的数据落后于master，需要更新。：简称replid,是数据集的标记，id一致则说明是同一个数据集。每个master都有唯一的replid,salve则会继承master节点的replid。：单点的Redis的并发能力是有限的，要进一步提高Redis的并发能力，就需要搭建主从集群，实现读写分离。
MySQL数据库的数据文件保存在哪？MySQL数据存在哪里
2509_94083514的博客
11-30 515
在安装好MySQL数据库使用一段时间后，会产生许多的数据库和数据。那这些数据库的数据文件存放在本地文件夹的什么位置呢一、默认位置MySQL创建的数据库实际上存储在文件系统的一个特定目录中，该目录通常为MySQL的数据目录。这个目录的默认位置依据操作系统和MySQL的安装方式不同而有所差异。、这个目录通常位于，它可能位于是个隐藏文件夹）**其中“X.X”是MySQL的版本号。目录（每个数据库都有一个与其同名的文件夹，而这个文件夹中包含了该数据库的所有表的文件，而其中的文件代表了数据库中的表。
基于Python与Go构建云原生微服务自动化运维平台的架构设计思路实践策略与性能优化方法全流程解析
2501_94114213的博客
11-26 784
Python 提供灵活的任务调度与编排能力，Go 提供高并发、高吞吐的任务执行与采集能力。两者结合构建的云原生微服务运维平台能够在大规模环境下实现：自动化高可靠弹性扩展可观测高性能随着企业上云进程加速，Python + Go 的混合运维平台将成为云原生运维的标准实践方案。
redis基本类型 5种基本类型
最新发布
yeshihouhou的博客
11-30 118
List的另一个应用就是消息队列，可以利用List的 PUSH 操作，将任务存放在List中，然后工作线程再用 POP 操作将任务取出进行执行。我们在谈基础数据结构时，讨论的是存储值的数据类型，主要包括常见的5种数据类型，分别是：String、List、Set、Zset、Hash。Redis hash 是一个 string 类型的 field（字段） 和 value（值） 的映射表，hash 特别适合用于存储对象。Redis 中集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是 O(1)。
influx2.0+grafana
lan266548_ning的博客
11-27 394
Mac 安装 Docker（Docker Desktop）教程官方下载地址：根据你的 Mac 类型，下载对应版本：Intel。
后端在分布式存储中的元数据管理
2509_93946509的博客
11-28 439
但实际生产环境中远不止这些：数据的冷热状态、压缩标志、校验和、生命周期标签，甚至用户自定义的扩展属性，都是元数据的一部分。我们团队就吃过亏，早期设计时只考虑了基础字段，后来业务方想要实现智能分层存储，不得不对元数据表做了两次大的结构调整，那个迁移过程简直噩梦。我们现在用的是Raft共识算法，虽然写性能有些损失，但保证了数据的强一致性，运维起来也省心。按文件路径哈希是最简单的，但有个问题：同一个目录下的文件可能被散列到不同节点，做目录遍历时要跨节点查询，效率很低。全量缓存不现实，我们吃过内存溢出的亏。
Spring Boot「多数据源并存」的设计思路，它与动态数据源又有什么区别？
weixin_46739493的博客
11-27 1317
我不切换数据源，我只是同时拥有多个 DataSource，每一个都明确对应自己的 Mapper / SqlSessionFactory / 事务管理器。其核心特点是：同时存在多个 DataSource Bean每个 DataSource 有自己的配置每个 DataSource 对应自己的 Mapper / Dao / Service不使用 AbstractRoutingDataSource不需要 ThreadLocal 切换不互相影响各自为政使用起来一模一样怎么切换？
极简主义者的PostgreSQL AI指南
IvorySQL的博客
11-28 940
SQL 与 AI 的结合展示了简化复杂、提升效率的价值。理解底层原理并合理运用工具，才能在快速变化的技术生态中保持掌控与高效。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值