读淘宝数据库架构之体会

淘宝架构演化 LAMP(Linux+Apache+MySQL+PHP)标准架构,初期采用拿来主义,只具备基本功能。数据库:读写分离,MyISAM存储引擎2003年5月—2004年1月。 阅读详情

原文档下载地址:点击打开链接

体会如下

1.SQL语句复杂程度由繁到简

多表关联查询致使应用的耦合性偏高,不利于数据的分布式拆分部署。在执行查询时,如遇代理对象,对数据的远程传递和缓存都会产生影响(代理对象无法序列化,代理方法执行时找不到session)。打散库表关系后,对数据库的访问主要通过主键ID来完成,其他查询方法可通过倒排索引库来操作。

2.服务的拆分

系统发展到一定规模后所处理的服务会越来越多,系统负荷也会逐渐增大,这时需要考虑把负荷比较大的服务独立出去,单独部署,然后通过远程通信的方式调用该服务。拆分服务的同时还可将底层对应的数据独立出去,缓解主数据库的访问压力。在服务的拆分部署上OSGI RemoteService是不错的选择。

3.数据库的读写分离

当单台数据库的吞吐量较大时,可考虑引入集群来分散压力,同时对读写操作进行分离,引入两套不同的DAO操作不同的数据库,比较难于处理的是如何做好数据库之间的数据迁移。

4.不同的读服务,不同的读载体

对于淘宝这种信息发布类型的网站,信息的检索方式主要有两种,一种是通过主键ID的方式来进行数据检索,还有一种是通过模糊匹配的方式进行数据查询。针对第一种方式,通常的做法是通过引入缓存来提升数据的检索效率并缓解数据库的访问压力;而第二种方式通常采用的方法是倒排索引,比如通过Lucence来检索数据。

5.分布式缓存

缓存是用来提升系统响应速度的有效途径之一,除了淘宝自身研发的tair,比较常用的缓存工具还有memcached。



淘宝海量数据库OceanBase 系统架构详解 阅读详情

相关推荐

淘宝RSA分析与学习

淘宝,购物者的天堂。每天更有数以万计的用户登陆购买商品,其背后的技术支持,能让我们愉快的购物。 而前段时间吵得很火的,数据包劫持能够分析到你的各种行为,其中不乏网站账号密码。而为什么他们没有劫持到淘宝的账号密码呢,总是拿别的小软件开涮呢?原因很简单,淘宝的密码在页面传输之前就进行了rsa加密(一种非对称的算法),传输的时候已经变为了已加密的密码了,就算你截取后,没有私有密钥也是解不开的,而且每次rs

不做码农好多年 3178

淘宝十年资深架构师吐血总结淘宝的数据库架构设计和采用的技术手段。

​ 综上所述,淘宝的数据库架构设计采用了分布式数据库技术,通过分库分表、数据冗余、异步复制、读写分离等技术手段来解决数据库的性能、可用性和扩展性问题。同时,淘宝还采用了一系列中间件来协调分布式系统的操作,保证了数据的一致性和高性能。这些技术手段的综合应用,使得淘宝的数据库能够承受双十一这种高并发、高压力的交易活动。

zxyhj的博客 4938

淘宝双11高并发架构是怎么设计的?看完这篇你就知道了!

这篇文章,我们聊聊大量同学问我的一个问题,面试的时候被问到一个让人特别手足无措的问题:你的系统如何支撑高并发?

石杉的架构笔记 956

淘宝海量数据库OceanBase:系统架构详解

无论从数据量还是访问量,OceanBase不再能够是一个单机系统,即使一台单机能服务高达几个TB的数据、提供几万QPS的服务能力,因此,分布式系统不可避免,然而,内部如何实现拆表(拆库)以及如何实现数据库的事务,成为了一个很大的挑战和十分艰难的抉择:   相关文章:   淘宝海量数据库之一:来自业务的挑战   淘宝海量数据库之二:一致性选择 淘宝海量数...

weixin_34356555的博客 517

淘宝数据库架构演进历程

资源名称:淘宝数据库架构演进历程内容简介:淘宝数据库发展的三个阶段 用户,商品,交易现在的架构 MySQL源代码研究的一些思路 淘宝自主数据库Oceanbase原理介绍SQL语句变化多 表 关 联 Join单 表 复 杂 查 询主 键 查 询SQL语句复杂程度由繁到简的过程,折射出淘宝数据架构的一些变化。淘宝电子商务网站的特点 高并发,PV13亿,光棍节促销PV达到了17亿 数据实时性 资源太大,传百度网盘了,链接在附件中,有需要的同学自取。

淘宝数据库架构演进历程.pdf

NULL 博文链接:https://hbyuan.iteye.com/blog/860162

阿里淘宝海量级数据技术架构

架构图 按照数据的流向来划分,我们把淘宝数据产品的技术架构分为五层(如图1所示),分别是数据源、计算层、存储层、查询层和产品层。位于架构顶端的是我们的数据来源层,这里有淘宝主站的用户、店铺、商品和交易等数据库,还有用户的浏览、搜索等行为日志等。这一系列的数据是数据产品最原始的生命力所在。 在数据源层实时产生的数据,通过淘宝自主研发的数据传输组件DataX、DbSync和Timetunnel准实时地...

huangjian1174的博客 2367

GB28181协议实战:5分钟搞定海康摄像头SIP注册失败问题(附Wireshark抓包分析)

本文详细解析了海康摄像头在GB28181协议下SIP注册失败的7个关键原因及解决方案,包括网络可达性、鉴权参数、NAT穿越等核心问题。通过Wireshark抓包分析,提供快速定位方法,帮助工程师高效解决SIP注册失败问题,提升实时图像联调效率。

weixin_29212867的博客 558

双11前,来了解一下淘宝的架构演化过程

数据库设计到这种结构时,已经可以称为分布式数据库,但是这只是一个逻辑的数据库整体,数据库里不同的组成部分是由不同的组件单独来实现的,如分库分表的管理和请求分发,由Mycat实现,SQL的解析由单机的数据库实现,读写分离可能由网关和消息队列来实现,查询结果的汇总可能由数据库接口层来实现等等,这种架构其实是MPP(大规模并行处理)架构的一类实现。其中涉及的技术包括:Mycat,它是数据库中间件,可通过它来组织数据库的分离读写和分库分表,客户端通过它来访问下层数据库,还会涉及数据同步,数据一致性的问题。

2401_87167678的博客 2881

AI驱动的研发流程:定义高度专业和系统化的规划基准

在人工智能(AI)浪潮席卷全球的今天,软件研发的范式正经历着一场深刻而迅速的变革。AI技术的渗透,从最初的辅助工具角色,正逐步演变为驱动整个研发流程的核心引擎。传统的研发流程和项目管理方法论,在面对AI带来的高效率、高智能以及高复杂性挑战时,显得力不从心。企业对快速交付高质量软件产品、有效控制风险、并保证全流程可追溯性的需求日益迫切。

形上得其象,形下合于数;阴阳自济,玄理自明。 2182

基于昇腾MindIE开箱部署Qwen2.5-VL-32B,体验更聪明的多模态理解能力

昇腾MindIE已适配支持Qwen2.5-VL-32B-Instruct并上架魔乐社区,欢迎广大开发者下载体验!

2401_87243659的博客 6873

读“淘宝Java中间件之路”后感

读了"华黎"的“淘宝Java中间件之路”,记录一下自己的体会。   文章主要讲了淘宝在3个方面的改进:消息中间件(JMS的引入),服务框架(业务模块分离)和分布式数据层(如何处理海量数据的数据库操作)   1. 消息中间件 和EBAY的“Asynchrony Everywhere”想法类似【见Reference中的“Architectural Lessons (round 1)”】,将...

taojingrui 181

Quartus II设计程序计数器PC、由PC产生ROM的地址(含仿真)

设计程序计数器PC,正常工作模式下,系统启动,设置PC的初始值,之后每来一个clk,PC的输出值应该增加1;当程序发生跳转时,PC的值应该发生改变,级将跳转的地址值赋进行输出。PC后端连接一个ROM,由PC来产生ROM的地址,仿真进行验证。

m0_73700621的博客 1816

通过京东技术演进和淘宝技术演进,探察未来技术和架构

通过京东技术演进和淘宝技术演进,探察未来技术和架构 我们从京东和淘宝技术架构演进,可以看出电商在发展过程中的必经之路:Mysql->Oracle->分布式计算和分布式存储->???未来

每一天都有新的希望 8119

网络安全隔离技术解析:单向网闸与双向网闸的核心差异与应用场景

本文深入解析网络安全隔离技术中的单向网闸与双向网闸,详细比较两者的核心差异与应用场景。单向网闸通过物理隔离确保数据单向流动,适用于金融交易等高风险场景;双向网闸则支持严格安检的双向数据交互,常见于医疗、政务等领域。文章还提供了选型建议和技术发展趋势,帮助读者根据安全需求和业务场景选择最适合的网闸解决方案。

weixin_29323365的博客 529

SAP FIORI静态磁贴从零到一:配置实战与权限打通

本文详细介绍了SAP FIORI静态磁贴的配置流程与权限管理,从准备工作到后台配置、目标映射、前台组织及权限分配,提供了实战技巧与常见问题解决方案。重点解析了静态磁贴的创建、目标映射配置及权限打通等关键步骤,帮助用户快速掌握FIORI静态磁贴的配置方法。

weixin_29266647的博客 250

淘宝技术发展

一、引言   光棍节的狂欢    “时间到,开抢!”坐在电脑前早已等待多时的小美一看时间已到 2011 年 11 月 11 日零时,便迫不及待地投身于淘宝商城一年一度的大型网购促销活动 —— “淘宝双11购物狂欢节”。小美打开早已收藏好的宝贝 —— 某品牌的雪地靴,飞快的点击购买,付款,一回头发现 3000 双靴子已被抢购一空。    小美跳起来,大叫一声“欧耶!”   小美不知道,就在

∧︵∧全世界的屋顶 ∧︵∧ 1635

给IC设计新人的Tessent Scan入门指南:从RTL到ATPG的完整DFT流程解析

本文为IC设计新手提供Tessent Scan的完整DFT流程指南,从RTL代码检查到ATPG测试向量生成,详细解析扫描链配置、插入及验证的关键步骤。通过实战案例和工具命令示例,帮助工程师快速掌握Tessent工具链的应用技巧,提升芯片可测试性设计的效率和质量。

weixin_32541663的博客 452

淘宝工作记,记录自己从来淘宝实习到拿到offer的全过程

淘宝工作记,记录自己从来淘宝实习到拿到offer的全过程

lengyuhong的专栏 3862

华为OD机试真题 新系统 2026-07-22 Java&Go&C 实现【最小代价完成论文评审】

某校有 n 篇论文需要分配给教师评审。 每篇论文 i 可由 files[i] 对应的教师列表中任一教师评审。 每篇论文至少需要一名教师评审。 每位教师 t 不论被分配多少篇论文,其评审费用固定为 cost[t]。 请给出参与评审教师数量最少时的总费用。 如果存在多种方案满足教师数量最少,则选择总费用最小的方案。

MISAYAONE的博客 153

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

《淘宝技术这十年》读书笔记

看了目录就把这本书买下来了,由于每天加班,只有早晨8点到10点两个小时的时间,算是每天阅读一点点吧~ 买这本书,主要想了解淘宝的技术/业务发展过程,遇到了哪些问题,怎么解决的。在阅读的过程中有很多不懂的地方,纯属拓展视野,的确如书中所说,不同阶段的读者会有不一样的收货,我也会不止一次的读下去的。 2014年9月23日(第1、2章)--起步 好的架构不是设计出来的,而是进化出来的。 淘宝网第

feihongdragon的专栏 514

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

淘宝技术发展历程

一、引言   光棍节的狂欢   “时间到,开抢!”坐在电脑前早已等待多时的小美一看时间已到 2011 年 11 月 11 日零时,便迫不及待地投身于淘宝商城一年一度的大型网购促销活动 —— “淘宝双11购物狂欢节”。小美打开早已收藏好的宝贝 —— 某品牌的雪地靴,飞快的点击购买,付款,一回头发现 3000 双靴子已被抢购一空。   小美跳起来,大叫一声“欧耶!”   小美不知道,就在 11

架构师笔记的专栏 3621

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

python爬取淘宝数据魔方_读《淘宝数据魔方技术架构解析》有感

淘宝网拥有国内最具商业价值的海量数据。截至当前,每天有超过30亿的店铺、商品浏览记录,10亿在线商品数,上千万的成交、收藏和评价数据。如何从这些数据中挖掘出真正的商业价值,进而帮助淘宝、商家进行企业的数据化运营,帮助消费者进行理性的购物决策,是淘宝数据平台与产品部的使命。尽管从业务层面来讲,数据产品的研发难度并不高;但在 “海量”的限定下,数据产品的计算、存储和检索难度陡然上升。本文将以数据魔方为...

weixin_39696518的博客 198

从个人网站到淘宝网 仰观Java时代淘宝的技术发展

从2003年的一个个人对个人(C2C)的商品交易网站到如今的淘宝网,其实在作为个人网站发展的时间里并不长。那么在这段时间里,淘宝究竟是如何发展的呢?在这篇文章里我们将找到淘宝网的发展历史以及所用到的技术。   引言 光棍节的狂欢 “时间到,开抢!”坐在电脑前早已等待多时的小美一看时间已到2011年11月11日零时,便迫不及待地投身于淘宝商城一年一度的大型网购促销活动——“淘宝双11购物狂欢

niithust的专栏 6313

我在淘宝网的自我介绍

我的花名叫文茂,本名叫张兆坤,来自湖北麻城。 我最初开始工作的时候是做.net程序开发的,后来在05年的时候开始做J2EE的开发工作了,大大小小的项目做了不少,也几经沉浮。面向未来我也困惑过迷茫过,有好些期待也有太多的无奈。 曾经,我对Oracle数据库特别感兴趣,一心一意想考OCP认证,买了很多资料,下了很多的视频,一下班就在我的电脑上折腾,可是只维持了几个月的激情。由于我在公司的职责并不是DB

张兆坤 8712
上一篇: Eclipse4平台服务
下一篇: 读Youku架构之体会
JavaMan_chen
博客等级 码龄19年 329粉丝 82原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值