
阿里淘宝架构
文章平均质量分 92
笑天居士
天下风云出我辈,一入江湖岁月催。皇图覇业谈笑中,不胜人生一场醉。
展开
-
relay fetch解决MySQL主从复制延迟
Mysql复制单线程的本质意味着从服务器效率的降低,即使从服务器有很多磁盘、cpu、和内存,也很容易落后于主服务器,因为从服务器的单线程只能有效的使用一个cpu和磁盘。 从服务器上的锁定也是一个问题,运行在从服务器上的另外的查询也会加锁并阻塞复制线程。复制是单线程,复制线程(sql_thread)除了等待也不能做别的事情。 为了解决这个问题,业界开发了一些补丁解决这类问题,一个思路原创 2013-11-10 13:56:30 · 2061 阅读 · 0 评论 -
cobar文档 - 后端数据源心跳
心跳的目的是为了实时探知后端数据源的运行情况,Cobar是通过向后端数据源执行一条SQL语句,根据该语句的返回结果判断数据源的运行情况。该SQL语句可以由用户自定义,下面是一种简单的配置方式propertyname="heartbeat">select user()property>这种方式无需数据准备,但不能够判断数原创 2014-04-29 16:22:25 · 1324 阅读 · 0 评论 -
cobar文档 - 分库规则配置
1.场景本文将给出一个典型的应用场景,并做具体配置说明,假设场景如下:通过Cobar提供一个名为test的数据库,其中包含t1,t2两张表。后台有3个MySQL实例(ip:port)为其提供服务,分别为:A,B,C。期望t1表的数据放置在实例A中,t2表的数据水平拆成四份并在实例B和C中各自放两份。t2表的数据要具备HA功能,即B或者C实例其中一个出现故障,不影响使用且可提供完整的数据原创 2014-04-29 16:31:23 · 2223 阅读 · 0 评论 -
cobar文档 - 资料集合
cobar文档合集Home - Cobar - Alibaba Open Sesame产品文档(未完成) - Cobar - Alibaba Open Sesame_action路由算法 - Cobar - Alibaba Open Sesame_actionrule - Cobar - Alibaba Open Sesame数据源心跳配置 - Cobar - Alibaba Open Sesame_action阿里巴巴Cobar架构设计与实践Cobar的架构与实践(第88页)原创 2014-04-29 16:54:04 · 1698 阅读 · 0 评论 -
Cobar的架构与实践
Cobar是提供分布式数据库服务的中间件,是阿里巴巴B2B前台应用访问数据库的统一入口。本文讲述的就是Cobar的架构演变与应用实践。2008年,阿里巴巴B2B成立了平台技术部,为各个业务部门的产品提供底层的基础平台。这些平台涵盖Web框架、消息通信、分布式服务、数据库中间件等多个领域的产品。它们有的源于各个产品线在长期开发过程中沉淀出来的公共框架和系统,有的源于对现有产品和运维过程中新需转载 2013-11-13 10:40:00 · 9028 阅读 · 5 评论 -
淘宝杨志丰:OceanBase--淘宝结构化大数据解决之道
时至今日,“Big data”(大数据)时代的来临已经毋庸置疑,尤其是在电信、金融等行业,几乎已经到了“数据就是业务本身”的地步。这种趋势已经让很多相信数据之力量的企业做出改变。恰逢此时,为了让更多的人了解和使用分析大数据,优快云独家承办的大数据技术大会于今日在北京中旅大厦召开。本次大会汇集Hadoop、NoSQL、数据分析与挖掘、数据仓库、商业智能以及开源云计算架构等诸多热点话题。包括百度、淘转载 2013-12-06 09:56:53 · 2565 阅读 · 0 评论 -
淘宝数据魔方技术架构解析
淘宝网拥有国内最具商业价值的海量数据。截至当前,每天有超过30亿的店铺、商品浏览记录,10亿在线商品数,上千万的成交、收藏和评价数据。如何从这些数据中挖掘出真正的商业价值,进而帮助淘宝、商家进行企业的数据化运营,帮助消费者进行理性的购物决策,是淘宝数据平台与产品部的使命。为此,我们进行了一系列数据产品的研发,比如为大家所熟知的量子统计、数据魔方和淘宝指数等。尽管从业务层面来讲,数据产品的研转载 2013-12-06 10:03:01 · 2223 阅读 · 0 评论 -
Taobao数据库这5年(摘要)
这是一篇淘宝丁原的演讲PPT,我觉得挺好,转摘于此原文链接:http://www.docin.com/p-456657187.html 使用MySQL,你有什么顾虑 使用MySQL会有很多顾虑,开发的顾虑,dba的疑虑,没有关系,我们来一起解决。 •MySQL会丢数据吗 •MySQL容灾快速切换方案 •MySQL的性能怎么样 •MySQL开源软件自身的稳定性怎么转载 2013-11-10 16:13:25 · 2275 阅读 · 0 评论 -
阿里数据库关键技术
《阿里数据库关键技术.pdf》下载转载 2013-11-14 08:33:46 · 1732 阅读 · 0 评论 -
阿里陶宝技术架构产品(OceanBase&CoBar)
OceanBase 支持ACID的可扩展关系数据库http://alibaba.github.io/oceanbase/ OceanBase是阿里巴巴集团研发的可扩展的关系数据库,实现了数千亿条记录、数百TB数据上的跨行跨表事务。截止到2012年8月,OceanBase支持了收藏夹、直通车报表、天猫评价等OLTP和OLAP在线业务,线上数据量已经超过一千亿条。Ocean原创 2013-11-13 10:47:20 · 3234 阅读 · 1 评论 -
MySQL多线程同步MySQL-Transfer介绍
由淘宝核心系统研发—数据库组开发的MySQL-Transfer,用于解决MySQL主从同步延迟的问题,从MySQL单线程到多线程的工作模式。相关资料:MySQL多线程同步-Transfer使用说明http://wenku.it168.com/d_000355271.shtmlMySQL异步复制延迟解决的架构设计与运维架构—在线播放—优酷网http://v.you转载 2013-11-10 14:03:47 · 3070 阅读 · 0 评论 -
MYSQL中间件研究(Atlas,Cobar,TDDL)
mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡,读写分离,failover等,但其不支持大数据量的分库分表且性能较差。下面介绍几款能代替其的mysql开源中间件产品,Atlas,cobar,tddl,让我们看看它们各自有些什么优点和新特性吧。360 AtlasAtlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据转载 2013-11-10 14:19:54 · 3137 阅读 · 0 评论 -
Cobar的使用与心得(持续更新)
关于淘宝Cobar中间件使用中一些问题总结,会在使用中不断完善该文档1、LOAD DATA LOCAL FILE ...不支持 mysql> load data local infile "/usr/jfy/tmp/scpcdr.txt" into table scpcdr fields TERMINATED by '|'; ERROR 1148 (42000): The原创 2013-11-05 20:05:53 · 4661 阅读 · 2 评论