
Storage
文章平均质量分 69
chenyun1
这个作者很懒,什么都没留下…
展开
-
主流数据库的分页sql
-----------------------------------------------------------1. Oracle数据库 SELECTx.*from( SELECTz.*,rownumnumbersfrom( select*fromXZQHwhereXXXorderbyXXX)z whererownum<101)x wherex...2009-05-06 11:00:00 · 107 阅读 · 0 评论 -
海量数据存储之存储设计(二)
本节重点讲述数据的Durability(可靠性),纵然CAP理论中的三个关键点(Consistent, Available, Partition-Tolerant )无法达成一致,A和P目前来看变化不太多,可能变化比较多的是在C上,将一致性模型的文章毫无疑问首推Amazon CTO:Werner Vogels的两篇文章:Eventually ConsistentEventually Co...2011-03-13 17:58:21 · 1092 阅读 · 0 评论 -
海量数据存储之存储设计(一)
相关文章推荐:海量数据存储之Key-Value存储简介海里数据存储之存储设计(二)Je的排版真的让人难过......从本文开始着重讲解存储细节,思路比较飘逸,观者多包涵。翻译了一篇Redis作者antirez的文章做为本文的切入点,翻译得不好,这部分可以大致一览,后面会有分析。Append Only和Reuse Blocks的一些区别对于一颗app...2011-03-06 13:51:17 · 1638 阅读 · 0 评论 -
海量数据存储之动态Schema的传说
简介众所周知,对于海量数据的schema修改是一个极其昂贵的代价,MySQL分表的很大原因其实就有500w数据一个表,DDL会比较快。一般来说,动态schema是指的非固定表结构,schema字段(有时也指索引)的增删对于正常的读写没有任何影响。一般有两个方向的表现形式: Online Schema ChangeSchema-Free NoSQL中一般采用后者,而关...2011-04-26 13:06:14 · 682 阅读 · 0 评论 -
海量数据存储之新存储设备性能优化
本文主要讲述NoSQL在Flash设备上的可以选择的其中一种优化策略,并粗略提了一下SSD设备的特性。对Flash设备的性能优化,微软曾经做过一份paper,但是里面很多东西比较局限:比如paper中将SSD作为了写入的buffer,而众所周知,写性能不会是任何一款NoSQL的瓶颈;比如SSD的索引采用了Hash的数据结构,这样在进行cache evict的时候,粒度的控制也很有问题。本文对其...2011-01-04 19:50:47 · 341 阅读 · 0 评论 -
海量数据存储之Key-Value存储简介
Key-value存储简介具备高可靠性及可扩展性的海量数据存储对互联网公司来说是一个巨大的挑战,传统的数据库往往很难满足该需求,并且很多时候对于特定的系统绝大部分的检索都是基于主键的的查询,在这种情况下使用关系型数据库将使得效率低下,并且扩展也将成为未来很大的难题。在这样的情况下,使用Key-value存储将会是一个很好的选择。它被广泛应用于缓存,搜索引擎等等领域。 ...2010-08-23 12:48:14 · 1069 阅读 · 0 评论 -
Berkeley DB Java Edition存储文件格式概述
Bdb je的底层存储格式是Log-Structured File System,即就像写日志那样append only,并且其日志和数据是存在一起不分开的。因此bdb的存储格式是面向entry的,一个entry或代表一个record,或代表一条日志等等。从源码分析,bdb的entry总共有几十种之多,根据不同的配置使用不同的entry。代码结构是这样的: ...2010-12-13 17:21:00 · 342 阅读 · 0 评论 -
数据库联合查询的思考
转自:巴士飞扬-技术BLOG : http://www.busfly.cn/昨天晚上和网友讨论了一个关于数据库联合查询的效率的问题.说实话,以前我一直没怎么考虑过这个问题,在写SQL时,都没怎么考虑,似乎一切都成了习惯,或者已经懒散贯了,但是,网友和我聊起来了,我也就好好考虑起这个问题了,平时不考虑时不知道,真正好好计较一下,才发现还有很多门道.假设我们有三个表,A表,B表,C表.其数据量...2009-08-10 11:21:00 · 167 阅读 · 0 评论 -
JDBC调用oracle存储过程
好久不用java调用存储过程的系统了,今天被别人给问住了。。。晕的很。。。下面是自己的一些总结: 创建需要的测试表:create table Test(tid varchar2(10),tname varchar2(10));第一种情况:无返回值. create or replace procedure test_a(param1 in varchar2,param2 in varchar2)...2009-07-29 09:52:00 · 140 阅读 · 0 评论 -
使用Oracle instant sqlplus连接远程数据库
网上说的很复杂,其实根本不用那么复杂。你只要在cmd下面敲sqlplus /nolog然后回车输入用户名/密码@数据库服务器IP:端口/数据库名即可2009-07-28 21:57:00 · 117 阅读 · 0 评论 -
数据库设计之反规范化
原文出处: http://www.aiview.com/ 数据库设计的范式 1NF 属性不可分割 2NF 没有部分依赖 3NF 没有传递依赖反规范化设计反规范化设计的前提反规范化设计是规范化设计之后的步骤,首先令所有关系满足规范化设计(一般到3NF),之后的反规范化设计才能是可控的。反规范化设计的优点能够减少数据库查询时SQL的连接次数,从而减少磁盘IO,提高查询效率。反规...2009-06-21 21:11:00 · 1159 阅读 · 0 评论 -
JDBC事务
作者:Jack Shirazi 开发通过ACID测试的应用程序 事务使得开发人员的工作变得简单多了。通过在JDBC API和诸如Oracle9i的关系数据库中使用事务功能,在更新多用户应用程序时,你可以把数据遭破坏的可能性降到最低。然而,事务需要处理开销,与免费事务应用程序(更容易被破坏)相比较,它会降低系统的性能。那么,当使用事务时,什么才是保持性能的最好方法? 最佳的性能调优建...2009-05-06 11:02:00 · 87 阅读 · 0 评论 -
HBase存储文件格式概述
概述HBase是基于Bigtable论文的面向列的分布式存储系统,其存储设计是基于Memtable/SSTable的。其它如Cassandra都是采用的该设计。整个存储分为两部分,一部分为内存中的MemStore(Memtable),另外一部分为磁盘(这里是HDFS)上的HFile(SSTable)。下面分别讲述两种类型的存储分别的实现:MemStore中最重要的变量是:volat...2010-11-29 19:36:02 · 374 阅读 · 0 评论