三人行必有我师,手写三行必有所悟

大数据处理现在比较火热,在信息爆炸的信息社会,这其实也是必然的.特别是云计算时代,对于云应用,这是一个无法绕开的课题.相对处理能力来讲,"大数据"处理其实从有计算机开始就已经存在.我做ERP系统的时候(2001),为了性能,就用了数据的分开存储,以下是我的一些看法:1)大数据的最基本难题   在数据量海量的情况下，需求的不确定性、计算能力和内存空间的瓶颈、外围存储的非随机访问是大数据处理非常困难的

前些天去参加了Dell公司在广州主办的云存储方案交流会，通过这次会议，基本上印证了我对云计算的理解。Dell的云存储解决方案偏硬件一些，如果把他的磁盘看做是一台服务器，其核心的技术思想跟Google的GFS差不多。当然，Dell的云存储是基于硬件的解决方案，有些做法，比如冗余采用的还是RAID技术，而不是GFS的软冗余。从性能上来讲，基于硬件的肯定要好些，但扩展和灵活性还是稍逊一些（其实Dell的

这段时间其实一直在思考Hadoop的东西，主要是我准备用Dotnet来模拟玩一下，这两天刚好看到 http://blog.youkuaiyun.com/cenwenchu79/article/details/7206804 这篇文章，看来对hadoop的架构有看法的不止我一个，当然，别人都是牛人，有牛人敢怀疑，我也跟着说点看法。 首先，坦率的讲，我没有用过hadoop,我只是了解过其机制，根据上面那位牛

其实任何简单的问题，只要规模大了都会成为一个问题，就如中国人口多，很多小问题都会变成大问题一样。但处理这种海量数据的方法无非就是分治和”人海”战术。使用人海战术的前提是问题的划分能够支持这种人海战术，其手段无非是切割（纵向，横向）和负载均衡。纵向分隔主要是按业务（功能）来分，也就是所谓面向服务架构，横向分隔方式比较多，主要依赖于所处理的对象属性，比如时间属性或者特定业务数据属性划分（比如铁路客票的

原来只是有点这个想法，怎么去做这个事务，这次给公司做新架构演示，随带就加进去了，居然还成了，还像那么回事：我的做法很简单：自己写了个事务处理类，提供一个静态的启动事务方法，然后就是Commit,Rollback方法，再利用GUID作为事务ID。有事务处理类管理本地数据库链接和远程跨域服务信息，利用这些信息在Commit或者rollback时进行提交或者回滚，在数据库级上并行执行命令，需要对远程跨域

我希望能有这样一台计算机：运算能力可大可小，存储空间也可大可小，我需要多少就配多少，只需要通过参数配置就达到计算机系统的升级和降级。其实云计算就是要提供给每个网络用户这样的一种逻辑上的计算机。  我前面的博文已经讲了云计算的一些概念和我的理解，其实我觉得要把握为什么会有云计算，只要把握住两个地方，一是资本的逐利性，二是充分资源共享。资本的逐利性是云计算的根本动力，降低成本，提高效率，实现利润最大

要实现云计算的随需应变的目标，关键在于运算能力和存储能力的适应性。我们先看看如何实现存储的随需应变，这里的随需应变的需主要是指存储空间和吞吐能力（性能），当然，安全性，可靠性，可扩展性等指标都是基本的。基于单台存储设备的能力总是有限的这种事实，下面的存储分析都是基于分布式存储，而不基于单台存储设备。因为我们是基于分布式存储来满足云存储的要求，我们不关心操作系统级的存储设备访问和管理，我们只关心基于

存储在计算机系统中非常重要，前面的博文中的存储主要是基于已有的数据库系统，这一篇，我们就来看看不采用数据库系统，怎么来做云存储。在云存储中，我们不考虑单台存储设备的支持，因为这已经是现成的，我们将讨论的云存储将基于已有的操作系统和文件系统，从头开始不太可能也不太现实，我们只需要关注我们现在应该关心的一些地方。云存储要达到的一个根本目标就是随需应变，对于用户来讲，其实就是要求空间是无限大的，数据是非

我们知道要实现计算系统中计算部分的能力的提升，无外乎就两种办法，一是提高单台计算设备的能力，二是增加计算设备。我们知道，单台设备计算能力的提升总是有限度的，因此要实现云计算中计算能力的提升，增加设备就是唯一的选择。增加设备能够提升计算能力和一个应用能否利用这种增加的计算能力是两回事，而要能利用这种增加设备而带来的计算能力就需要应用支持分布式计算。因此，要达到云计算的计算能力随需应变的能力，有两个很

如果不是专门的做云存储，而是做云应用的话，一般来讲，业务关系稍微复杂一点的应用系统，需要数据库方式和非结构化方式(noSQL方式)相结合，日志数据以及大量的文件数据以非结构化来管理，做专门的文件服务器，而结构化的数据还是要以数据库来进行管理，只不过需要对结构化的数据进行分类，比如分为字典数据，基础数据和业务数据。对于字典数据和基础数据而言，可采用普通方式，就一个表，而对于业务数据来说，由于其操作的