
新型技术
TinySun
一只正在蛹中挣扎蜕变的生物
展开
-
从关系型数据库到非关系型数据库
自1970年,埃德加·科德提出关系模型之后,关系数据库便开始出现,经过了40多年的演化,如今的关系型数据库具备了强大的存储、维护、查询数据的能力。但在关系数据库日益强大的时候,人们发现,在这个信息爆炸的“大数据”时代,关系型数据库遇到了性能方面的瓶颈,面对一个表中上亿条的数据,SQL语句在大数据的查询方面效率欠佳。我们应该知道,往往添加了越多的约束的技术,在一定程度上定会拖延其效率。原创 2012-07-07 20:21:15 · 9835 阅读 · 2 评论 -
分布式处理框架 hadoop 和 storm
大数据的时代,已经来临有段时间了,期间,各类的数据处理的框架也是有不少。 离线数据批处理模型 Hadoop,大家一定不会陌生。使用了Google的Map/Reduce模型的Hadoop框架,能够将大量的廉价机器作为服务的集群,提供分布式计算的服务。Map/Reduce模型采用分而治之的理念,便意味着面对的群体是大批量的数据处理。Hadoop下的Map/Red原创 2013-01-03 09:59:09 · 3453 阅读 · 0 评论 -
MapReduce 流程详述
一、MapReduce的提出、介绍MapReduce 是一个编程模型,也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个 Map函数处理一个基于key/value pair 的数据集合,输出中间的基于 key/value pair 的数据集合;然后再创建一个 Reduce 函数用来合并所有的具有相同中间 key 值的中间 value 值。因此,可以将许多数据处理问题,转化为 M原创 2013-06-04 14:29:59 · 2038 阅读 · 0 评论 -
《大数据时代》读后感
1、实体物联网与虚拟物联网 曾几何时,物联网的概念闹得风生水起,庞大的物流网能够让世间大量的物体,都能够被检测 并联网,包括了人、车、房等一切能够被联网的物体,这些物体都能够以种方式被感知他的存在,并对其信息记录在案,以供使用。在若干年前,这还是一种看似遥不可及的事物,要对每个物体都贴上一个所谓的RFID的标签,显得不切实际。如今,随着手机的大量使用,人类本身也被加入了物联网中。为什原创 2013-05-18 16:00:49 · 8017 阅读 · 0 评论