提出大数据:1996年SGI公司的首席科学家John Mashkey提出大数据
2001年Gartner在评论中首先定义大数据的三个维度:数据容量,速度和种类。业界把3v扩展到了11V但主要包括Volume,Velocity,Variety和Value
大数据概念:指无法在可承受的时间内用软硬件进行捕捉,管理和处理的数据集合,需要新处理模式才能将该数据集合成为具有更强的决策力,洞察力和流程优化能力的海量,多样化的信息资产。
数据构成:
结构化数据:可以储存在数据库,用二维表结构来逻辑表达实现的数据。
非结构化数据:不方便用数据库中的二维表结构来表达的数据
半结构化数据:html就属于半结构化数据
大数据价值:1.卫星测绘:海量数据存储
2.金融证券:盘活归档数据
3.油气勘探:潜力分析
4.媒体娱乐:高清制博
大数据关乎未来:
企业:竞争能力
决策及时
成本控制
事业:科学探索
知识服务
社会安全
大数据特征:1.体量大:存储大,计算量大
2.样式多:来源多,格式多。
3.速度快:生成速度快,处理速度快
4.价值:价值密度低
大数据带来的挑战:
1.传统网络架构不适应“大数据”时代
2.数据中心将面临巨大的压力
3.数据仓库架构不适应高速反应的要求
非结构化数据无法处理
电信大数据应用: