码大师的博客

hadoop学习–（从hadoop框架讨论大数据生态） 一、hadoop介绍 hadoop是Apache基金会开发的分布式系统基础架构。 主要解决耗量数据的存储和数据分析计算。（传统工具存储不了海量数据，传统数据计算速度慢）。 广义上来说。hadoop是指hadoop生态圈。 二、hadoop的优势 高可靠性 ：hadoop底层维护多个数据副本，一般备份3分数据。所以即使hadoop某个计算元素或者存储出现故障，也不会导致数据丢失。 高扩展性 ：在集群间分配任务数据，可方便得扩张数以千计

Hadoop学习–(大数据) 一、大数据概念： 大数据是指在一定时间内无法用常规软件工具进行捕捉、管理和处理的数据集合。 大数据主要是解决海量数据的存储和分析计算。 二、大数据特点： 大量 高速（产生速度） 多样： 结构化数据：以二维表来逻辑表达和实现的数据。例如：文本文件、库表 非结构化数据：没有固定的结构。视频、图片 半结构化数据：存储的数据信息类似结构化，但本身以非结构化数据存储。 半结构化数据，属于同一类实体可以有不同的属性，即使他们被组合在一起，这些属性的顺序并不重要。常见的半结构数据有