目录
1. 前言
前两天把Hbase的初级入门知识整理了下,在文章中提到了“HDFS”这个大数据的基础,有同事小伙伴想要了解下这方面的知识,今天我把之前整理的内容也给同事讲了下,顺便我把他又整理了下放了出来给大家,希望对大数据概念这块一知半解的小伙伴,能够对大数据整体这块有一个清晰的认识,好了废话不多说,进入正题。
2. 大数据的诞生
对于大数据这块的概念,有很多官方的定义,不过理解上来说,每个人都有不通的理解,我就先说下我的理解,说这个之前我们先说下之前的情况,在大数据诞生之前,我们是如何处理各种情况的,按照场景分类,无非就是互联网企业和传统行业的企业,在各行各业,只要有互联网,系统软件,无论中高层、老板都要看数据,只有看数据,他们才了解公司的整体运行情况,看数据主要的是帮助各个层级的人员更好的了解公司运行情况的方方面面。
那么互联网行业,传统行业的软件系统,他们的数据存储在那呢?在2014年以前,在2010~2012年最流行的不是什么大数据,而是DBA,Oracle DBA, 当时公认的oracle是数据库行业的老大。当时的报表从那里出?从oracle里面出,工程师写一个几十行,几百行,甚至几千行的大SQL,然后写个小程序,定时任务调度在凌晨跑下,跑个十几分钟,甚至一两个小时,都是常有的事情,第二天老板上班后就能看到计算的数据
因此大数据的前身我们可以理解成下面这样:
大数据的前身 = 各种公司老板业务报表的需求 + 几百行大SQL + ORACLE
好了,我们知道了大数据前身就是要执行几百行的大SQL,而出来的各种报表,每次执行了一段时间才会出来结果,对于这个