另眼看大数据

     首先声明，本人并不是搞大数据的，文中跟大数据相关的知识若有不对还请各位指点。本人只是试图从另一个角度来阐述大数据的产生。

     IT的第一个字母表示的是information，我们现在的所有技术（IT行业）其实归根结底就是对信息的处理。

     在网络没有诞生前，处理信息都是相对独立的，及单机处理，当然那个时代的信息量也不大，计算机处理能力跟现在比也弱爆了，所以需要的技术也相对没那么复杂。自1991年Internet网络开始正式大范围商业化后，信息可以通过网络迅速传播了。与此同时，互联网的开放性、包容性也迅速的吸引着各大公司，互联网的第一次创业高潮也在90年代形成，BAT也都是在那个年代成立的。信息通过网络开始急速的增长起来。

     进入千禧之年后，随着摩尔定律的发展，硬件的性能也在不断提高，对于企业来说IT成本也降低了，所以这一时期的IT技术开始在各大企业得到应用，具体来讲就是各行各业的企业开始对各种管理系统的需求猛增，比如财务系统，考勤系统，报销系统，质量跟踪系统、OA系统等等。下面简单的分析一下这一时期的IT企业状况（主要是软件企业）。

     工作过的人或者找过工作的都知道，IT行业需求量最大的软件开发（现在依旧）。为什么是software engineering？因为企业需求！软件对信息的管理可以使各行各业大大地提高工作效率，追求利润最大化的企业怎么可能拒绝效率的诱惑。而且软件是完全可以“私人定制”的，可以完全按照企业的需求来开发。

     在jsp,asp.net出现之前，各种管理系统应该是以C/S模式为主，语言也应该是VC++之类的。在asp.net jsp等技术出现后，B/S的系统开始占主导地位。我觉得原因可以从两个方面来看，从用户来角度来说，B/S系统无需安装客户端，一个联网的浏览器足矣，这样就极大地方便了用户；对于开发者来说，开发B/S系统的效率也比开发C/S系统高很多，因为开发C/S系统要花大量的时间来自己写Server端的东西。所以，对于开发者和企业来说，B/S系统都是C/S系统的最佳替代。我记得我几年前找工作的时候，需求量最大的岗位就是java 和 C# （asp.net）。

     再来说说软件行业的公司。企业对软件的持续需求催生出了一大批的软件外包公司。相信直到现在软件公司的数量在IT行业中所占的比重仍然是NO1。软件公司的创业者其实有很大一部分都是其他从其他行业来的（包括其他行业的IT部门从业者）。为什么？还是需求！！如果你觉得你的软件开发技术很牛逼就可以自己搞个公司接外包，那就太天真了。原因很简单，任何一个软件系统都是服务于一个特定行业的。如果让一个不懂一点财务知识的人来开发一个财务系统是不可能的事。所以搞软件开发的人除了技术知识都会懂至少一个其他行业的业务知识。创业者来自其他行业的就是因为这些人懂他们所处行业的业务知识，还有一个原因是因为他们在自己的行业里有资源，通过在行业的人际关系更容易拿到这些行业的项目。所以我们看到现在很多的中小型软件外包公司都基本专注于一个行业，比如专做银行的外包或者教育系统的外包。还有一部分软件公司是由一些大的公司自己成立的分公司，这类软件公司主要的项目来自于母公司，比如华为与中软合办的中华软件，平安集团旗下的平安科技，以及一些国企出资成立的各种计算机信息集成公司等。

    这一时期的互联网公司也开始朝多元化发展，各种行业的垂直互联网公司相继出现，像百合、58以及各种垂直电商等等。互联网公司与软件公司的最大区别就在于大部分互联网公司面对的是普通大众，而众多的软件公司的受众则主要是企业。但在传统互联网时代，信息的产生有个重要的特点：在信息的产生过程中，企业占主导地位。普通消费者在某种程度来说只是被动的接收由互联网公司产生的信息。

    在软件行业如此繁荣的背景下，信息得到更好的管理与加工，企业效率也不断的得到了提升。随着更多的互联网企业诞生，更多的商业模式也在不断的涌现。然而这一时期Big Data还是未能产生。原因何在？因为数据量还不够大。虽然越来越多的企业开始信息化，但对于公司来说，很多信息其实都是局限于公司内部的局域网，各系统的用户量也不是很大。一个拥有上千员工的企业算是很大的规模了，为这样的一个企业开发一个系统用现有的技术框架完全足够了，几千用户的负载量在互联网世界完全就是小巫见大巫了。那么互联网企业应该访问量大吧，信息多吧？是要比企业内部的局域网多很多。但是正如前所述，传统互联网时代，互联网公司是信息产生的主导者，加之传统互联网时代网民的平均在网时间也不长，因为上网得通过PC。所以，研究者从事大数据研究的时机也还没到，就无从谈大数据的应用了。

     这一切的情况的随着移动互联网时代的到来都发生了巨大的变化。2012年是移动互联网爆发的一年，随着ios, android的潮流，3G、4G的到来。用户在网的时间极大地拉长了，通过移动终端，用户可以24小时在线，并可以通过网络随时进行互动。各种新的社交方式也开始出现，微博 微信开始大放异彩。存在于移动互联网中庞大的用户群体也就天然地孕育了巨大的商机。各创业公司开始如雨后春笋般的涌现，各种新的商业模式开始涌现（如众筹、创新工场），各种创新产品也开始涌现（如余额宝）。

     为什么现在移动互联网创业会这么火？原因在于成本，移动互联网这么庞大的用户群体任何一个人都是可以利用的。而在软件行业创业，如果你在特定行业没有关系几乎是很难拿到项目的。

    移动互联网创业面对的庞大的互联网使用者，它最重要的区别就是所处理的信息量跟传统的软件公司不是一个数量级的。随着社交元素的加入，每一人都可以成为信息的发布者，成为信息的产生者。数据量的急剧增加使得原有的传统软件公司的技术框架已经开始力不从心了，而这些大量的初创公司也没有大公司那么有钱来购买IBM等数据处理能力强的高端设备与服务，所以在这种背景下Big Data诞生了。

     可以说，Big Data就是为了适应移动互联网的变化而诞生的。当然这里的变化除了数据量的变化还包括新技术的需求，最明显的就是机器学习的应用。因为机器学习需要训练大量的数据，而这些计算任务的完成就需要借助大数据的处理能力来完成了。

      随着Big Data诞生，随之而来就是各种新的技术。比如mapreduce hadoop erlang scala spark等，而这些技术几乎都是专注于通过集群思想、并行处理技术来提高处理数据的能力。

     做得比较好的移动互联网创业公司，访问量上百万、上千万是很容易做到的，用户量的高速增长有时对于公司本身来说都是难以想象的。当然这些庞大的访问量在传统互联网时代也是很难想象和做到的， 这也正是移动互联网的传奇所在。然而面对这么庞大的用户访问量，那些初创公司借助大数据的技术就可以很高效地处理，这样大数据自然就会很受欢迎了。

    个人观点，欢迎与大家交流！

 转载请注明转载自：http://blog.youkuaiyun.com/computerme/article/details/38559009