xuplus的专栏

我们都知道大数据技术是未来10~20年的企业核心竞争力。前言伟哥跟大家所有coder一样，技术栈主要有C++、java和php，从事过地铁AFC系统，系统服务，设备驱动，cos，商城系统后台等开发，但是未来10年，靠语言和开发经验优势来提升的空间会越来越低，所以现在就要果断的像大数据技术看齐。那么我在这个转型的过程中，遇到了N多的坑，最苦恼的是没有一个系统的，step-by-step的 大数据教程

hadoop前生今世hadoop最初由yahoo和google共同提出。 他们想对自己的搜索数据进行理解，从而产生更多的商业价值和决策。 分布式 容错性 如果一个节点产生错误或者退出计算，hadoop会把该节点任务分配给其他节点并继续运行。 实时性 生态系统最关键的有以下两个 - HDFS - MapReduce此外，hadoop最常用的组件如下图： 其中 - hbase：列存储

什么是MapReduce根据伟哥前面讲的，存储文件可以用HDFS，那么分布式计算用什么？毫无疑问，就是MapReduce MapReduce 是hadoop的计算引擎，将任务分解到多个服务器进行处理，并将结果整合到一起，它本身是一个高性能的并行或分布式的数据处理模型。 通俗一点说，通过编写程序，它可以同时使用多个分布式处理器，对大量的非结构化数据进行处理。实现原理MapReduce使用 Map（