vaychen的博客

零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和java基础，其实hadoop并没有太大的困难。下面整理一下整个学习过程，给大家一个参考。首先我们要了解hadoop是什么?Hadoop能够做什么?Hadoop的使用场景是什么?Hadoop和大数据、云计算的关系是什么?如何使用hadoop?当大家对...

看过Tom White写的Hadoop权威指南(大象书)的朋友一定得从第一个天气预报的Map Reduce程序所吸引，殊不知，Tom White大牛虽然在书中写了程序和讲解了原理，但是他以为你们都会部署了，这里轻描淡写给带过了，这样就给菜鸟们留了课题，其实在跑书中的程序的时候，如果没经验，还是会踩坑的。这里笔者就把踩过的坑说一下，以防后来人浪费时间了。1. 首先，你得下载书中的nc...

大数据系列之Flume+HDFS 1.资料准备 ： apache-flume-1.7.0-bin.tar.gz2.配置步骤：　　　　a.上传至用户(LZ用户mfz)目录resources下　　　　b.解压tar -xzvf apache-flume-1.7.0-bin.tar.gz 　　　　　　　　c.修改conf下 文件名　　　　 1 2...

谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。 解决问题的层面不一样 首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普...

计算切片数量和大小(注意视频中的是hadoop 2.7.3，每个版本的方法都有变动，以实际为准)List<InputSplit> splits = input.getSplits(job);切片数量选择过程  最小值(肯定>=1)：long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSi...