playing_the_fool的博客

原文地址： https://itweknow.cn/detail?id=67 ，欢迎大家访问。 前面我们介绍了在Ubuntu上安装Hadoop单机版。但是我们知道，Hadoop在实际工作中都是以集群的形式存在的，毕竟需要处理大量的数据，单机的处理速度显然不能满足。所以这篇文章我们就来介绍一下如何在Ubuntu上搭建Hadoop 集群。 准备阶段 三台在同一局域网内的Linux机器或者虚拟机...

原文地址： https://itweknow.cn/detail?id=70 ，欢迎大家访问。 什么是Avro Avro是一个独立于编程语言的数据序列化系统。这个项目由Ddoug Cutting（Hadoop之父）创建，目标是解决Hadoop中Writable类型缺乏语言的可移植性的不足。Avro模式通常采用JSON来写，数据则采用二进制格式编码，也可采用基于JSON的数据编码方式。 Avro...

原文地址：https://itweknow.cn/detail?id=71 ，欢迎大家访问。 上篇文章我们简要介绍了一下Avro是啥，以及其几种数据类型。那么通过这篇文章我们一起来实践一下Avro在MapReduce中的使用。 前提条件 一个maven项目 Hadoop集群，如果你还没有安装的话，请戳这里，查看之前的文章。 说明 本篇文章是一个简单的用例，使用的例子是一个txt文件中存储了...