AdamAaron的博客

继Hadoop入门第二篇之后，今天我们进行一下Hadoop运行环境的搭建三、Hdoop运行环境搭建1. 首先要虚拟机搭建在创建Hadoop运行环境前我们先要有一台Linux，所以打开虚拟机创建一台Linux。这里我选择了大小不到400M的CentOS-6.5-x86_64-minimal2、 设置虚拟机网络模式2.1 查看自己的网络IP子网掩码等信息这里我们主要更改三个主要文件...

HDFS客户端操作继上篇Hadoop入门第三篇后，我们今天来说一下HDFS客户端的操作。准备工作：这里我们先用伪分布式来说一下，所以我们要先有一个伪分布式。1、HDFS客户端环境准备1）根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：C:\Study\tools）。2）配置环境变量1）配置系统环境变量1.2.1.1 配置jdk的环境变量...

版权声明：本文为博主原创文章，未经博主允许不得转载。大数据之MapReduce学习（简易见解）前言继我们上篇讲了HDFS的客户端操作之后，我们今天来分享一下Hadoop生态圈中第二个重要组成部分——MapReduce。一、MapReduce入门首先我们要知道MapReduce是在Hadoop生态圈中是个什么位置能做什么。1.1MapReduce定义MapReduce是一种分布式运...

大数据技术之Hadoop入门一、大数据概论大数据概论大数据（big data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决，海量数据的存储和海量数据的分析计算问题。自我认为：大数据就是在短时间内快速产生大量**多种多样的有价值**的信息。大数据的特点...

前言：我们上一篇文章简述了一下Hive，对Hive有了简单而又基本的基础了解。简单回顾一下，上一篇讲了Hive的基本概念，它包括Hive的定义、优缺点、架构原理以及Hive和SQL的比较。并且安装了Hive，熟悉了Hive的基本操作。那么今天我们会讲述一些Hive的一些DDL数据定义、DML数据操作。文章目录四、DDL数据定义4.1 创建数据库4.2 修改数据库4.3 查询数据库4.3.1 显...

大数据技术之Hadoop入门（第二篇）继续上篇文章Hadoop入门今天来简单的说一下HDFS中的SecondaryNameNode 副节点 和持久化在上篇文章中说过了Secondary NameNode(Snn 后面都写作SNN)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照一、SNNSNN的主要工作（1）Secondary NameNode询问NameN...