czx33859066的专栏

一、课前准备●安装并配置好Hadoop, 保证Hadoop集群是正常启动的。●在Hive的安装目录下启动，执行bin/hive。二、Hive简介1.Hive是什么?●基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据●Hive把HDFS中结构化的数据映射成表。●Hive通过把HiveSQL进行解析和转换, 最终生成-系列基于hadoop的map/reduce任务, 通过执行这些任务完成数据处理。2.Hive与传统数据库的比较Hive的优势●把海量

一、Hadoop概述1.hadoop生态圈2.hadoop的组成Hadoop由三个模块组成:分布式存储HDFS、分布式计算MapReduce、资源调度引擎Yarn3.HDFS:块级别的分布式文件存储系统1) NameNode (nn) :存储文件的元数据，如文件名，文件目录结构,文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等2) DataNode(dn): 在本地文件系统存储文件块数据，以及块数据的校验和。3) Seconda..

1.准备环境Linux系统，准备root和hadoop两个用户把hadoop、hive、jdk等包上传到linux系统目录下2.关闭selinux在linux下，切换到root用户su - root进入vim /etc/selinux/config把SELINUX=disabled3.切换到hadoop用户，配置免密登陆（解决多次登录，多个集群，要多次输入用户密码的问题）cd 进入hadoop用户的家目录ssh-keygen -t rsa [输入完后连按...

目录一、需要准备的软件VMwareXshell6Xftp6CentOS7系统hadoop(服务器上)jdk(服务器上)hive(服务器上)二、安装vmware并配置网络1.安装vmware安装过程中，以下两项可以取消掉2.配置vmware网络步骤三、安装CentOS 7操作系统新建虚拟机器2.编辑虚拟机3.安装CentOS7操作系统调整日期和时间软...

Kettle安装1）把pdi-ce-8.1.0.0-365.zip右击解压到当前文件夹如图：2）将data-integration文件夹剪切到d:盘下3）右击D:\data-integration文件夹下的Spoon.bat以管理员身份运行到此安装完成注意：第一次启动需要一定的时间，耐心等待。PS:如果有多个版本的JDK，则右键编辑Spoon.bat增加set PENTAHO_JAVA_HOME=C:\Program File...