weixin_45131142的博客

安装方式：伪分布式，让进程跑在一台机器上，只是他们的端口不一样！Hadoop框架安装部署都属于Java进程，其实就是JVM基础，运行服务HDFSNameNode和DataNodeYarn：ResourceManager和NodeManager1.将hadoop的压缩包上传到linux中hadoop压缩包链接：https://pan.baidu.com/s/1gNVEnV32G7W...

承接上一篇博客hive的安装，配置，测试1.和MySQL的对比database：数据库将同一类表放在此空间下，以便进行管理操作。table:表字段:数据类型和字段名称映射 表对应的数据文件对应的文件数据在HDFS上2.使用MySQL存储元数据10.1交互式命令问题现象:bin/hive这个交互性命令行不能同时开多个，开第二个就报错了原因:hive中无论是创建的 数据库还是表...

1.首先安装Mysql:1.1 检查是否已经安装MySQL检查：rpm -qa | grep mysql删除：sudo rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_641.2 安装的版本一般情况下，企业使用MySQL的版本：5.7，和Java项目中使用MySQL是一致的5.1和5.7区别：服务的名称：<5.5:mysqld &...

实现：Linux多台机器，需要保证每台机器时间是一致的！1.选择一台机器作为同步服务A,A与外网同步，B,C 同步A注：在root用户下不用 sudo2.配置ntp.confsudo vi /etc/ntp.conf(2.1)删除默认配置：(2.2)添加配置：允许那些机器与我同步restrict 192.168.59.0 mask 255.255.255.0 nomodif...

目的:datanNode和Nodemanager可能有多个，在不同的机器里面，那么怎么启动呢。 是不是急需要先远程登录，然后启动，如果远程登录需要密码的话，比较麻烦了，不断的输入密码实现步骤：（1）为每一台机器生成一对钥匙ssh-keygen -t rsa密钥的目录：/home/huadian/.ssh（2）将自己的公钥发给别人，包括自己（以下是3台虚拟机，每一台虚拟机下都要运行下面...

分区：partition创建一个分区表create table 表名称(字段信息)PARTITIONED BY(分区名称1 数据类型 COMMENT '注释:可不写',分区名称2 数据类型 COMMENT '注释:可不写',)ROW FORMAT DELIMITED FIELDS TERMINATED BY '字段之间分割符' LINES TERMINATED BY '\n'...

一.普通创建：（1）创建外部表：删除表后数据删除，元数据还在create EXTERNAL table 表名称(字段信息)ROW FORMAT DELIMITED FIELDS TERMINATED BY '字段之间分割符'LINES TERMINATED BY '\n'（2）创建管理表：删除表后数据删除，元数据也删除create table 表名称(字段信息)ROW FOR...

1.hadoop是不认识java常用的数据类型的 但是有与之对应的数据类型：javahadoopintIntWirteblelongLongWirteblefloatFloatWritabledoubleDoubleWritableStringTextbyteByteWritablebooleanBooleanWritable...

引言：思考某个MapReduce程序，到底有多少个Map Task和reduceTaskmapTask：要处理的数据放在HDFS上，有多少个Block就有几个Maptask，一个block被一个MapTask处理。reduceTask:自己编写MapReduce程序，自己设定hive：下面3个参数决定：（1）设置每个reduceTask处理的数据量：In order to chang...

1.架构图：（1）Client向Yarn主节点RM提交应用bin/yarn jar MainClass args（2）RM在某个NM节点上启动一个Container运行AppMaster,运行应用的管理者（3）AppMaster向RM请求资源，为了运行MapReduce中所有的Task，RM将分配NM是哪个资源，并且告知AppMaster（4）AppMaster联系NM，启动Conta...

1.管理表 又称内部表（MANAGED_TABLE）：注：在hive下正常创建一个表：MANAGED默认（可不写）create table tableName2.外部表 又称托管表（EXTERNAL_TABLE）：create EXTERNAL table tableName区别：区别：删除表的时候，管理表删除表的元素和删除数据文件。如果是外部表的话，只删除表的元数据...

-f：MapReduce程序的提交：肯定是将相关的命令放到脚本里面里面去，可以设置定时任务去提交运行。创建一个xxx.sh目录（如歌是普通用户 则需要在有权限的目录下创建）注：配绝对路径在Hive中如何：（1）在hive目录下创建xxx.sql文件，文件中可写多条sql语句（2）在hive目录下创建一个.sh文件 #!/bin/sh 别忘了！ 解释器指这个文件由谁来解释 ...

导入数据的方式1.方式一：使用LOAD方式加载加载本地local数据：hdfs putLOAD DATA INPATH linux下文件路径 INTO TABLE 目标表;加载HDFS数据:hdfs mvLOAD DATA INPATH hdfs下文件路径 INTO TABLE 目标表;2.方式二：直接使用HDFS中普通命令上传直接将数据上传到对应目录即可...

1.研究mapreduce测试（1）本地模式:local model,所有任务，都是运行在一个进程里面的，开发测试，IDEA点击右键运行（2）集群模式:Yarn，每个task（map 和reduce ）都各自运行在一个JVM中，每个任务都是一个进程。2.hive运行模式的介绍目的：为了hive CLi中方便测试，采取设置hive运行模式set hive.exec.mode.local....

1.使用外部工具连接到Linux(notpad++)2.找到hive安装目录并且找到hive-site.xml文件注：如果没有文件 自行创建，同时区别的xml复制一个头过来3.找到想要的配置查找：print4.将以下的配置添加到hive-site.xml文件中是否在Hive提示符中包含当前数据库<property><name>hive.cli.pri...

Hadoop默认端口说明Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper。组件Daemon端口配置...

概述Hive学习也有一段时间了，今天来对Hive进行一个总结，谈谈自己的理解，作者还是个小白，有不对的地方请大家指出相互学习，共同进步。今天来谈一谈什么是Hive，产生背景，优势等一系列问题。什么是Hive先来谈谈自己的理解：有些人可能会说Hive不就是写SQL的吗，那我们其实可以从另一个角度来理解:Hive就是那么强大啊，只要写SQL就能解决问题，其实这些人说的也没错Hive确实就是写S...