【数据库笔记】运用Xshell建立hive使用的数据库

最新推荐文章于 2022-11-09 17:46:17 发布

原创

最新推荐文章于 2022-11-09 17:46:17 发布 · 784 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

这篇博客介绍了如何在Hadoop环境中通过Xshell创建一个名为datas的目录，并使用hadoop命令进行权限设置，然后通过xftp上传数据源文件到HDFS，最后启动Hive并进行建表和数据加载操作。

文章目录

目录定位
完整代码

目录定位

在hadoop的家目录下新建一个目录datas：

su - hadoop
mkdir datas

在这里插入图片描述

通过xftp将数据源文件传到datas中

在这里插入图片描述

“hadoop fs -mkdir /datas1”

在这里插入图片描述

“hadoop fs -chmod g+w /datas1”

在这里插入图片描述

“hadoop fs -put /home/hadoop/datas1/* /datas”

在这里插入图片描述

启动hive

start-all.sh
cd /opt/module/apache-hive-3.1.1-bin/
bin/hive

完整代码

建表，加载数据

1.在hadoop的home目录下新建一个目录datas：
mkdir datas
2.通过xftp将数据源文件传到datas中
3."hadoop fs -mkdir /datas"
4."hadoop fs -chmod g+w /datas"
5."hadoop fs -put /home/hadoop/datas/* /datas"

--1.创建kaikeba库
create database if not exists kaikeba;

--2.使用kaikeba库
use kaikeba;

--3.创建user_info表
create external table if not exists user_info (
user_id  string,
user_name  string, 
sex  string,
age  int,
city  string,
firstactivetime  string,
level  int,
extra1  string,
extra2  map<string,string>)
row format delimited fields terminated by '\t'
collection items terminated by ','
map keys terminated by ':'
lines terminated by '\n'
stored as textfile;

加载数据源
load data inpath '/datas/user_info/user_info.txt' overwrite into table user_info;</