Hive创建表

最新推荐文章于 2024-07-28 08:00:00 发布
最新推荐文章于 2024-07-28 08:00:00 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： Hbase-Hive-pig 文章标签： Hive创建表
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/caiandyong/article/details/44206137
版权
本文介绍了如何使用Hive创建不同类型的数据表，包括普通表、添加了表分区的表、聚类存储的表以及指定存储路径的外部表。通过示例展示了创建过程，如创建带有字段注释的普通表。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.创建普通表


hive> CREATE TABLE test_table(name STRING,userid INT,ip STRING COMMENT 'ip address of the user')COMMENT 'this is the test table';


hive> show tables;
OK
test_table

Time taken: 0.492 seconds, Fetched: 1 row(s)

hive> describe test_table;

OK
name                    string                                      
userid                  int                                         
ip                      string                  ip address of the user

Time taken: 0.457 seconds, Fetched: 3 row(s)

hive> describe extended test_table;

OK
name                    string                                      
userid                  int                                         
ip                      string                  ip address of the user
         
Detailed Table Information    Table(tableName:test_table, dbName:default, owner:caiyong, createTime:1425990662, lastAccessTime:0, retention:0, sd:StorageDescriptor(cols:[FieldSchema(name:name, type:string, comment:null), FieldSchema(name:userid, type:int, comment:null), FieldSchema(name:ip, type:string, comment:ip address of the user)], location:hdfs://127.0.0.1:8020/user/hive/warehouse/test_table, inputFormat:org.apache.hadoop.mapred.TextInputFormat, outputFormat:org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat, compressed:false, numBuckets:-1, serdeInfo:SerDeInfo(name:null, serializationLib:org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, parameters:{serialization.format=1}), bucketCols:[], sortCols:[], parameters:{}, skewedInfo:SkewedInfo(skewedColNames:[], skewedColValues:[], skewedColValueLocationMaps:{}), storedAsSubDirectories:false), partitionKeys:[], parameters:{transient_lastDdlTime=1425990662, comment=this is the test table}, viewOriginalText:null, viewExpandedText:null, tableType:MANAGED_TABLE)    
Time taken: 0.133 seconds, Fetched: 5 row(s)

2.创建添加了表分区的表


ROW FORMAT DELIMITED:告诉Hive每一行数据包含多个有界字段
FIELDS TERMINATED BY '\001':指定分隔符

hive> CREATE TABLE test_table_partition(name STRING,userid INT,ip STRING COMMENT 'ip address of the user')COMMENT 'This is the test_table_partition' PARTITIONED BY (part_1 STRING,part_2 STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' STORED AS SEQUENCEFILE;
OK
Time taken: 1.207 seconds

hive> show tables 'test_table_p*';
OK
test_table_partition
Time taken: 0.091 seconds, Fetched: 1 row(s)

hive> describe test_table_partition;
OK
name                    string                                      
userid                  int                                         
ip                      string                  ip address of the user
part_1                  string                                      
part_2                  string                                      
         
# Partition Information         
# col_name                data_type               comment             
         
part_1                  string                                      
part_2                  string                                      
Time taken: 0.428 seconds, Fetched: 11 row(s)

3.创建添加了聚类存储的表

hive> CREATE TABLE test_table_cluster(
    > name STRING,
    > userid INT,
    > ip STRING COMMENT 'ip address of the user',
    > viewtime INT)COMMENT 'This is the test_table_cluster_store'
    > PARTITIONED BY (part_1 STRING,part_2 STRING)
    > CLUSTERED BY (userid)
    > SORTED BY (viewtime) INTO 2 BUCKETS
    > ROW FORMAT DELIMITED
    > FIELDS TERMINATED BY '\001'
    > COLLECTION ITEMS TERMINATED BY '\002'
    > MAP KEYS TERMINATED BY '\003'
    > STORED AS SEQUENCEFILE;
OK
Time taken: 1.002 seconds

hive> describe extended test_table_cluster;
OK
name                    string                                      
userid                  int                                         
ip                      string                  ip address of the user
viewtime                int                                         
part_1                  string                                      
part_2                  string                                      
         
# Partition Information         
# col_name                data_type               comment             
         
part_1                  string                                      
part_2                  string                                      
         
Detailed Table Information    Table(tableName:test_table_cluster, dbName:default, owner:caiyong, createTime:1426043343, lastAccessTime:0, retention:0, sd:StorageDescriptor(cols:[FieldSchema(name:name, type:string, comment:null), FieldSchema(name:userid, type:int, comment:null), FieldSchema(name:ip, type:string, comment:ip address of the user), FieldSchema(name:viewtime, type:int, comment:null), FieldSchema(name:part_1, type:string, comment:null), FieldSchema(name:part_2, type:string, comment:null)], location:hdfs://127.0.0.1:8020/user/hive/warehouse/test_table_cluster, inputFormat:org.apache.hadoop.mapred.SequenceFileInputFormat, outputFormat:org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat, compressed:false, numBuckets:2, serdeInfo:SerDeInfo(name:null, serializationLib:org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, parameters:{colelction.delim=, mapkey.delim=, serialization.format=, field.delim=}), bucketCols:[userid], sortCols:[Order(col:viewtime, order:1)], parameters:{}, skewedInfo:SkewedInfo(skewedColNames:[], skewedColValues:[], skewedColValueLocationMaps:{}), storedAsSubDirectories:false), partitionKeys:[FieldSchema(name:part_1, type:string, comment:null), FieldSchema(name:part_2, type:string, comment:null)], parameters:{transient_lastDdlTime=1426043343, comment=This is the test_table_cluster_store}, viewOriginalText:null, viewExpandedText:null, tableType:MANAGED_TABLE)    
Time taken: 0.158 seconds, Fetched: 14 row(s)

4.创建指定存储路径的外部表

hive> CREATE TABLE test_outtable(
    >      name STRING,
    >      userid INT,
    >      ip STRING COMMENT 'ip address of the user',
    >      viewtime INT)COMMENT 'This is the test_table_cluster_store'
    >      PARTITIONED BY (part_1 STRING,part_2 STRING)
    >      CLUSTERED BY (userid)
    >      SORTED BY (viewtime) INTO 2 BUCKETS
    >      ROW FORMAT DELIMITED
    >      FIELDS TERMINATED BY '\001'
    >      STORED AS TEXTFILE
    >      LOCATION '/user/hive/outtable/';
OK
Time taken: 0.108 seconds

hive> describe extended test_outtable;
OK
name                    string                                      
userid                  int                                         
ip                      string                  ip address of the user
viewtime                int                                         
part_1                  string                                      
part_2                  string                                      
         
# Partition Information         
# col_name                data_type               comment             
         
part_1                  string                                      
part_2                  string                                      
         
Detailed Table Information    Table(tableName:test_outtable, dbName:default, owner:caiyong, createTime:1426043753, lastAccessTime:0, retention:0, sd:StorageDescriptor(cols:[FieldSchema(name:name, type:string, comment:null), FieldSchema(name:userid, type:int, comment:null), FieldSchema(name:ip, type:string, comment:ip address of the user), FieldSchema(name:viewtime, type:int, comment:null), FieldSchema(name:part_1, type:string, comment:null), FieldSchema(name:part_2, type:string, comment:null)], location:hdfs://127.0.0.1:8020/user/hive/outtable, inputFormat:org.apache.hadoop.mapred.TextInputFormat, outputFormat:org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat, compressed:false, numBuckets:2, serdeInfo:SerDeInfo(name:null, serializationLib:org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, parameters:{serialization.format=, field.delim=}), bucketCols:[userid], sortCols:[Order(col:viewtime, order:1)], parameters:{}, skewedInfo:SkewedInfo(skewedColNames:[], skewedColValues:[], skewedColValueLocationMaps:{}), storedAsSubDirectories:false), partitionKeys:[FieldSchema(name:part_1, type:string, comment:null), FieldSchema(name:part_2, type:string, comment:null)], parameters:{transient_lastDdlTime=1426043753, comment=This is the test_table_cluster_store}, viewOriginalText:null, viewExpandedText:null, tableType:MANAGED_TABLE)    
Time taken: 0.151 seconds, Fetched: 14 row(s)





hivesql建表语句_Hive SQL语法总结
weixin_31662303的博客
11-22 2386
Hive是一个数据仓库基础的应用工具，在Hadoop中用来处理结构化数据，它架构在Hadoop之上，通过SQL来对数据进行操作，了解SQL的人，学起来毫不费力。Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的Hive SQL 语句通过解释器转换为MapReduce 作业提交到Hadoop 集群上，Hadoop 监控作业执行过程，然后返回作...
【Hive】Hive 创建表
thatdanielyang的博客
10-16 1万+
学习笔记—Hive创建表 1. Hive语句的特点 HQL 语言大小写不敏感，但内容分大小写（where ,if/ case when，如：数据表内容某人名叫Tom，则条件后不能写tom，HDFS 路径名（NameNode）分大小写） ； HQL 可以写在一行或者多行， 关键字不能被缩写也不能分行，同 SQL； 各子句一般要分行写， 使用缩进提高语句的可读性，为了美化，同SQL； -- 为注释符号 ； Hive 不存储数据，他是表到HDFS文件的映射关系（语句）； 2. DDL 2.1 Hive的数据库DD
hive建表语句
08-19
hive建表语句hive建表语句hive建表语句hive建表语句hive建表语句hive建表语句
hive 创建表
Java日常笔记精选的博客
12-11 658
建表有三种方式： 1.直接建表法 create table table_name(col_name data_type); 也可以自己指定表结构参数，指定字段终止符和行终止符和存储在HDFS上的文件格式 hive> CREATE TABLE IF NOT EXISTS employee ( eid int, name String, > sala...
hive创建表后怎么新增分区结构（创建表时没有创建分区）
qq_38780623的博客
08-27 6381
hive在创建表时没有添加分区结构（希望大家不要杠，硬说是字段，只要您高兴，您怎么说都行），增加分区结构的方法
hive 创建表语法.docx
05-15
Hive 创建表语法是 Hive 中的一种基本操作，用于创建 Hive 表。Hive 表可以是内部表，也可以是外部表。下面将详细介绍 Hive 创建表语法的使用。 EXTERNAL 关键字 在 Hive 中，使用 EXTERNAL 关键字可以创建外部表...
hive创建分区表 指定分隔符_hive创建表指定分隔符，不支持多个字符作为分隔符...
weixin_30872577的博客
02-06 1812
hadoop fs -cat /tmp/liuxiaowen/1.txt000377201207221125^^APPLE IPHONE 4S^^2132288201210331629^^THINKING IN JAVA^^1132288201210331629^^THIN ssss^^1111132288201210331629^^THdd dd ddJAVA^^10文本文件以两个尖角符作为列分...
Hive创建表的过程详细过程
qq_40407889的博客
07-28 1293
Hive创建表的过程详细过程 Demo 第一个demo CREATE TABLE db.testTable( id string COMMENT 'id' ,name string COMMENT '姓名' ,age bigint COMMENT '年龄' ) COMMENT '测试表' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' SOTRED AS PARQUET; 这个创建表的涉及的参数主要有： ROW FORMAT
大数据-hive创建表出现中文乱码问题-解决过程详解
weixin_47055922的博客
02-02 2500
一、场景描述 1、创建表语句： hive> create table movie02( userID int comment '用户ID', movieID int comment '电影ID', rating int comment '电影评分', timestamped bigint comment '评分时间戳', movieName string comment '电影名字', movieType string commen...
生成hive建表语句
08-24
生成hive建表语句
hive建表操作案例.txt
12-25
hive分桶，分区操作案例实战。学习的好资料。hive分桶，分区操作案例实战。学习的好资料。hive分桶，分区操作案例实战。学习的好资料。
Hive建表语句详解--CREATE TABLE
热门推荐
Thomson617的博客
01-09 15万+
Hive创建表的方式（默认路径/user/hive/warehouse，也可以location指定，主要针对external表）1、使用create命令创建一个新表,带分区可以使用describe formatted mytest_deptaddr 查看建表相关的各种配置属性以及默认属性。从下面可以看出，在创建表时有很多属性，比如存储地址，存储格式等属性我们都没有直接配置，而是选择了系统默认的。2、把一张表的某些字段抽取出来，创建成一张新表，使用as注意： 1.as只会复制属性以及属性值到新的表中。
Hive表创建
getcharputchar的博客
12-27 649
再进行数据分析的时候，再讲数据导入到hive表里面创建数据表的常用有两种方式： 1.启动Hive在Hive里面创建数据表 例如将people.csv文件导入创建的数据表people1中 CREATE TABLE IF NOT EXISTS person_data ( height INT, weight INT, age INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','//设置分割符，csv默认是, STORED
Hive数据库创建表
wonderful_life_mrchi的博客
05-09 3495
HIVE 基本操作 create table 总述 CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXIST 选项来忽略这个异常。 EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，.
HIVE建表
houliling的博客
07-10 905
HIVE建表语句：CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name    [(col_name data_type [COMMENT col_comment], ...)]    [COMMENT table_comment]    [PARTITIONED BY (col_name data_type [COMMENT col_comment]...
Hive建表全攻略-从入门到精通
一个8年大数据开发工程师的碎碎念
07-28 3064
探索Apache Hive的强大功能！本文深入讲解Hive建表技巧、性能优化、安全管理和生态系统集成。从基础语法到高级特性，包括分区表、ORC存储、动态分区、查询优化等核心概念。学习如何处理数据倾斜、实现细粒度访问控制，以及与Spark、Kafka、HBase无缝集成。通过实战案例掌握构建高效数据仓库的秘诀。无论您是初学者还是专家，这份Hive知识图谱都能助您在大数据领域更上一层楼。#Hive #大数据 #数据仓库 #性能优化 #数据安全
hive建表
hzp666的博客
11-03 9946
https://blog.youkuaiyun.com/wgyzzzz/article/details/107446435 一、hive建表语法 二、hive外部表 1、准备测试数据、放入虚拟机/data目录下 2、创建外部表 3、装载数据 4、查询test1表 5、查询test1在hdfs上的位置 6、通过desc命令查看表的状态 7、删除表，查看表在hdfs上的状态 8、重新创建外部表test3，通过location关键字指向test1 9、查询test3 三、hive内部表（管理表） 1、创建内部表 2...
hive创建表的语句
最新发布
05-16
### Hive 创建表语句示例 以下是基于提供的引用内容和专业知识整理的关于 Hive 表创建的相关语法及示例： #### 1. 基本表创建 Hive 中可以使用 `CREATE TABLE` 来定义一张新表。以下是一个简单的例子，展示如何...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值