Hive基础命令使用详解

Hive命令汇总说明 更多信息https://blue-shadow.top/ 附书代码Github工程:https://github.com/Shadow-Hunter-X HDFS命令 HDFS命令大全 Usage: hdfs [–config confdir] COMMAND where COMMAND is one of: 命令 说明 dfs 执行hadoop支持的文件系统命令run a f... 阅读详情

为了方便hdfs可视化网页查看,需要提前关闭防火墙:

firewalld的基本使用
启动: systemctl start firewalld.service
查看状态: systemctl status firewalld.service
禁止开机启动: systemctl disable firewalld.serive
停止: systemctl stop firewalld.service

1.基本数据类型:int,string ,boolean ,double等

  create table person (pid int,pname string,married boolean,salary double);

  desc person;

  create table test1(vname varchar(20), cname char(20));
  

2.复杂的数据类型:array, map, struct等

  create table student(sid int, sname string, grade array<float>);
  {1,cj,[88,99,100]} 
  
  create table student1(sid int,sname string,grade map<string,float>);
  {1,cj,<'语文',88>}
  
  create table student2(sid int,sname string, grade array<map<string,float>>);
  {1,cj,[<'语文',88>,<'数学',99>]}
  
  结构类型:
  create table student3(sid int,info struct<name:string,age:int,sex:string>);
  {1,{'cj',24,'男'}}
  

3.时间数据类型:date 0.12.0开始使用,timestamp


4.hive的数据存储

  基于hdfs
  没有专门的数据存储格式
  存储结构主要包括:数据库,文件,表,视图
  可以直接加载文本文件(.txt等)

5.表:内部表,分区表,外部表,桶表

  (1)内部表:

  #创建表
  create table t1(tid int,tname string,age int);
  
  #创建表并指定表的路径
  create table t2(tid int,tname string,age int)location '/myfile/hive/t2';
  
  #创建表并指定分隔符
  create table t3(tid int,tname string,age int) row format delimited fields terminated by ',';
  
  #创建表并将sample_data数据填入t4表中
  create table t4 as select * from sample_data;
  #查看t4表中数据
  hdfs dfs -cat /user/hive/warehouse/t4/000000_0
  
  #创建表并将sample_data数据填入t5表中且指定分隔符
  create table t5 row format delimited fields terminated by ',' as select * from sample_data;
  
  添加新的列:
  alter table t1 add coulumns(english int);
  desc t1;
  drop table t1;   #放入hive回收站/user/root/.Trash/Current
  

  (2)分区表

  #性别分区并且分隔符为逗号
  create table partition_table(sid int,sname string) partitioned by(gender string) row format delimited terminated by ',';
  
  desc partition_table;
  
  #插入表信息
  insert into table partition_table partition(gender='M') select sid,sname from sample_data where gender='M';
  
  #生成SQL语句的执行计划
  explain select * from sample_data where gender='M';
  
  explain select * from partition_table where gender='M';
  

  (3)外部表:指向已经在HDFS中存在的数据,可以创建partition

  外部表只是一个过程,加载数据和创建表同时完成,并不会移动到数据苍鹭目录中,只是和外部数据建立一个链接,当删除外部表是,仅仅删除该链接
  #上传本地文件到hdfs
  hdfs dfs -put student01.txt /input
  
  #创建外部表
  create external table external_student(sid int,sname string,age int)row format delimited fields terminated by ',' location '/input';
  
  hdfs dfs -rm /input/student03.txt
  
  select * from external_student;

(4)桶表:经过hash运算,相同值放在同一个桶表

  create table bucket_table(sid int,sname string, age int) clustered by(sname) into 5 buckets;
  

(5)视图:虚表,是一个逻辑概念,建立在已有表的基础上,视图赖以建立的表成为基表

  好处:简化复杂查询
  create view empinfo
  as
  select e.empne,e.ename,e.sal,e.sal*12 annalsal,d.dname
  from emp e,dept d
  where e.deptno=d.deptno;



5、Hive使用指南:命令行接口与数据类型详解 本文详细介绍了Hive的命令行接口和数据类型相关内容。涵盖Hive变量与属性管理、一次性命令执行、从文件执行查询、.hiverc配置文件的使用,以及Hive的基本和集合数据类型及其应用场景。同时,还总结了Hive命令行操作流程和数据类型使用注意事项,帮助用户高效地进行数据处理与管理。 阅读详情

相关推荐

5、Hive使用指南:命令行操作与数据类型详解

本文详细介绍了Hive的命令行操作和数据类型相关内容。内容涵盖Hive变量与属性的设置、One Shot命令、从文件执行查询、.hiverc文件的使用、CLI特性、基本和集合数据类型,并结合实际案例展示了数据类型的使用方法。此外,还提供了常见问题的解决方法及使用建议,帮助用户更高效地进行数据处理和管理。

transformer2023的博客 54

搭建hive(1+x初级)

(第一个输入查到的root密码,后面密码全是Password123$,只有一个开头是Disallow root输入n)注意1+x考证他hadoop环境变量少打了$Hadoop_HOME/sbin需要在中间补上。在文件倒数第三行,如果出错要删除文件输入代码rm -rf /Var/lib/mysql)都修改成 /usr/local/src/hive/tmp。四处配置内容修改⑥/system:java.io.tmpdir。关键字在name里,五个修改在value里)4.卸MariaDB。

qq_61986535的博客 474

如何通过 EXPLAIN 命令分析 Hive 查询的执行计划

常规检查流程使用EXPLAIN查看执行计划。关注 Stage 依赖与资源消耗。结合验证输入数据。优化方向减少数据扫描:利用分区、分桶、索引。避免全量 Shuffle:优先使用 MapJoin 或 Bucket Join。参数调优:合理配置内存、并行度等。持续监控通过(Hive 2.2+)获取实际执行统计信息,动态调整策略。通过掌握EXPLAIN命令的用法,开发者可以深入理解 Hive 查询的内部机制,从而系统性地提升性能。

2401_83088008的博客 1084

centos7 hive启动报错 没有到主机的路由,防火墙已关闭

问题 hive启动报错,防火墙已关闭 at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.datanucleus.plugin.NonManagedPluginRegistry.createExecutableExtension(NonManagedPluginRegistry.java:606) at org.datanucleus.plugin.PluginManager.createExecutabl

ZF40644的博客 2090

DSSP 工具:蛋白质二级结构信息计算与批量处理教程

DSSP(Dictionary of Secondary Structure in Proteins)是一款经典的蛋白质二级结构计算工具,由荷兰癌症研究所(NKI Research)Perrakis 团队维护。它通过分析蛋白质的 PDB 结构文件,能够自动标注每个氨基酸残基的二级结构类型、相对溶剂可及性(暴露面积)等关键信息,为后续的拓扑图绘制、疏水 / 亲水表面分析、二级结构预测模型训练等提供核心数据支持。

good_rrrrr的博客 1839

【实战分享】低成本K型热电偶测温方案:单运放放大与STM32 ADC采集优化

本文详细介绍了低成本K型热电偶测温方案,通过单运放放大与STM32 ADC采集优化,解决了信号微弱、负电压处理和冷端补偿等核心挑战。方案采用LMV358运放和T型网络降低噪声,结合STM32的ADC校准和软件滤波,实现±0.5℃精度,物料成本控制在15元以内,适用于工业测温场景。

weixin_30839881的博客 172

大数据开发之Hive篇18-Hive的回收站

备注: Hive 版本 2.1.1 一.模拟误删表 误删除了这张表 hive> > drop table ods_fact_sale_orc; OK 二.从回收站恢复表 查看回收表 [root@hp1 ~]# hadoop fs -ls /user/root/.Trash/Current/user/hive/warehouse/test.db Found 2 items drwxrwxrwt - root hive 0 2020-12-02 19:18 /use

只是甲的博客 4268

告别降级CUDA!手把手教你为RTX 50系显卡(5080/5090)配置专属的PyTorch Nightly + vLLM推理环境

本文详细指导如何为RTX 50系显卡(5080/5090)配置专属的PyTorch Nightly和vLLM推理环境,特别针对CUDA 12.8的适配问题提供解决方案。从硬件准备到源码编译,再到模型部署与性能调优,手把手教你构建高效AI推理系统。

weixin_33724046的博客 409

Hive:从HDFS回收站恢复被删的表

Hive:从HDFS回收站恢复被删的表

大数据知识梳理 1093

【漆学军】MT4进阶到MT5速成之路(2)获取持仓

MT5在持仓获取上,要比MT4复杂些,分两部分,获取持仓和挂单采用了不同的方法。 一、获取持仓中的buy和sell单 int b=0;//获取buy单个数 int s=0;//获取sell单个数 double lot_total_buy=0;//获取持仓中buy单的总手数 double lot_total_sell=0;//获取持仓中sell单的总手数 for(int i=0; i<PositionsTotal(); i++) { ulong ticket=Positi

漆学军的编程笔记 1626

Centos7.9上安装glibc2.28遇到/usr/bin/ld: cannot find -lnss_test2问题

Centos7.9安装glic2.28遇到-lnss_test2问题及解决方案。

freflying1119的博客 2898

常用Hive命令合集

1. 建表 (1)直接建表 创建表的结构 create table user_click_info (user_id string comment "用户id", click_time string comment "点击时间", item_id string comment "物品id") ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' STORED AS TEXTFILE; 其中comment、STORE

STAR GAME 1万+

Rcpp简介

在数据分析时,代码的运行速率常常是我们所关心的话题之一。小Q往期的文章中也有介绍通过并行计算提升R运行速率的文章。然而R代码自身的运行速率偏慢,具有某种“先天缺陷”。因此,并行R函数的运行时间有时仍然不尽人意。本期小Q与大家分享R的另一提速方式:Rcpp之效率瓶颈突破。 1 什么是Rcpp 在往期的文章中曾讲过,我们在R中尽量采用向量化或内建函数运算,避免自编循环带来的额外时间消耗。然而,算法中有时难以避免循环,若循环部分耗时严重,直接并行含有该循环的算法显得力不从心,此时又该如何?稍有编程知识的读者可

Mrrunsen的博客 2262

hive beeline详解

Hive客户端工具后续将使用Beeline替代HiveCLI,并且后续版本也会废弃掉HiveCLI客户端工具,Beeline是Hive 0.11版本引入的新命令行客户端工具,它是基于SQLLine CLI的JDBC客户端。 Beeline支持嵌入模式(embedded mode)和远程模式(remote mode)。在嵌入式模式下,运行嵌入式的Hive(类似Hive CLI),而远程模式...

遥望...... 3676

无人机威胁检测(Hostile Drone Detection)——基于YOLOv10与UI界面的实现

Anti-UAV数据集由多种场景下的无人机视频与图片组成,包含无人机目标的多样化姿态、背景、光照变化,专门用于反无人机检测研究。YOLO(You Only Look Once)系列是当前流行的实时目标检测算法,具有速度快、精度高的特点。网络结构优化:更深更轻的主干网络,提升特征提取能力。检测头改进:多尺度特征融合,更好检测小型目标如无人机。训练技巧:使用自动混合精度训练(AMP)、数据增强、标签平滑等技术。

YOLO 231

Serdes之什么是(CDR)?

光收发器和电收发器使用的是我们所说的串行数据通信。在这种通信方式中,数据位是按顺序一个接一个地传输的。光收发器和电收发器使用的是我们所说的串行数据通信。在这种通信方式中,数据位是按顺序一个接一个地传输的。目前市场上大多数收发器都没有专用的时钟输入,因此时钟恢复和数据重新定时等功能是在收发器外部(即在主板上)进行的。接收端则需要恢复时钟以采样串行线上的数据。为了实现这一点,接收端需要一个与输入数据频率大致相同的时钟。通过使参考时钟与输入数据信号的跳变相位对齐,可以生成一个恢复的时钟。这被称为时钟恢复。

叫好与叫座虽然不是对立面,但想在同一个作品中达到双重效果很难。 2392

使用hive查看orc文件 orcfiledump命令详解 异常处理(Failed to read ORC file)

hadoop hive查看orc文件 orc文件修复 orcfiledump命令详解

sinat_25207217的博客 4472

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

hive配置安装mysql_Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》...

一、Hive的简单使用基本的命令和MySQL的命令差不多首先在 /opt/datas 下创建数据 students.txt1001  zhangsan1002  lisi1003  wangwu显示有多少数据库: show databases;使用某个数据库: use 数据库名称;显示当前数据库下的表: show tables;创建数据表 : create ta...

weixin_31697021的博客 229

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Hive(八)Hive的Shell操作与压缩存储

一、Hive的命令行 1、Hive支持的一些命令 Command Description quitUse quit or exit to leave the interactive shell. set key=valueUse this to set value of particular configuration variable. One thing to note here is that if you misspell the variable name, cli will not..

weixin_42073629的博客 581

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

【Hive】hive shell

文章目录

人生所向,皆是美好 298

hive mysql互导_利用Sqoop实现Hive的数据与MySQL数据的互导

1. 配置概览Hive arguments:--create-hive-table Fail if the target hive table exists--hive-database Sets the database name to use when importing to hive--hive-delims-rep...

weixin_39606396的博客 159

告别命令行恐惧:Hive Shell 基础命令保姆级教程(含交互式与非交互式实战)

本文提供Hive Shell基础命令的保姆级教程,涵盖交互式与非交互式两种模式,帮助用户快速掌握Hive Shell操作。通过电商用户行为分析等实战案例,详细讲解数据库操作、表创建、数据加载及性能优化技巧,适合数据分析师和大数据开发者入门与进阶。

weixin_29091837的博客 250

Hive官方使用手册——目录

本文为自己翻译的译文,原文地址:https://cwiki.apache.org/confluence/display/Hive/LanguageManualHive官方使用手册——目录这是Hive的语言手册。如果需要Hive的其它文档,请点击首页查看。命令行和CLIs命令行旧的Hive CLI新Hive CLI(Beeline CLI)变量替换HCatalog CLI文件存储格式Avro Fil...

三米学习笔记杂货铺 7869

hive基础知识

一、架构原理 二、常用命令 建表 内部表 create table if not exists dim_crsv_dty ( id string COMMENT '维度主键', crsv_dty_val string COMMENT '维度属性', comment string COMMENT '注释', src_sys string COMMENT '来源系统' ) comment '客服任务维...

陈云的博客 194

hive命令行小窍门

1.用户不需要退出hive CLi就可以执行bash shell命令,只要在命令前加!并且以分号结尾就可以了 hive> ! /bin/echo "hello world"; "hello world" hive> ! pwd; /home/me/hivetest hive CLI中不能使用需要用户进行输入的交互式命令,而且不支持shell的“管道”功能和文件名的自动补全功能。例如, !

全技术调调 4658

系统学习hive programming,第二章---使用Hive CLI命令

/* *    Lee 2013.11.11翻译  《programming hive》 第二章节 Getting Started   @page表示 翻译原文页码 */ @@page 29 使用 hive --help可以看到hive所有命令行功能                    代码清单 ======================================

limao314的专栏 5371
上一篇: eclipse连接hadoop集群
下一篇: Linux常见操作命令
Joy_cj
博客等级 码龄9年 13粉丝 30原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值