HiveTable操作命令

Hive表的基本操作 文章目录1. 创建表2. 拷贝表3. 查看表结构4. 删除表5. 修改表5.1 表重命名5.2 增、修、删分区5.3 修改列信息5.4 增加列5.5 删除列5.6 修改表的属性 1. 创建表 create table语句遵从sql语法习惯,只不过Hive的语法更灵活。例如,可以定义表的数据文件存储位置,使用的存储格式等。 create table if not exists test.user1( name string comment 'name', salary float comment 'salar 阅读详情

hive执行参数

命令行直接执行HQL

hive -e "select *from dw.ol_oitf_interface_auc_dimension_business limit 10"

223232

执行HQL文件中的语句

hive -f emp.hql

2222222

hive -f /home/my/hive-script.sql
'''
Example of running an initialization script before entering interactive mode 
在进入交互模式之前运行初始化脚本的例子
'''
HIVE_HOME/bin/hive -i /home/my/hive-init.sql

打开调试模式

hive --hiveconf hive.root.logger=DEBUG,console 

数据导出&导入

从本地文件系统中导入数据到Hive表

load data local inpath 'xiong.txt' into table xiong;

本地文件系统里面有xiong.txt文件,内容如下:

 ww:workSpace$ cat xiong.txt 
1       xiong     25      13188888888888
2       test    30      13888888888888
3       zs      34      899314121xiong.txt

文件中的数据列之间是使用\t分割的,可以通过下面的语句将这个文件里面的数据导入到xiong表里面,操作如下:
23333333333333

将xiong.txt里面的内容导入到xiong表里面去了,可以到xiong表的数据目录下查看,如下命令
23232323

HDFS上导入数据到Hive表

从本地文件系统中将数据导入到Hive表的过程中,其实是先将数据临时复制到HDFS的一个目录下(典型的情况是复制到上传用户的HDFS home目录下,比如/home/xiong/),然后再将数据从那个临时目录下移动(注意,这里说的是移动,不是复制!)到对应的Hive表的数据目录里面。既然如此,那么Hive肯定支持将数据直接从HDFS上的一个目录移动到相应Hive表的数据目录下,假设有下面这个文件/home/xiong/add.txt,具体的操作如下:

[xiong@master /home/q/hadoop-2.2.0]$ bin/hadoop fs -cat /home/xiong/add.txt
5       xiong1    23      131212121212
6       xiong2    24      134535353535
7       xiong3    25      132453535353
8       xiong4    26      154243434355

上面是需要插入数据的内容,这个文件是存放在HDFS上/home/xiong目录(和一中提到的不同,一中提到的文件是存放在本地文件系统上)里面,

我们可以通过下面的命令将这个文件里面的内容导入到Hive表中,具体操作如下:

hive> load data inpath '/home/xiong/add.txt' into table xiong;
Loading data to table default.xiong
Table default.xiong stats:
[num_partitions: 0, num_files: 2, num_rows: 0, total_size: 215]
OK
Time taken: 0.47 seconds

hive> select * from xiong;
OK
      xiong1    23      131212121212
      xiong2    24      134535353535
      xiong3    25      132453535353
      xiong4    26      154243434355
      xiong     25      13188888888888
      test    30      13888888888888
      zs      34      899314121
Time taken: 0.096 seconds, Fetched: 7 row(s)

从上面的执行结果我们可以看到,数据的确导入到xiong表中了!请注意load data inpath ‘/home/xiong/add.txt’ into table xiong;里面是没有local这个单词的,这个是和一中的区别。


导出数据到本地

hive命令执行

insert overwrite local directory '/home/wangkai8/workSpace/test'
row format delimited fields terminated by '\t' select *from
dw.ol_oitf_interface_auc_dimension_business limit 10;
如果不指定row format delimited fields terminated by ‘\t’,字段间默认没有分割符

2323232

命令行直接执行HQL语句导出文件到本地

 hive -e "select *from dw.ol_oitf_interface_auc_dimension_business limit 10" >> emp_export.txt

导出到HDFS

insert overwrite local directory  'hdfs://hadoopcluster/user/wangkai8/warehouse/xiong' ROW format delimited fields terminated by '\t'
 select *from ol_power_line_saler_organization_dim  where dt ='20180808' limit 10;

一个源可以同时插入到多个目标表或目标文件,多目标insert可以用一句话来完成

FROM src
  INSERT OVERWRITE TABLE dest1 SELECT src.* WHERE src.key < 100
  INSERT OVERWRITE TABLE dest2 SELECT src.key, src.value WHERE src.key >= 100 and src.key < 200
  INSERT OVERWRITE TABLE dest3 PARTITION(ds='2008-04-08', hr='12') SELECT src.key WHERE src.key >= 200 and src.key < 300
  INSERT OVERWRITE LOCAL DIRECTORY '/tmp/dest4.out' SELECT src.value WHERE src.key >= 300;
Eg:
from xi  
insert overwrite  table test2 select  '1,2,3' limit 1 
insert overwrite  table d select  '4,5,6' limit 1;

Hive交互式Shell命令

CommandDescription
qui Or exit退出命令
!< cmd >在hive shell中执行shell命令
dfs < dfs command >在hive shell中执行dfs命令命令
add FILE < value > < value > *将一个文件添加到资源列表中
eg:
      hive> !ls;
      hive> dfs -ls;
      hive> add FILE /tmp/tt.py;
      hive> list FILES;

调用python、shell等语言


宝塔面板磁盘扩容后不生效?5步搞定Linux服务器磁盘空间更新(附详细命令) 本文详细解析了Linux服务器磁盘扩容后宝塔面板显示不生效的常见问题。通过理解磁盘、分区、文件系统三层逻辑,提供5步解决方案:检查磁盘状态、安装growpart工具、扩展分区、使用resize2fs命令扩展文件系统,并最终验证结果。文中附有详细命令和针对XFS、LVM等进阶场景的指南,帮助用户彻底解决磁盘空间更新问题。 阅读详情

相关推荐

暗月项目七详解

本文围绕“暗月靶场项目七”展开,记录了一次从外网 Web 入口逐步深入内网并最终获取域控目标的完整实训过程。

Re_K123的博客 418

Hive Table 操作命令汇总

如表在在的数据库,owner,创建时间,序列化信息,统计信息(文件数,总数据量,行数等)。但是详细信息显示在一行,不容易阅读,用 FORMATTED 关键字以比较容易阅读的方式输出。如果表是分区表,则只有新建的分区使用表默认的存储格式,以前的分区不会改。外部表,和 Managed Tables 对应,Hive 不管理数据。当删除表时,不删除对应的文件,仅删除对应的元数据。Hive 管理的表,创建表时,没有 external 关键字。当删除表时,不仅删除对应的元数据,还删除对应的文件。指定文件格式和分割符。.

houzhizhen的专栏 2509

惯性导航原理(九)-INS的初始对准-初始姿态确定+双矢量定姿

文章目录INS的初始对准INS初始化静基座/静态粗对准静态粗对准—加速度计调平原理加速度计调平静态粗对准—陀螺罗盘思考初始对准的影响因素双矢量定姿原理静态解析粗对准—双矢量定姿静态解析粗对准(续)其它初始对准方法精对准动对准 INS的初始对准 INS的初始对准为初始化的一部分 INS初始化 初始位置: 给定(INS没有初始位置确定的能力,例如从GPS ) 初始速度: 零(静止状态)或给定 初始姿态: 初始对准(INS有能力自己测资态) 粗对准vs. 精对准 静止状态vs. 运动状态 重要性: 失之毫厘,谬

十八与她的博客 1万+

常用Hive命令速查(全)

--hive模糊搜索表: show tables like '*name*'; --查看表结构信息: desc table_name; desc formatted table_name; --查看分区信息: show partitions table_name; --加载本地文件: load data local inpath '/xxx/test.txt' overwrite into table dm.table_name; --从查询语句给table插入数据: insert overwri.

qq_654603797 2148

Android 导出aar 用于Unity 百度语音唤醒

AndroidStudio版本下载地址Android Studio Arctic Fox Unity版本2021.3.26f1c1 新建AndroidStudio工程 新建module 这里注意一下,网上很多教程说要注意包名要和unity一样,但是测试下来,不一样也可以的 在新建的module里添加这两个jar包,并点击右键add as library 导入jniLibs 右键创建这几个package 代码就安装这个大佬的写参考代码 需要注意的的是在WakeupListener脚本里U

weixin_38777563的博客 633

生信入门(六)——单细胞分析(Seurat)

生信入门(六)——单细胞分析(Seurat) 文章目录生信入门(六)——单细胞分析(Seurat)一、数据导入1、数据来源2、数据导入二、标准预处理1、QC和选择细胞进行进一步分析2、规范化数据3、识别高度可变的特征(特征选择)4、缩放数据三、主成分分析(PCA)1、线性降维2、确定数据集的“维度”四、聚类细胞五、非线性降维(UMAP/tSNE)六、寻找差异表达的特征(簇生物标志物) 一、数据导入 1、数据来源 点击此处下载数据 数据说明:分析10X Genomics提供的外周血单细胞(PBMC)数据集,有

羊羊的博客 6万+

Hive SQL 计算AUC

前置条件: 数据表中已有正负样本标签,和预测分值。 TRUE, 9 FALSE, 8 TRUE, 7 FALSE, 6 这四个样本对应的AUC是0.75。 -- ########## 测试一:########## Lable为True / False. create table tmp.test_score_label( score int, label boolean ); insert into tmp.test_score_label values (9,...

rover 4453

如何在VSCode中无缝集成Azure OpenAI GPT-5-codex?保姆级配置教程

本文详细介绍了在VSCode中无缝集成Azure OpenAI GPT-5-codex的完整配置教程,涵盖环境准备、Azure资源创建、本地配置、VSCode插件安装及高级定制。通过Codex CLI和config.toml文件配置,开发者可快速实现AI辅助编程,大幅提升代码生成、错误诊断和文档编写效率。

weixin_29268637的博客 556

hive 一个数据源产生多个数据集 from table insert overwrite table

hive 提供了一个独特的算法,对于同一个数据源产生多个数据集可以进行一次遍历数据源: from test_testjq_y insert overwrite table test_testjq_1 partition (dt) select * where dt=‘20201128’ insert overwrite table test_testjq_2 partition (dt) select * where dt=‘20201127’ 等同于 :遍历两次数据源 test_tes

zhuzhen123zhuzhen的博客 1112

EtherCAT主站教程3--适配伺服驱动器(模式配置)

目前通用的伺服驱动器的位置模式、速度模式以及其他模式是伺服系统中常见的控制模式,切换这些模式通常需要根据具体的伺服驱动器型号和控制协议(如EtherCAT、CANopen、Modbus等)进行配置。以下是这些模式的概述及切换方法的一般性指导:协议规范中,一共有以下几种模式:其中模式1、3、6对于比较常用,也更容易上手。

weixin_52626887的博客 793

联想开天N70z/N79Z G1d笔记本Win驱动下载

本文介绍了联想开天N70Z/N79Z G1d笔记本在Win11系统下的驱动安装方法。提供了WiFi网卡驱动(RealtekWlan)和显卡驱动(ZX C960 GPU)的详细安装步骤,包括手动更新驱动和卸载流程。驱动安装后成功支持5G WiFi连接并正确识别显卡型号。文中附有系统信息和安装效果截图,同时提供了官方驱动下载地址及备用下载链接。该指南适用于需要为联想开天N70Z/N79Z G1d笔记本安装Win11驱动的用户参考。

信创运维工程师 · 银河麒麟 & 容器实战 | 金融生产环境迁移·等保加固 | 142篇原创·17万+阅读 3878

SparkSQL 创建DataFrame

1 前言: Spark SQL 的 DataFrame API 允许我们使用 DataFrame 而不用必须去注册临时表或者 生成 SQL 表达式。 DataFrame API 既有 transformation 操作也有 action 操作。 2 创建 DataFrame 在 Spark SQL 中 SparkSession 是创建 DataFrame 和执行 SQL 的入口,创建 DataFrame 有三种方式: 通过 Spark 的数据源进行创建; 从一个存在的 RDD 进行转换; 还可以从 Hiv

cai_and_luo的博客 583

OpenClaw 开机自启配置:Windows/macOS/Linux 全平台技术指南

OpenClaw 开机自启全平台配置指南 本文提供了在Windows、macOS和Linux系统上配置OpenClaw开机自启的完整技术方案。主要内容包括: Windows配置:提供三种方法(Windows服务、任务计划程序、启动文件夹),详细说明服务脚本创建、服务注册和测试流程 macOS配置:使用LaunchAgent实现开机自启,包含配置文件创建和加载方法 Linux配置:通过systemd服务实现,包括服务单元文件创建和启用步骤 系统要求:明确硬件(64位CPU/4GB内存)和软件(各平台操作系统版

一键难忘的博客 2993

Cannot overwrite table ods.test_orc_hivetable_write that is also being read from;

一个少见的spark问题,感觉贱贱的。 报错如下: org.apache.spark.sql.AnalysisException: Cannot overwrite table ods.test_orc_hivetable_write that is also being read from; at org.apache.spark.sql.DataFrameWriter.saveAsTa...

MR_REN019235的博客 1950

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

DataFrame创建介绍_大数据培训

在Spark SQL中SparkSession是创建DataFrame和执行SQL的入口,创建DataFrame有三种方式:通过Spark的数据源进行创建;从一个存在的RDD进行转换;还可以从Hive Table进行查询返回。(1)查看Spark数据源进行创建的文件格式。(2)读取json文件创建DataFrame。3)从Hive Table进行查询返回。1)从Spark数据源进行创建。2)从RDD进行转换。2.5节我们专门讨论。3.3节我们专门讨论。...

zjjcchina的博客 449

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Spark SQL中创建 DataFrame 方法

在Spark SQL中SparkSession是创建DataFrames和执行SQL的入口 创建DataFrames有三种方式: (1) 从一个已存在的RDD进行转换 (2) 从JSON/Parquet/CSV/ORC/JDBC等结构化数据源直接创建 (3) 从Hive Table进行查询返回 核心: 创建DataFrame,需要创建 “RDD + 元信息schema定义” rdd来自于数据 ...

weixin_45687351的博客 632

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

SparkSQL编程之DataFrame

SparkSession新的起始点 在老的版本中,SparkSQL提供两种SQL查询起始点:一个叫SQLContext,用于Spark自己提供的SQL查询;一个叫HiveContext,用于连接Hive的查询。 SparkSession是Spark最新的SQL查询起始点,实质上是SQLContext和HiveContext的组合,所以在SQLContext和HiveContext上可用的API...

ITBOY_ITBOX博客 224

Spark SQL数据源

1. 数据源1:JDBC 1.1 使用load方法连接JDBC读取数据 package com.bigdata.spark.day1021 import java.util.Properties import org.apache.log4j.{Level, Logger} import org.apache.spark.sql._ /** * JDBC 数据源 */ object JDB...

米斯特拉克的博客 384

sparkstreaming写入hive表报错问题解决

structstreaming写入hive table报没有权限的问题

qq_32457341的博客 504

SparkSQL编程之DataFrame详解

SparkSession新的起始点 在老的版本中,SparkSQL提供两种SQL查询起始点:一个叫SQLContext,用于Spark自己提供的SQL查询;一个叫HiveContext,用于连接Hive的查询。 SparkSession是Spark最新的SQL查询起始点,实质上是SQLContext和HiveContext的组合,所以在SQLContext和HiveContext上可用的API在S...

@小刘同学nice 542

Spark之DataFrame创建

DataFrame创建 在Spark SQL中SparkSession是创建DataFrame和执行SQL的入口,创建DataFrame有三种方式:通过Spark的数据源进行创建;从一个存在的RDD进行转换;还可以从Hive Table进行查询返回。 1)从Spark数据源进行创建 (1)查看Spark数据源进行创建的文件格式 scala> spark.read. csv fo...

qq_43193797的博客 258

Spark SQL:使用数据源

目录 一.通用的Load/Save函数     1.通用的Load/Save函数     2.显式指定文件格式:加载json格式     3.存储模式(Save Modes)     4.将结果保存为表 二.Parquet文件(列式存储文件,是Spark SQL默认的数据源)     1.什么是parquet.

Movle 405

Databend 存储架构总览

目的通过本篇文章带大家理解一下 Databend 的存储结构。Databend 内置的 Table 引擎为 Fuse table engine ,也是接下来要花重点篇幅讲的。另外,Databend 还支持外置的 Hive table 及 Icebreg Table( 即将到来)。Fuse table 是 Databend 直接把数据存储到 S3 类对象存储上,从而让用户达到一个按需付费,无须关注存...

老叶茶馆 569

SparkSql学习笔记一

一、SparkSql介绍 1.简介     Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。     为什么要学习Spark SQL?     我们已经学习了Hive,它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduce的程序的复杂性,由于MapReduce这...

浪淘沙 316

大数据开发之Spark篇----SparkSQL入门(2)

DataFrame详解 DataFrame与RDD之间的差异 RDD的回顾 我们先回顾一下我们前几篇对RDD的描述再从这些特性进入到DataFrame的讲解。首先,我们知道RDD的全称是弹性分布式数据集,重点是RDD是一个数据集,其里面是由一个个元素构成的,所以我们操作的时候其实就是对元素进行操作,比如各种的map,filter,reduce操作,但是我们好像并不知道RDD里面元素的具体类型到底是...

weixin_39702831的博客 726

从RDD创建DataFrame(Sparksql)

PS:第一次学习,简单笔记代码。 创建DataFrame 在Spark SQL中SparkSession是创建DataFrames和执行SQL的入口创建DataFrames有三种方式: (1) 从一个已存在的RDD进行转换 (2) 从JSON/Parquet/CSV/JDBC等结构化数据源进行创建 (3) 从Hive Table进行查询返回 核心要义:创建DataFrame,需要创建 “RDD ...

MyNameIsWangYi的博客 850
上一篇: HiveSelect操作
下一篇: Hive常用函数
piepis
博客等级 码龄10年 104粉丝 137原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

piepis

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值