HiveTable操作命令

Hive表的基本操作 文章目录1. 创建表2. 拷贝表3. 查看表结构4. 删除表5. 修改表5.1 表重命名5.2 增、修、删分区5.3 修改列信息5.4 增加列5.5 删除列5.6 修改表的属性 1. 创建表 create table语句遵从sql语法习惯,只不过Hive的语法更灵活。例如,可以定义表的数据文件存储位置,使用的存储格式等。 create table if not exists test.user1( name string comment 'name', salary float comment 'salar 阅读详情

hive执行参数

命令行直接执行HQL

hive -e "select *from dw.ol_oitf_interface_auc_dimension_business limit 10"

223232

执行HQL文件中的语句

hive -f emp.hql

2222222

hive -f /home/my/hive-script.sql
'''
Example of running an initialization script before entering interactive mode 
在进入交互模式之前运行初始化脚本的例子
'''
HIVE_HOME/bin/hive -i /home/my/hive-init.sql

打开调试模式

hive --hiveconf hive.root.logger=DEBUG,console 

数据导出&导入

从本地文件系统中导入数据到Hive表

load data local inpath 'xiong.txt' into table xiong;

本地文件系统里面有xiong.txt文件,内容如下:

 ww:workSpace$ cat xiong.txt 
1       xiong     25      13188888888888
2       test    30      13888888888888
3       zs      34      899314121xiong.txt

文件中的数据列之间是使用\t分割的,可以通过下面的语句将这个文件里面的数据导入到xiong表里面,操作如下:
23333333333333

将xiong.txt里面的内容导入到xiong表里面去了,可以到xiong表的数据目录下查看,如下命令
23232323

HDFS上导入数据到Hive表

从本地文件系统中将数据导入到Hive表的过程中,其实是先将数据临时复制到HDFS的一个目录下(典型的情况是复制到上传用户的HDFS home目录下,比如/home/xiong/),然后再将数据从那个临时目录下移动(注意,这里说的是移动,不是复制!)到对应的Hive表的数据目录里面。既然如此,那么Hive肯定支持将数据直接从HDFS上的一个目录移动到相应Hive表的数据目录下,假设有下面这个文件/home/xiong/add.txt,具体的操作如下:

[xiong@master /home/q/hadoop-2.2.0]$ bin/hadoop fs -cat /home/xiong/add.txt
5       xiong1    23      131212121212
6       xiong2    24      134535353535
7       xiong3    25      132453535353
8       xiong4    26      154243434355

上面是需要插入数据的内容,这个文件是存放在HDFS上/home/xiong目录(和一中提到的不同,一中提到的文件是存放在本地文件系统上)里面,

我们可以通过下面的命令将这个文件里面的内容导入到Hive表中,具体操作如下:

hive> load data inpath '/home/xiong/add.txt' into table xiong;
Loading data to table default.xiong
Table default.xiong stats:
[num_partitions: 0, num_files: 2, num_rows: 0, total_size: 215]
OK
Time taken: 0.47 seconds

hive> select * from xiong;
OK
      xiong1    23      131212121212
      xiong2    24      134535353535
      xiong3    25      132453535353
      xiong4    26      154243434355
      xiong     25      13188888888888
      test    30      13888888888888
      zs      34      899314121
Time taken: 0.096 seconds, Fetched: 7 row(s)

从上面的执行结果我们可以看到,数据的确导入到xiong表中了!请注意load data inpath ‘/home/xiong/add.txt’ into table xiong;里面是没有local这个单词的,这个是和一中的区别。


导出数据到本地

hive命令执行

insert overwrite local directory '/home/wangkai8/workSpace/test'
row format delimited fields terminated by '\t' select *from
dw.ol_oitf_interface_auc_dimension_business limit 10;
如果不指定row format delimited fields terminated by ‘\t’,字段间默认没有分割符

2323232

命令行直接执行HQL语句导出文件到本地

 hive -e "select *from dw.ol_oitf_interface_auc_dimension_business limit 10" >> emp_export.txt

导出到HDFS

insert overwrite local directory  'hdfs://hadoopcluster/user/wangkai8/warehouse/xiong' ROW format delimited fields terminated by '\t'
 select *from ol_power_line_saler_organization_dim  where dt ='20180808' limit 10;

一个源可以同时插入到多个目标表或目标文件,多目标insert可以用一句话来完成

FROM src
  INSERT OVERWRITE TABLE dest1 SELECT src.* WHERE src.key < 100
  INSERT OVERWRITE TABLE dest2 SELECT src.key, src.value WHERE src.key >= 100 and src.key < 200
  INSERT OVERWRITE TABLE dest3 PARTITION(ds='2008-04-08', hr='12') SELECT src.key WHERE src.key >= 200 and src.key < 300
  INSERT OVERWRITE LOCAL DIRECTORY '/tmp/dest4.out' SELECT src.value WHERE src.key >= 300;
Eg:
from xi  
insert overwrite  table test2 select  '1,2,3' limit 1 
insert overwrite  table d select  '4,5,6' limit 1;

Hive交互式Shell命令

CommandDescription
qui Or exit退出命令
!< cmd >在hive shell中执行shell命令
dfs < dfs command >在hive shell中执行dfs命令命令
add FILE < value > < value > *将一个文件添加到资源列表中
eg:
      hive> !ls;
      hive> dfs -ls;
      hive> add FILE /tmp/tt.py;
      hive> list FILES;

调用python、shell等语言


OpenClaw Docker 安装与部署教程,环境隔离不冲突技术指南 本文介绍了使用Docker容器化部署OpenClaw的完整教程。首先通过流程图详细说明了Docker环境检测流程,包括系统支持性检查、Docker安装状态验证、版本检测和服务配置等步骤。然后提供了Windows、macOS和Linux(Ubuntu/CentOS)系统下的Docker安装指南,涵盖从下载、安装到权限配置的全过程。最后介绍了OpenClaw官方镜像的拉取方法以及自定义镜像构建的Dockerfile示例。该教程适用于开发和生产环境,利用Docker实现环境隔离和快速部署。 阅读详情

相关推荐

手把手教你配置SAP PP供应区域(Supply Area):实现线边仓精准发料与物料流优化

本文详细解析了SAP PP供应区域(Supply Area)的配置方法,帮助企业实现线边仓精准发料与物料流优化。通过三级优先级逻辑和四步配置法,系统可自动识别最优组件来源位置,显著提升生产订单处理效率和库存准确率。文章还提供了典型问题解决方案和性能优化技巧,适用于离散制造和重复制造场景。

weixin_29275257的博客 434

Hive Table 操作命令汇总

如表在在的数据库,owner,创建时间,序列化信息,统计信息(文件数,总数据量,行数等)。但是详细信息显示在一行,不容易阅读,用 FORMATTED 关键字以比较容易阅读的方式输出。如果表是分区表,则只有新建的分区使用表默认的存储格式,以前的分区不会改。外部表,和 Managed Tables 对应,Hive 不管理数据。当删除表时,不删除对应的文件,仅删除对应的元数据。Hive 管理的表,创建表时,没有 external 关键字。当删除表时,不仅删除对应的元数据,还删除对应的文件。指定文件格式和分割符。.

houzhizhen的专栏 2509

使用LSTM(长短期记忆)模型处理文本数据的典型流程

对于序列到序列的任务(如机器翻译),可以使用LSTM的隐状态来生成目标序列。这些向量捕获了词之间的语义关系,每个词都被表示为一个高维空间中的点,语义上相似的词在向量空间中彼此靠近。这通常是通过创建一个词汇表(vocabulary)来实现的,词汇表中的每个词都会被分配一个唯一的数字ID。:由于LSTM等循环神经网络(RNN)需要固定长度的输入,所以需要将不同长度的句子填充到相同的长度。由于计算机不能直接理解连续的文本,第一步是将文本分割成独立的词或标记(token)。:将词嵌入作为输入传递给LSTM模型。

YHKKun的博客 2500

常用Hive命令速查(全)

--hive模糊搜索表: show tables like '*name*'; --查看表结构信息: desc table_name; desc formatted table_name; --查看分区信息: show partitions table_name; --加载本地文件: load data local inpath '/xxx/test.txt' overwrite into table dm.table_name; --从查询语句给table插入数据: insert overwri.

qq_654603797 2148

论文阅读—Square Attack: a query-efficient black-box adversarial attack via random search

论文阅读—Square Attack: a query-efficient black-box adversarial attack via random search 发表位置 ECCV 2020 摘要 作者提出了一种基于得分的黑盒Square attack,该模型不依赖于模型的局部梯度信息,因此可以绕过梯度隐藏防御攻击。Square Attack是一种随机搜索方法,它在随机位置选择局部的方形更新,使得每次迭代时扰动近似位于可行集的边界。 背景 当涉及到对安全至关重要的机器学习应用时,对抗性的例子尤其值得

yayayamaomaoya的博客 2493

基于微信小程序的扫码签到系统源码

大等于jdk1.8,大于mysql5.5,idea(eclipse),微信开发者工具。代码注释齐全,没有多余代码,适合学习(毕设),二次开发,包含论文技术相关文档。签到管理:新增签到,点击查看码展示二维码(有时效性)springboot mybatis 小程序。签到管理:查看用户创建的签到,可删除。用户管理:查看注册用户信息,及删除。签到记录:查看用户签到记录:可删除。个人信息:展示个人信息,可修改。统计分析:查看用户,签到数量。签到记录:查看用户签到记录。登录注册(含授权登录)我的签到:查看签到记录。

wfuhui的博客 5224

Hive SQL 计算AUC

前置条件: 数据表中已有正负样本标签,和预测分值。 TRUE, 9 FALSE, 8 TRUE, 7 FALSE, 6 这四个样本对应的AUC是0.75。 -- ########## 测试一:########## Lable为True / False. create table tmp.test_score_label( score int, label boolean ); insert into tmp.test_score_label values (9,...

rover 4453

Android SSL证书固定实战:原理、方案与避坑指南

SSL/TLS协议是保障网络通信安全的基石,其核心原理是通过非对称加密和数字证书实现身份认证与数据加密。在移动应用开发中,为了防止中间人攻击,证书固定技术应运而生,它通过将服务器证书或公钥的哈希值预置在应用内,强制校验服务器身份,从而大幅提升通信链路的安全性。这一技术对于金融、电商等高安全要求场景尤为重要。本文聚焦Android平台,深入解析SPKI固定、Network Security Configuration与OkHttp CertificatePinner等主流方案,并针对证书更新、调试兼容等常见痛

weixin_33935636的博客 403

hive 一个数据源产生多个数据集 from table insert overwrite table

hive 提供了一个独特的算法,对于同一个数据源产生多个数据集可以进行一次遍历数据源: from test_testjq_y insert overwrite table test_testjq_1 partition (dt) select * where dt=‘20201128’ insert overwrite table test_testjq_2 partition (dt) select * where dt=‘20201127’ 等同于 :遍历两次数据源 test_tes

zhuzhen123zhuzhen的博客 1112

RT-DETR改进策略【RT-DETR和Mamba】| CVPR 2025:EfficientViM 压缩隐藏状态空间进行通道混合、单头设计减少内存操作,提升目标检测效率与精度

本文记录的是利用模块优化的目标检测网络模型。EfficientViM Block(基于隐藏状态混合器的状态空间对偶性模块) 的设计旨在,提升特征提取效率,同时兼顾全局依赖捕捉与局部细节保留。本文将深入研究的原理,并将其应用到中,通过重构特征提取流程、减少内存绑定操作、融合多阶段特征,增强模型在资源受限环境下的检测性能与速度。Depth Information Assisted Collaborative Mutual Promotion Network for Single Image DehazingLE

Limiiiing的博客 916

060、模型蒸馏:把扩散模型压进单步的魔法

《端侧文生图模型蒸馏实战:从32步到1步的优化之道》摘要:针对边缘设备部署难题,本文分享了扩散模型蒸馏的核心经验。通过重构损失函数(感知损失+对抗训练+KL散度)、优化采样轨迹截取策略和改造学生模型架构,成功将Stable Diffusion压缩至单步推理。关键发现包括:小批量训练更有效、标签平滑保障生成多样性、双模型策略平衡质量与速度。在Cortex-A53芯片上实现300ms内生成,内存占用控制在200MB以下。特别强调工业部署需权衡压缩率与稳定性,建议保留迭代模式开关以适配不同场景需求。

2601_95651806的博客 150

SparkSQL 创建DataFrame

1 前言: Spark SQL 的 DataFrame API 允许我们使用 DataFrame 而不用必须去注册临时表或者 生成 SQL 表达式。 DataFrame API 既有 transformation 操作也有 action 操作。 2 创建 DataFrame 在 Spark SQL 中 SparkSession 是创建 DataFrame 和执行 SQL 的入口,创建 DataFrame 有三种方式: 通过 Spark 的数据源进行创建; 从一个存在的 RDD 进行转换; 还可以从 Hiv

cai_and_luo的博客 583

基于STM32的汽车主门电动窗开关系统设计方案

以下是基于 STM32CubeMX 和 HAL 库的示例代码,可实现基本的功能。

weixin_42300449的博客 995

Cannot overwrite table ods.test_orc_hivetable_write that is also being read from;

一个少见的spark问题,感觉贱贱的。 报错如下: org.apache.spark.sql.AnalysisException: Cannot overwrite table ods.test_orc_hivetable_write that is also being read from; at org.apache.spark.sql.DataFrameWriter.saveAsTa...

MR_REN019235的博客 1950

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

DataFrame创建介绍_大数据培训

在Spark SQL中SparkSession是创建DataFrame和执行SQL的入口,创建DataFrame有三种方式:通过Spark的数据源进行创建;从一个存在的RDD进行转换;还可以从Hive Table进行查询返回。(1)查看Spark数据源进行创建的文件格式。(2)读取json文件创建DataFrame。3)从Hive Table进行查询返回。1)从Spark数据源进行创建。2)从RDD进行转换。2.5节我们专门讨论。3.3节我们专门讨论。...

zjjcchina的博客 449

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Spark SQL中创建 DataFrame 方法

在Spark SQL中SparkSession是创建DataFrames和执行SQL的入口 创建DataFrames有三种方式: (1) 从一个已存在的RDD进行转换 (2) 从JSON/Parquet/CSV/ORC/JDBC等结构化数据源直接创建 (3) 从Hive Table进行查询返回 核心: 创建DataFrame,需要创建 “RDD + 元信息schema定义” rdd来自于数据 ...

weixin_45687351的博客 632

SparkSQL编程之DataFrame

SparkSession新的起始点 在老的版本中,SparkSQL提供两种SQL查询起始点:一个叫SQLContext,用于Spark自己提供的SQL查询;一个叫HiveContext,用于连接Hive的查询。 SparkSession是Spark最新的SQL查询起始点,实质上是SQLContext和HiveContext的组合,所以在SQLContext和HiveContext上可用的API...

ITBOY_ITBOX博客 224

Spark SQL数据源

1. 数据源1:JDBC 1.1 使用load方法连接JDBC读取数据 package com.bigdata.spark.day1021 import java.util.Properties import org.apache.log4j.{Level, Logger} import org.apache.spark.sql._ /** * JDBC 数据源 */ object JDB...

米斯特拉克的博客 384

sparkstreaming写入hive表报错问题解决

structstreaming写入hive table报没有权限的问题

qq_32457341的博客 504

SparkSQL编程之DataFrame详解

SparkSession新的起始点 在老的版本中,SparkSQL提供两种SQL查询起始点:一个叫SQLContext,用于Spark自己提供的SQL查询;一个叫HiveContext,用于连接Hive的查询。 SparkSession是Spark最新的SQL查询起始点,实质上是SQLContext和HiveContext的组合,所以在SQLContext和HiveContext上可用的API在S...

@小刘同学nice 542

Spark之DataFrame创建

DataFrame创建 在Spark SQL中SparkSession是创建DataFrame和执行SQL的入口,创建DataFrame有三种方式:通过Spark的数据源进行创建;从一个存在的RDD进行转换;还可以从Hive Table进行查询返回。 1)从Spark数据源进行创建 (1)查看Spark数据源进行创建的文件格式 scala> spark.read. csv fo...

qq_43193797的博客 258

Spark SQL:使用数据源

目录 一.通用的Load/Save函数     1.通用的Load/Save函数     2.显式指定文件格式:加载json格式     3.存储模式(Save Modes)     4.将结果保存为表 二.Parquet文件(列式存储文件,是Spark SQL默认的数据源)     1.什么是parquet.

Movle 405

Databend 存储架构总览

目的通过本篇文章带大家理解一下 Databend 的存储结构。Databend 内置的 Table 引擎为 Fuse table engine ,也是接下来要花重点篇幅讲的。另外,Databend 还支持外置的 Hive table 及 Icebreg Table( 即将到来)。Fuse table 是 Databend 直接把数据存储到 S3 类对象存储上,从而让用户达到一个按需付费,无须关注存...

老叶茶馆 569

SparkSql学习笔记一

一、SparkSql介绍 1.简介     Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。     为什么要学习Spark SQL?     我们已经学习了Hive,它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduce的程序的复杂性,由于MapReduce这...

浪淘沙 316

大数据开发之Spark篇----SparkSQL入门(2)

DataFrame详解 DataFrame与RDD之间的差异 RDD的回顾 我们先回顾一下我们前几篇对RDD的描述再从这些特性进入到DataFrame的讲解。首先,我们知道RDD的全称是弹性分布式数据集,重点是RDD是一个数据集,其里面是由一个个元素构成的,所以我们操作的时候其实就是对元素进行操作,比如各种的map,filter,reduce操作,但是我们好像并不知道RDD里面元素的具体类型到底是...

weixin_39702831的博客 726

从RDD创建DataFrame(Sparksql)

PS:第一次学习,简单笔记代码。 创建DataFrame 在Spark SQL中SparkSession是创建DataFrames和执行SQL的入口创建DataFrames有三种方式: (1) 从一个已存在的RDD进行转换 (2) 从JSON/Parquet/CSV/JDBC等结构化数据源进行创建 (3) 从Hive Table进行查询返回 核心要义:创建DataFrame,需要创建 “RDD ...

MyNameIsWangYi的博客 850
上一篇: HiveSelect操作
下一篇: Hive常用函数
piepis
博客等级 码龄10年 104粉丝 137原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

piepis

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值