hive之脚本执行

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 7.5k累计阅读 7.6k平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄18年

关注

原创最新推荐文章于 2026-06-14 09:00:00 发布 7.5k 阅读 AI 写同款· GEO 优化 ›

Shell脚本执行Hive语句一、环境 1、Hadoop 0.20.2 2、Hive 0.5 3、操作系统 Linux m131 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux 二、步骤 1、直接贴上脚本吧 #!/bin/bash #give the params: name value tablename if [ $# -eq 3 ] then name= 阅读详情

Hive是基于Hadoop的数据仓库，可以将结构化的数据文件hive映射为一张数据库表，并提供几乎完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
Hive目前还不支持像Mysql那样的sql脚本，如果遇到需要批量处理HQL就相对麻烦，但是可以使用比较笨的shell脚本执行批量HQL命令，原理很简单，在shell脚本中用echo命令将HQL命令以字符串的形式导入Hive客户端里面去执行，还可以用重定向将执行结果保存到本地文件，一个例子如下：

echo "CREATE TABLE test_table(id INT,name STRING) PARTITIONED BY(dt STRING, country STRING) STORED AS SEQUENCEFILE;exit;" | hive -u root > local_file

收录于

Hadoop研究

当前文章被收录于：

Hadoop研究

85 篇文章 1 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

Hive 入门级编程全案例详解 Hive 入门级编程实例详解。涵盖了各类基础函数使用要点以及 Java 编写 Hive 函数等。立即下载

相关推荐

ml307 二次开发

中移物联网旗下4g模组官方网站官方教程id=514官方客户不知道啥时候上班早上10点也说不在服务时间内找不到官方的sdk下载路径。

myWorld001的博客 2871

13、Hive数据仓库——结合shell脚本企业实战用法，定时调度

Hive数据仓库——结合shell脚本企业实战用法，定时调度

hujieliang123的博客 3173

TP4056锂电池充电电路设计原理与工程实践

锂离子电池充电管理是嵌入式电源系统的核心基础技术，其本质是通过恒流恒压（CC/CV）控制策略，匹配电池电化学特性以实现安全、高效、长寿命充放电。TP4056作为典型线性充电IC，以精简外围实现预充、恒流、恒压及自动截止全周期管理，但受限于线性拓扑的热耗散特性，必须协同散热设计、电阻精度选型与PCB布局进行系统级优化。该方案广泛应用于STM32智能小车、便携传感器节点等3.7V单节锂电供电场景，兼顾成本、可靠性与工程可实施性，是入门嵌入式硬件电源设计的关键实践范例。

weixin_36064575的博客 219

将hive库中的建表语句导出到本地文件中的脚本

#!/bin/bash tables=$(hive -e “show tables;”) for table in tables;doecho"tables; do echo "tables;doecho"(hive -e “show create table $table;”);" >> /data01/***.txt done 这个取的是默认库（default）下面的表，如需取指定库下的表,情指定库名。。。 ...

busy_programmer的博客 820

YOLOv11【第六章：模型压缩与极致优化篇·第4节】Lamp 剪枝算法：无需超参的自动化剪枝策略！

🏆 本文收录于专栏《YOLOv11实战：从入门到深度优化》。本专栏围绕 YOLOv11 的改进、训练、部署与工程优化展开，系统梳理并复现当前主流的 YOLOv11 实战案例与优化方案，内容目前已覆盖分类、检测、分割、追踪、关键点、OBB 检测等多个方向。

**My Coding Family** 1209

059、肤色还原专项调优：记忆色、颜色偏好建模与主观评价标准

文章摘要：肤色还原调优的技术挑战与实践经验本文系统探讨了手机影像中肤色还原的技术难点与解决方案。通过实际案例揭示了肤色还原的本质是记忆色与颜色偏好的博弈，而非单纯的技术指标达标。文章详细分析了记忆色的三大特性（高饱和、地域差异、场景依赖）和颜色偏好的数学建模方法，提出了基于YCbCr/Lab空间的参数化模型和代价函数设计。在评价体系方面，强调主观评价的重要性，并分享了专家评审、用户调研、场景覆盖的三级验证方法。最后总结了实战中的关键经验，包括肤色检测优化、过渡处理、动态范围管理及视频/拍照差异策略。文章指

sundong_81的博客 249

hive脚本开发

#!/bin/bash sourceName=$1 writeName=$2 dt=$3 dtValue=$4 hive -e "set spark.app.name=clean_distinct_transfer_dept; set spark.executor.instances=5; set spark.executor.memory=10g; set spark.executor.cores=2; set spark.driver.memory=8g; insert overwrite table.

大块白云的博客 620

⑩电子产品拆解分析-家用无线遥控开关433Mhz

①免布线随意贴，装上就能使用解决单线开关烦恼；②遥控配对简单，无线通讯距离长，信号可穿墙；

a6662580的博客 4681

hive 脚本

hive bin=`dirname "$0"` bin=`cd "$bin"; pwd` //$0 命令行的第一个参数，代表命令本身(当前Shell程序的文件名) //dirname $0，获取当前Shell程序的路径(返回命令的路径) // . "$bin"/hive-config.sh //运行hive-config.sh if [ "$SERVICE" = "...

bupt041137的专栏 256

飞牛fnNAS虚拟机标准安装

飞牛NAS是一款基于Debian开发的国产免费NAS系统，支持x86架构设备，可将闲置硬件改造为NAS服务器。系统安装简便，支持多种存储模式与硬盘休眠功能，具备智能影视管理、照片备份等实用功能，并提供多种远程访问方式。飞牛NAS还支持Docker扩展，目前已承诺永久免费。文章详细介绍了在VMware虚拟机中安装飞牛NAS的步骤，包括下载镜像、创建虚拟机、初始化设置等过程，并展示了创建共享文件夹等基本操作，帮助用户快速上手这款功能强大的免费NAS系统。

dgnankai的专栏 3254

热力学仿真软件：SimScale_（1）.SimScale入门与基础操作

导航栏：位于页面顶部，包含项目管理、仿真设置、结果分析等主要功能。项目列表：展示用户创建的所有项目。工作区：用于进行具体的操作，如几何建模、网格划分、边界条件设置等。控制台：显示操作日志和仿真进度。网格划分是将几何模型离散化为一系列小单元的过程，这些单元用于求解热力学方程。SimScale提供了多种网格划分方法，包括结构化网格和非结构化网格。SimScale提供了丰富的API接口，用户可以通过编程语言进行二次开发，实现自动化仿真和结果分析。项目管理：创建、删除和管理项目。几何建模：创建、导入和修复几何模型。

kkchenjj的博客 1863

hive 入门编写hive启动脚本 (五)

nohup：放在命令开头，表示不挂起，也就是关闭终端进程也继续保持运行状态/dev/null：是Linux文件系统中的一个文件，被称为黑洞，所有写入该文件的内容都会被自动丢弃2>&1：表示将错误重定向到标准输出上&：放在命令结尾，表示后台运行。

weixin_43205308的博客 748

【STM32实物】基于STM32设计的智能仓储管理系统

近年来，随着我国仓储发展的和药品需求的不断增多，许多医院都采用药物仓储管理系统。我国的药物仓储产业已经有了长足的发展，仓库的规模不断变大，对仓储的要求也不断增高，药物的存储，识别以及对仓储环境条件的要求成为仓储的重要决策，他们可以根据不同的特点在不同场景中使用。本文详细介绍了一个基于单片机技术的智能仓储管理系统的设计与实现，这个系统可谓是集射频识别（RFID）技术和环境监测传感器于一身，旨在提高仓储操作的自动化和精确度。

嵌入式阿齐Archie 1万+

hive脚本执行方式

hive脚本的执行方式 hive脚本的执行方式大致有三种： hive控制台执行； hive -e "SQL"执行； hive -f SQL文件执行；参考hive用法： 1.1. hive控制台执行顾名思义，是进入hive控制台以后，执行sql脚本，例如： hive> set mapred.job.queue.name=pms; hive> select page...

maenlai0086的博客 1674

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表，创建专业级图表以简化复杂的信息。

蓝牙模块HM-10手册

蓝牙模块HM-10手册，该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

在Oozie 中调度执行shell、hive 脚本，以及通过shell脚本执行hive/sqoop/shell脚本的方法

oozie 是一个非常不错的页面可视化程序调度器，优点很明显，但缺点也很多，最恶心的是不支持动态的参数，以及使用sqoop时非常麻烦，因此，最好的方法自然是通过oozie调度一个shell调度脚本，由shell脚本再去调度执行其他脚本。这样可以实现动态传参，和统一控制。

lyp5257918的博客 1万+

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Hive 脚本执行

继上篇DDL中load的数据继续进行脚本操作。 hive执行脚本hive -e “sql语句” 会将查询的结果打印在控制台上。 hive -e “sql语句” >> xxx 会将查询的结果重定向到xxx文件中，会显示OK和抓取的数据条数 hive -S -e “sql语句” >> xxx 会将查询的结果重定向到xxx文件中，不会显示OK和抓取的数据条数 hive -f sqlfile 执行

zzShine的专栏 1万+

NTscan扫描工具

ntscan是一个扫描器，可以扫描没有密码和弱密码的共享，先到配置文件中填写猜测的用户名和密码，扫描过程中右侧出现的是扫描日志。

hive脚本的三种执行方式

1.hive控制台执行，安装了hive之后直接命令行输入hive，进入控制台。 2.hive -e "sql语句",直接输入就会有结果，sql语句根据具体情况自己书写 3.hive -f a.sql -hivevar table=people a.sql的内容如下 set mapred.job.queue.name=default; set hive.exec.red

pan_haufei的博客 2762

shell命令执行hive脚本的方式

本文主要介绍了shell命令执行hive脚本(hive交互)，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下 Hive执行方式 Hive的hql命令执行方式有三种： 1、CLI 方式直接执行 2、作为独立文件，通过shell调用 hive –f或hive –i执行执行 3、作为字符串通过shell调用hive –e执行（-S开启静默，去掉”OK”，”Time taken”）方式1 键入“hive”，启动hive的cli交互模式。Set可以查看所有环境设置

Free雅轩的博客 2851

[Hive]Hive执行脚本的方式以及转义字符

1. hive脚本的执行方式hive脚本的执行方式大致有三种： 1. hive控制台执行； 2. hive -e "SQL"执行； 3. hive -f SQL文件执行；参考hive的用法usage: hive -d,--define <key=value> Variable subsitution to apply to hive

个人技术博客 3万+

shell命令执行hive脚本

shell命令执行hive脚本，Hive的hql命令的四种执行方式

weixin_74292291的博客 1845

Hive编程指南-JDBC连接、脚本执行

摘要：本文主要讲了如何通过java来连接Hive,以及如何执行hive脚本

Evankaka的专栏 4157

hive脚本的执行方式大致有三种

hive脚本的执行方式大致有三种：参考hive的用法： usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=B ...

流风雨情的博客 9495

hive学习笔记-执行sql脚本

执行sql脚本的两种方式脚本 t.sql use try; select * from a_try; 注：a_try表在try库中；在hive外部运行脚本 hive -f t.sql 注意：该命令一定要和t.sql在同一目录下运行，否则就找不到文件！在hive中运行脚本 hive > source t.sql; 注意：启动hive的目录也要和脚本所在目录一致，否则就找不到文件！...

程序员_乐乐的博客 2273

shell按小时循环执行hive脚本

在开发中，经常会遇到重刷以前脚本或提取以前数据，由于数据量极大，集群资源不够，只能按小时跑数据，怎样编写脚本输入开始日期、开始小时、结束日期、结束小时自动跑数呢？提供以下脚本供参考： #!/bin/sh #***************************************************************************************** #*** 程...

fuyun6363的博客 1339

linux进入hive写sql,Hive执行方式及结合shell脚本

Hive可以在CLI命令行中执行，但是对于不懂的hive的人会比较麻烦，所以就想能否通过shell去执行hive的语句呢，封装起来只要执行一条shell命令就可以了，每次执行只要自己传入不同参数就可以了，并且如果以后需要做定时器任务crontab也是需要调用shell的，于是就有了下面的学习1、直接在命令行中执行hive -e 'create table db.cl_a(a string);cre...