Hive 在企业中的实际应用

最新推荐文章于 2025-06-17 01:11:16 发布
最新推荐文章于 2025-06-17 01:11:16 发布
阅读量923 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_35495339/article/details/95042534
本文详细介绍通过四种不同方式执行Hive SQL语句的方法，包括直接执行单条语句、运行包含多条语句的文件、使用脚本及设置crond定时任务。适合Hive初学者及日常操作需求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

方式一：你需要执行的SQL语句是单条

bin/hive -e “SQL语句”

方式二：多条语句，放到文件中

bin/hive -f “xxx.sql”

方式三：脚本

#!/bin/sh
HIVE_HOME=....
${HIVE_HOME}/bin/hive -f sql

方式四：crond跑定时任务

Hive在阿里巴巴数据仓库中的实践与应用
AI天才研究院
07-29 1931
Apache Hive 是 Hadoop 的一个子项目，它是一个基于 HQL（Hadoop Query Language）语言的查询引擎，可以将结构化的数据文件存储在HDFS上并提供分布式计算功能。Hive 有着良好的扩展性、稳定性、高效执行速度、完备的SQL支持等优点。Hive 适用于互联网行业、金融、广告、搜索引擎、在线推荐系统、日志分析等各种场景下的数据分析处理。在企业中，数据仓库建设始终是数据领域的一项重要工作，是对公司最核心、最关键的数据资产之一。
大数据领域 Hive 与 Spark 的集成应用
AI天才研究院
05-10 1029
随着企业数据量呈指数级增长，传统单一计算引擎已难以满足复杂的数据处理需求。Hive 作为基于 Hadoop 的分布式数据仓库，擅长离线批量数据处理和 SQL 语义支持；Spark 则以内存计算为核心，提供批处理、流处理、机器学习等统一计算框架。本文旨在解析两者集成的技术原理、实施路径及应用价值，覆盖从基础架构设计到性能优化的全流程，帮助读者掌握高效的数据处理解决方案。背景介绍：明确技术定位与读者对象核心概念与联系：剖析 Hive 与 Spark 的架构特征及集成逻辑核心集成原理与操作步骤。
hadoop和hive的实践应用（三）——hive的基本应用
数据人生
05-26 3530
前面我已经搭好了hadoop和hive环境，并且在hive中创建了表page,将数据load了进去。现在我想从这个表中统计每个url的流量，并放到其他关系中数据库中或者展现在页面上，怎么办？去官网是看一下，不难发现可以用java ,python，php都可以实现，下面就用python 简单的写了写from hive_service import ThriftHivefrom hive_service.ttypes import HiveServerExceptionfrom thrift import Th
Hive篇---Hive使用优化
weixin_34092455的博客
01-17 165
一.前述 本节主要描述Hive的优化使用，Hive的优化着重强调一个 把Hive SQL 当做Mapreduce程序去优化二.主要优化点 1.Hive运行方式：本地模式集群模式本地模式开启本地模式：set hive.exec.mode.local.auto=true;注意：hive.exec.mode.local.auto.inputbytes.max默认值为128M表示加载文件的最大值，若大...
Hive企业应用
qq_45763007的博客
02-28 199
一. 数据仓库架构设计 数据仓库的主要工作就是ETL，即是英文 Extract-Transform-Load 的缩写，用来描述数据从来源端经过装载(load)、抽取(extract)、转换(transform)至目的端的过程。 数据仓库架构设计，即为公司针对自身业务场景实现的水平分层、垂直分主题的数据仓库构建过程的顶层设计。 数据架构 架构原则：先水平分层，再垂直分主题域。 数据架构分三层...
hive之-e -f（hive企业中实际应用）
weixin_45131142的博客
07-07 1202
-f： MapReduce程序的提交： 肯定是将相关的命令放到脚本里面里面去，可以设置定时任务去提交运行。 创建一个xxx.sh目录（如歌是普通用户 则需要在有权限的目录下创建） 注：配绝对路径 在Hive中如何： （1）在hive目录下创建xxx.sql文件，文件中可写多条sql语句 （2）在hive目录下创建一个.sh文件 #!/bin/sh 别忘了！ 解释器指这个文件由谁来解释 ...
离线任务平台在企业中的应用实例与解析思考
热门推荐
张彦峰的博客
04-10 5万+
离线任务平台通常是指一种基于云计算或分布式计算技术，用于处理批量离线数据的计算平台。它可以自动化地执行一系列离线数据处理任务，如数据清洗、数据转换、数据分析、机器学习模型训练等。离线任务平台通常包括数据存储、数据处理和数据输出三个主要组件。在离线任务平台上，用户可以定义和配置数据处理任务，然后提交任务并等待任务完成。任务完成后，用户可以从输出目录中获取结果数据。在业务应用中，离线任务平台通常指一种数据处理平台，用于对大规模离线数据进行处理和分析，以便于业务决策和优化。
数据库领域Hive在电商行业的应用实战
最新发布
2502_91592937的博客
06-17 1010
随着电商行业的迅猛发展，每天都会产生海量的数据，包括用户信息、商品信息、交易记录、用户行为日志等。如何有效地存储、管理和分析这些数据，以支持电商企业的决策制定、精准营销、用户体验优化等，成为了电商企业面临的重要挑战。Hive作为一种基于Hadoop的数据仓库工具，提供了类似于SQL的查询语言HiveQL，使得非专业的程序员也能够方便地进行数据查询和分析。本文的目的就是探讨Hive在电商行业的具体应用，涵盖从数据存储到数据分析的整个流程，帮助电商企业更好地利用Hive来处理和分析数据。
大数据处理平台中Azkaban工作流管理与Hive任务调度的实现与应用
01-20
使用场景及目标：针对有大规模数据处理需求的企业或者科研机构，在部署分布式计算集群后用于批量作业自动调度与跟踪监控；提高工作效率，减少人工干预错误概率；确保任务执行的一致性和准确性。 其他说明：本文档...
hadoop 第3 个月项目 涉及到ETL hive hbase mr等公司项目
12-06
看完你就知道了 只做最实战的代码 需要一定的工作经验 和基础
实战：Hive在内容推荐系统中的应用（一）
大而话之-Big Data
01-17 825
一、数据准备 1.1.user_action.txt 11,101,2018-12-01 06:01:12 22,102,2018-12-03 06:01:13 33,103,2018-12-04 06:01:14 11,104,2018-12-06 06:01:15 22,103,2018-12-07 06:01:16 33,102,2018-12-12 06:01:17 11,101,20...
HIVE的十项企业级调优。。。。。。
Mage的博客
11-14 5153
话不多说直接上货。。。。。。。。。。。。。。。。。。。。。。。。。。。 1.Fetch抓取 set hive.fetch.task.conversion=more（默认） Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。 该属性设置为 more 以后，在全局查找、字段查找、limit 查找等都不走 MapReduce。 设置为none后所有类型的查找语...
Hive_Hive企业使用高级优化/调优
whisky_12的博客
12-19 673
文章目录概述FetchTask默认配置修改配置为大表创建子表理解方式外部表和分区表外部表分区表注意 概述 本文总结记录Hive企业使用是常见的优化策略。 FetchTask 为什么有的sql执行mapreduce，而有的却不？比如执行select * 的时候不会跑MR，这其实就是优化，属于FetchTask。 默认配置 在hive.default.xml.template中，搜索hive.fetc...
企业常用Hive SQL配置
pengpengsays
01-06 296
企业常用Hive SQL配置 在企业中使用Hive SQL需要一定的规范。一般在SQL编写之前，需要进行规范的注释添加，并设定特定的配置。 在SQL文件开始，常见的注释有： --@Name:所属数据库.结果表 --@Description:描述 --@Type:表类型，如每日汇总表 --@Target:结果表 --@source:数据源表1 别名1 --@source:数据源表2 别名2 --@Author:工号 作者 --@CreateDate:创建日期 --@ModifyBy:修改人 --@Modify
hive 优化实践 案例2
littlecarton的博客
01-25 348
背景：任务topic#report_hw_page_uv_stat#v1凌晨5点高峰期消耗vcore80000+ 执行时间1100+s 调试：下午4点 较空闲时段   尝试1：reduce个数 跟案例1一样，设置了set mapred.reduce.tasks=200，现在注释掉。对比结果，vcore减少70%，但时间增加了。还是vcore优先吧。 before ************...
「Hive进阶篇」万字长文超详述hive企业级优化
大数据阶梯之路的博客
07-26 471
万字长文超详述Hive企业级优化
Hive在大数据时代的应用与架构解析
Hive在实际应用中有广泛的应用场景，例如： 1. **日志分析**：企业常利用Hive对服务器日志进行分析，比如计算一段时间内的页面浏览量（PV）、独立访客数（UV），以及进行多维度的数据挖掘，以洞察用户行为和提升...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值