关于hive

最新推荐文章于 2025-09-10 15:58:35 发布
最新推荐文章于 2025-09-10 15:58:35 发布
阅读量55 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据
原文链接：http://www.cnblogs.com/TLightSky/p/4122230.html

这两天在研究了hbase，hadoop，hive，spark

由于spark.py不支持clust（jar才支持，但是太麻烦了>_<）

所以最终决定使用hive

在hive中用create external table后可以一同指定partition和location，这样就可以直接在hadoop的原始数据里进行查询了，

查询会自动转换成map reduce，

用msck可以修复之前partition有问题的地方

 

转载于:https://www.cnblogs.com/TLightSky/p/4122230.html

关于 Hive 报 SemanticException 错误的问题
一只特立独行的猪
11-25 2万+
问题描述： hive 创建表时出错 hive> create table student(sid int,sname string); FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org...
HIVE选择题总结
m0_51376832的博客
06-14 8865
hive选择题总结
关于hive的启动和连接
issey的博客
09-20 7550
关于hadoop启动，hive的启动和连接。
关于Hive支持的隐形类型转换
weixin_44455388的博客
11-29 4229
隐式转换: 同Java语言一样，Hive也包括隐式转换（implicit conversions）和显式转换（explicitly conversions）。 Hive在需要的时候将会对numeric类型的数据进行隐式转换。比如我们对两个不同数据类型的数字进行比较，假如一个数据类型是INT型，另一个是SMALLINT类型，那么SMALLINT类型的数据将会被隐式转换地转换为INT类型，这个到底和J...
Hive基础教程 Hive入门
果子哥丶的博客
02-22 7221
hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称Hive SQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。
hive架构详解
weixin_45721467的博客
08-28 5707
简介 hive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布任务给MR框架执行，完成SQL 到 MapReduce的转换。可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 总结 Hive是一个数据仓库(数据库) Hive构建在HDFS上，可以存储海量数据
关于HIVE百分数和小数，周日期的一些问题
m0_45502588的博客
03-27 5875
– 取出每周日期范围 concat(MIN(ord_dt), “~”, MAX(ord_dt)) AS dt, ±-------------±---------------±---------------±-----------------±-+ | employee.id | employee.name | employee.days | employee.salary | ...
关于Hive的（远程）连接配置
Every___ingday的博客
03-19 7640
Hive 远程连接 Hive远程模式的元数据信息被存储在MySQL数据库中 MySQL数据库与Hive不在同一台物理机器上
关于Hive优化的四种方法总结
热门推荐
张伟的专栏
08-31 3万+
问题导读： 1、Hive整体架构优化点有哪些？ 2、如何在MR阶段进行优化？ 3、Hive在SQL中如何优化？ 4、Hive框架平台中如何优化？ 一、整体架构优化 现在hive的整体框架如下，计算引擎不仅仅支持Map/Reduce，并且还支持Tez、Spark等。根据不同的计算引擎又可以使用不同的资源调度和存储系统。   整体架构优化点： 1、根据不同业务需求
Hive特点
Winyar的博客
07-20 6607
Hive特点 1.针对海量数据的高性能查询和分析系统 由于 Hive 的查询是通过 MapReduce 框架实现的，而 MapReduce 本身就是为实现针对海量数据的高性能处理而设计的。所以 Hive 天然就能高效的处理海量数据。 与此同时，Hive 针对 HiveQL 到 MapReduce的翻译进行了大量的优化，从而保证了生成的MapReduce 任务是高效的。在实际应用中，Hiv...
关于hive的一些笔记和例子
03-30
这时一个关于hive的文档类。主要内容包括一些安装以及一些例子
关于Hive命令的7个小技巧，你都清楚吗？
大数据梦想家
11-22 3364
前言         最近在看冰河大佬写的《海量数据处理与大数据技术实战》，该书涵盖以Hadoop为主的多款大数据技术框架实战的内容，兼顾理论与实操，是市面上难得的技术好书。本篇文章，我就分享一下从中学习到的关于Hive命令的7个小技巧，受益的朋友记得来发三连⭐支持一下哟~ Hive命令说明         在Hive提供的所有连接方式中，命令行界
关于hive,spark,pyspark 使用UDF的一些理解（总结）
java_web001的博客
08-22 2006
文章目录使用方式①在hive中使用udf使用java代码编写udf使用scala代码编写udf②在spark中使用udf在spark-submit中添加--jars xxx.jar方式引用外部udf的形式在spark中注册udf③在pyspark中使用udfpython中注册udf使用pandas的udf引用scala或者java打成的jar包来注册udf在spark-submit中添加--jar...
关于hive无法正常启动（个人存档）
weixin_52614145的博客
06-11 7117
#此文仅作为本人问题解决过程存档环境：VM、CentOS、Xshell问题：输入hive后无法正常启动hive，并有如下提示 错误原因：hdfs 和yarn没有完全启动（主要是namenode无法正常启动）解决方法：1.jps 查看当前进行进程2.hadoop namenode -format 格式化hdfs系统（参考链接：(27条消息) hadoop启动后jps查看总是不显示namenode进程，然后重新格式化hdfs_laneypeng的博客-优快云博客_jps namenode出不来https:
AI-调查研究-74-具身智能 机器人学习新突破：元学习与仿真到现实迁移的挑战与机遇
永远好奇，无限进步！
09-10 642
具身智能体要实现高效学习与技能迁移，核心在于提升少样本学习与跨任务泛化能力。当前机器人学习面临多重挑战：一是任务间的迁移难度大，已学技能难以快速应用到相似任务；二是不同机器人形态和传感系统的异构性增加了适配难度；三是现有强化学习与模仿学习在样本效率和泛化能力上存在局限。为突破瓶颈，研究重点聚焦于元学习、少样本模仿学习和多任务预训练策略。例如，MAML等元学习框架可显著提升新任务适应速度，大规模多任务预训练则能为下游
大数据毕业设计选题推荐-基于大数据的贵州茅台股票数据分析系统-Spark-Hadoop-Bigdata
IT研究室的博客
09-07 945
本文介绍了基于Hadoop+Spark的贵州茅台股票数据分析系统，采用Python/Java语言开发，集成Django/Spring Boot后端与Vue前端，实现多维金融数据分析。系统核心功能包括价格趋势分析、成交量跟踪、波动性评估及技术指标验证，通过Spark SQL和Pandas处理海量交易数据，支持日均价格走势、价量相关性、MACD/RSI指标等深度挖掘。界面展示包含Echarts动态可视化图表，代码示例演示了Spark计算日均均价、20日均线及价格区间统计逻辑。
【开题答辩全过程】以 基于Hadoop电商数据的可视化分析为例，包含答辩的问题和答案
shiji3076的博客
09-06 621
本文介绍了一位拥有14年经验的计算机专业毕设指导专家，擅长Java、Python等多种开发语言，覆盖大数据、深度学习、网站开发等领域。文中以《基于Hadoop的电商数据可视化分析系统》为例，展示了完整的毕业设计答辩流程，包括技术选型理由（Hadoop处理40万+数据）、系统架构（前后端分离）、数据采集规范（京东公开数据爬取策略）以及扩展方案。评委对选题实用性和技术可行性给予肯定，建议补充定时脚本和演示视频。
RabbitMQ工作模式（下）
熵减玩家
09-06 1419
简单介绍rabbitmq 的路由模式，通配符模式，RPC，发布确认
还在重启应用改 Topic？Spring Boot 动态 Kafka 消费的“终极形态”
最新发布
郑龙飞
09-10 500
/ 用于存储 @KafkaListener 的“蓝图”// ... 可按需添加 concurrency, autoStartup 等其他属性(元数据采集与注册)@Component@OverrideClass<?= null &&!通过巧妙地结合和动态配置中心，我们实现了一个功能极其强大的动态 Kafka 消费管理方案。
【多选题】关于hive，以下哪些说法是正确的？ A A. hive使用mapreduce作为计算引擎 B B. 使用hive可以提高mapreduce的计算效率 C C. hive可以提供数据的存储 D D. 相对mapreduce，利用hive可以更快的编写出处理业务的代码
06-13
关于Hive，正确的说法是A、C、D。具体解释如下： A. Hive使用MapReduce作为计算引擎 这个说法是正确的。Hive的查询语句会被翻译成MapReduce程序来执行，Hive底层使用MapReduce作为计算引擎。 B. 使用Hive可以提高...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值