Hive常见属性配置总结

最新推荐文章于 2022-04-24 23:16:12 发布
最新推荐文章于 2022-04-24 23:16:12 发布
阅读量611 收藏
点赞数
分类专栏： hive mapreduce yarn 文章标签： mapreduce hdfs hadoop 大数据 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaohu21/article/details/108372531
版权
本文总结了Hive的配置要点，包括数据仓库位置的修改、权限配置、查询结果显示以及日志管理。Hive配置遵循就近原则，如通过java api或shell客户端操作时，不同层级的配置有不同的优先级。数据仓库默认位于/user/hive/warehouse，可通过修改hive-site.xml调整。日志默认存储在用户目录下，可通过修改hive-log4j.properties指定日志路径。配置参数可通过配置文件、命令行或HQL SET关键字设定，命令行参数和HQL SET具有更高的优先级。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hive常见属性配置总结

1.概述

  1. 和其他所有框架一样，hive的配置信息也是划分层级的，就近原则
  2. 如果是使用java api进行操作，则代码中配置优先级最高，然后是java项目中配置文件，然后是hive安装目录中的配置文件
  3. 如果是shell 客户端进行操作，则hive指令中参数优先级最高，然后是shell客户端启动时的配置信息，然后是hive安装目录中配置。

2. 具体配置

  1. Hive数据仓库位置配置
  1. Default数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse路径下。
    在这里插入图片描述

  1. 在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹。

  2. 修改default数据仓库原始位置（将hive-default.xml.template如下配置信息拷贝到hive-site.xml文件中）。

<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse
最低0.47元/天 解锁文章
Hive常用配置
weixin_43497444的博客
03-11 436
（1）设置reduce个数 set mapreduce.job.reduces （2）导入数据到分桶表配置 hive （default）> set hive.enforce.bucketing=true; hive （default）> set mapreduce.job.reduces=-1 （3）开启hive中间传输数据压缩功能 hive （default）>set hi...
hive的常见属性配置
mo
06-07 294
#Hive数据仓库位置配置 1.在/opt/module/hive/conf/hive-site.xml文件中添加如下配置信息，就可以实现显示当前数据库，以及查询表的头信息配置。 <property> <name>hive.cli.print.header</name> <value>true</value> </property> <property> <name>hive.cli.print.curr
Hive常见属性配置
now
01-21 259
1 hive原始数据仓库的配置 1.1hive原始数据仓库配置默认在（/user/hive/warehouse下）hive/conf/hive-default.xml.templa 1.2查看数据仓库位置 2.hive在default数据库下或者未指定数据库下创建的表默认会在/user/hive/warehouse中 3.实现显示当前数据库，以及查询表的头信息配置。在hive-site.xml文件中添加如下配置信息。 <property> <name>hiv
Hive常见的属性配置
栗筝i的博客
07-22 3210
配置文件 默认配置文件：hive-default.xml 用户自定义配置文件：hive-site.xml 用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效。 1、default数据仓库原始位置 <property> <name>hive.metastore.warehouse.dir</name> <value
Hive常见属性配置方法
etastgrehyjrt的博客
04-24 2068
Hive中常见属性的配置方法
Hive常见调优总结
进击的数据小白
12-14 1294
基础设置 队列选择 yarn队列分配，选择合适的队列进行运行，避免都在同一个繁忙的队列中运行。 SET mapreduce.job.queuename=xx; 控制mapper&reducer数目 合理控制文件切分的各种参数，使Mapper和Reducer数目达到一个合适的值，可以加快处理速度。 // HiveInputFormat文件格式 # 文件分割最大大小 set mapreduce.input.fileinputformat.split.maxsize=536870912; # 文件分割最
hive on tez 常见报错问题收集
01-26
为了解决这个问题，可以尝试增加`hive.localize.resource.num.wait.attempts`的属性值，将其从默认的5提升到如25这样的更高数值。 2. 错误二：Java heap space OutOfMemoryError 当遇到Java堆空间溢出错误时，这...
Hive常见面试题整理（更新中）
okbin1991的博客
10-19 401
1.Hive数据倾斜问题。数据倾斜：数据倾斜主要表现在，map/reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多(有时是百倍或者千倍之多)，这条Key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完。 产生原因：1)key分布不均匀  ...
hive中的常见参数配置
博客标题咋不能为空
07-11 328
当run数据量比较大的任务时，调整一些默认的参数，可以尽量避免OOM，以下就是我在工作中经常遇到的问题。set mapred.job.name=your_job_name;这个参数是设置你的任务的名字，以方便你查找任务的状态。我所做的单位，hadoop集群上的任务非常繁重，所以未冠名的临时查询，都回被kill掉，这真是非常无语。set mapred.job.priority=VERY_HIGH;这...
hive参数优化总结
06-20
本文档主要总结了hive的参数优化，对hive的理解具有一定的作用
hive 配置文件
03-03
hive 配置文件，包括hive-site.xml与hive-env.sh两个配置文件，可根据自己需要修改
Hive配置属性
tianhouquan的专栏
09-05 1253
Hive配置属性 原文路径：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-HiveConfigurationProperties Hive配置属性 查询和DDL执行 SerDes和I / O. 串行解串器 I / O ...
Hive语句前的常见设置
ydq1206的博客
12-04 597
1.hive.cli.print.header=true 是否显示查询结果的列名，默认为不显示 2.set hive.exec.parallel=true; 参数控制在同一个sql中的不同的job是否可以同时运行,默认为false. 3.hive.map.aggr=true 决定是否可以在 Map 端进行聚合操作，从而减轻清洗阶段数据传输和Reduce阶段的执行时间
Hive--常见属性配置
Mr_huang的博客
10-26 248
文章目录Hive常见属性配置1、Hive数据仓库位置配置2、查询后信息显示配置3、Hive运行日志信息配置4 、参数配置方式 Hive常见属性配置 1、Hive数据仓库位置配置 Default数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse路径下。 在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数据仓库目录...
application.yml与bootstrap.yml的区别
灼烧的疯狂
09-24 2223
Spring Boot 默认支持 properties(.properties) 和 YAML(.yml .yaml ) 两种格式的配置文件，yml 和 properties 文件都属于配置文件，功能一样。 Spring Cloud 构建于 Spring Boot 之上，在 Spring Boot 中有两种上下文，一种是 bootstrap，另外一种是 application，下面列举这两种配置文件的区别 加载顺序 若application.yml 和boot...
Hive一些常用配置【持续更新】
Python_Billy的博客
03-27 248
<!--是否以本地模式启动，默认false--> <property> <name>hive.exec.mode.local.auto</name> <value>false</value> </property> <!--让提示符显示当前库，默认false--> <property> <name>hive.cli.print.current.db</name> &l
HIVE配置总结
人工智能之路
07-16 274
一、客户端与服务器 1、前台运行 （服务端）执行某个hive处于bin/hiveserver2 （客户端）另一个电脑 !connect jdbc:hive2://hadoop15:10000 （hadoop15是传集群的那台计算机） 2、后台运行 nohub bin/hiveserver2 1>/dev/null 2>&1 & (1代表正确的，2代表错误。信息都写...
Hive常见属性详细配置
@小刘同学nice
05-13 439
Hive数据仓库位置配置 Default数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse路径下。 在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹。 修改default数据仓库原始位置（将hive-default.xml.template如下配置信息拷贝到hive-site.xml文件中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值