Hive常见属性配置总结

最新推荐文章于 2024-09-28 22:37:52 发布
原创 最新推荐文章于 2024-09-28 22:37:52 发布 · 650 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mapreduce #hdfs #hadoop #大数据 #hive

本文总结了Hive的配置要点，包括数据仓库位置的修改、权限配置、查询结果显示以及日志管理。Hive配置遵循就近原则，如通过java api或shell客户端操作时，不同层级的配置有不同的优先级。数据仓库默认位于/user/hive/warehouse，可通过修改hive-site.xml调整。日志默认存储在用户目录下，可通过修改hive-log4j.properties指定日志路径。配置参数可通过配置文件、命令行或HQL SET关键字设定，命令行参数和HQL SET具有更高的优先级。

Hive常见属性配置总结

1.概述

  1. 和其他所有框架一样，hive的配置信息也是划分层级的，就近原则
  2. 如果是使用java api进行操作，则代码中配置优先级最高，然后是java项目中配置文件，然后是hive安装目录中的配置文件
  3. 如果是shell 客户端进行操作，则hive指令中参数优先级最高，然后是shell客户端启动时的配置信息，然后是hive安装目录中配置。

2. 具体配置

  1. Hive数据仓库位置配置
  1. Default数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse路径下。
    在这里插入图片描述

  1. 在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹。

  2. 修改default数据仓库原始位置（将hive-default.xml.template如下配置信息拷贝到hive-site.xml文件中）。

<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse
最低0.47元/天 解锁文章
Hive常见属性配置--数据仓库位置、hive.cli查询后信息显示、运行日志信息、参数配置的方式
Jalen big data analysis的博客
12-03 878
1、hive数据仓库位置配置；Default 数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse 路径下。 2、hive.cli查询后信息显示 配置；实现显示当前数据库，及查询表的头信息配置。 3、 Hive的log默认存放在/tmp/hdp/hive.log目录下（当前用户名下）。 4、3种参数配置的方式（修改配置文件、启动命令时添加hive -hiveconf param=value、启动和后set 临时赋值修改）
hive的常见属性配置
mo
06-07 317
#Hive数据仓库位置配置 1.在/opt/module/hive/conf/hive-site.xml文件中添加如下配置信息，就可以实现显示当前数据库，以及查询表的头信息配置。 <property> <name>hive.cli.print.header</name> <value>true</value> </property> <property> <name>hive.cli.print.curr
Hive常见属性配置
now
01-21 301
1 hive原始数据仓库的配置 1.1hive原始数据仓库配置默认在（/user/hive/warehouse下）hive/conf/hive-default.xml.templa 1.2查看数据仓库位置 2.hive在default数据库下或者未指定数据库下创建的表默认会在/user/hive/warehouse中 3.实现显示当前数据库，以及查询表的头信息配置。在hive-site.xml文件中添加如下配置信息。 <property> <name>hiv
Hive常见的属性配置
栗筝i的博客
07-22 3330
配置文件 默认配置文件：hive-default.xml 用户自定义配置文件：hive-site.xml 用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效。 1、default数据仓库原始位置 <property> <name>hive.metastore.warehouse.dir</name> <value
hive参数优化总结
06-20
本文档主要总结了hive的参数优化，对hive的理解具有一定的作用
Hive常见属性配置方法
etastgrehyjrt的博客
04-24 2114
Hive中常见属性的配置方法
Hive命令及属性配置
优快云2022博客之星Top39；华为云博主7&，优快云、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
09-28 1421
Hive命令及属性配置
Hive常见调优总结
进击的数据小白
12-14 1382
基础设置 队列选择 yarn队列分配，选择合适的队列进行运行，避免都在同一个繁忙的队列中运行。 SET mapreduce.job.queuename=xx; 控制mapper&reducer数目 合理控制文件切分的各种参数，使Mapper和Reducer数目达到一个合适的值，可以加快处理速度。 // HiveInputFormat文件格式 # 文件分割最大大小 set mapreduce.input.fileinputformat.split.maxsize=536870912; # 文件分割最
Hive常用配置
weixin_43497444的博客
03-11 469
（1）设置reduce个数 set mapreduce.job.reduces （2）导入数据到分桶表配置 hive （default）> set hive.enforce.bucketing=true; hive （default）> set mapreduce.job.reduces=-1 （3）开启hive中间传输数据压缩功能 hive （default）>set hi...
hive中的常见参数配置
博客标题咋不能为空
07-11 376
当run数据量比较大的任务时，调整一些默认的参数，可以尽量避免OOM，以下就是我在工作中经常遇到的问题。set mapred.job.name=your_job_name;这个参数是设置你的任务的名字，以方便你查找任务的状态。我所做的单位，hadoop集群上的任务非常繁重，所以未冠名的临时查询，都回被kill掉，这真是非常无语。set mapred.job.priority=VERY_HIGH;这...
Hive配置属性
tianhouquan的专栏
09-05 1404
Hive配置属性 原文路径：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-HiveConfigurationProperties Hive配置属性 查询和DDL执行 SerDes和I / O. 串行解串器 I / O ...
Hive语句前的常见设置
ydq1206的博客
12-04 665
1.hive.cli.print.header=true 是否显示查询结果的列名，默认为不显示 2.set hive.exec.parallel=true; 参数控制在同一个sql中的不同的job是否可以同时运行,默认为false. 3.hive.map.aggr=true 决定是否可以在 Map 端进行聚合操作，从而减轻清洗阶段数据传输和Reduce阶段的执行时间
Hive--常见属性配置
Mr_huang的博客
10-26 280
文章目录Hive常见属性配置1、Hive数据仓库位置配置2、查询后信息显示配置3、Hive运行日志信息配置4 、参数配置方式 Hive常见属性配置 1、Hive数据仓库位置配置 Default数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse路径下。 在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数据仓库目录...
application.yml与bootstrap.yml的区别
灼烧的疯狂
09-24 2271
Spring Boot 默认支持 properties(.properties) 和 YAML(.yml .yaml ) 两种格式的配置文件，yml 和 properties 文件都属于配置文件，功能一样。 Spring Cloud 构建于 Spring Boot 之上，在 Spring Boot 中有两种上下文，一种是 bootstrap，另外一种是 application，下面列举这两种配置文件的区别 加载顺序 若application.yml 和boot...
Hive一些常用配置【持续更新】
Python_Billy的博客
03-27 293
<!--是否以本地模式启动，默认false--> <property> <name>hive.exec.mode.local.auto</name> <value>false</value> </property> <!--让提示符显示当前库，默认false--> <property> <name>hive.cli.print.current.db</name> &l
HIVE配置总结
人工智能之路
07-16 299
一、客户端与服务器 1、前台运行 （服务端）执行某个hive处于bin/hiveserver2 （客户端）另一个电脑 !connect jdbc:hive2://hadoop15:10000 （hadoop15是传集群的那台计算机） 2、后台运行 nohub bin/hiveserver2 1>/dev/null 2>&1 & (1代表正确的，2代表错误。信息都写...
Hive常见属性详细配置
@小刘同学nice
05-13 473
Hive数据仓库位置配置 Default数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse路径下。 在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹。 修改default数据仓库原始位置（将hive-default.xml.template如下配置信息拷贝到hive-site.xml文件中...
hive表属性有哪些
最新发布
02-28
总结一下，Hive表属性大致可以分为： 1. 存储相关属性（格式、位置、压缩） 2. 结构优化属性（分区、分桶） 3. 元数据属性（注释、创建信息） 4. 序列化与反序列化（SERDE） 5. 表类型（外部表、内部表、临时表） 6....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值