hive环境的.bashrc文件

最新推荐文章于 2021-11-23 22:53:32 发布
最新推荐文章于 2021-11-23 22:53:32 发布 · 206 阅读 · 0
文章标签：

#大数据

本文深入探讨了如何在每次执行Hive SQL查询之前，通过在特定配置文件中添加命令实现自动化操作，以提高数据处理效率。主要关注.hiverc文件的应用，解释其位置变化，并提供实例指导。
hive有类.bashrc的文件.hiverc。似如果需要在每次执行hql之前执行一些命令，可以写在$HIVE_CONF_DIR/.hiverc文件中。hive 0.10之前，这个文件文件位于$HIVE_HOME/bin/。
iteye_6434
关注
【环境安装】Hive2.x
rakuphone的博客
11-27 233
0. Hive源码包下载 http://mirror.bit.edu.cn/apache/hive/ 1. 下载软件包 wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.3/apache-hive-2.3.3-bin.tar.gz tar zxvf apache-hive-2.3.3-bin.tar.gz 2. 创建HDFS目录 hadoop fs -mkdir -p /data/hive/warehouse hadoop fs -mkdir
Hadoop+Hive环境的搭建
小龙
02-07 8950
Hadoop+Hive环境的搭建，在这儿我就不一一介绍Hadoop和Hive了，直接进入正题1. 准备工作：Hadoop，Hive二进制文件下载路径，在这儿我只直接下载的编译好的二进制文件，这样我们直接解压就可以使用了（省去自己编译的过程），里面有很多下载路径。Hive：http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/（注意下载二进制包） Had
Hive
我只是一个简单的Coder，为了兴趣和理想奋斗在生活的道路上
03-06 333
神马是Hive？　　Hive 是建立在 Hadoop 基础上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL  查询语言，称为 QL ，它允许熟悉 SQL  的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper  和 ...
hive mysql本地配置文件_hive本地模式配置
weixin_29649047的博客
01-19 413
连接mysql数据库--hive2.1.1+hadoop2.7.3+mysql5.7.18注意版本一定要对！1、环境的基本说明本文使用的安装unbuntu18.04(64位)环境，机器名为hadoop。hadoop2.7.3 ： 安装配置第1步：验证JAVA安装在Hive安装之前，Java必须在系统上已经安装。使用下面的命令来验证是否已经安装Java：$ java –version如果Java已经...
.bashrc作用及其他配置文件（后面补充）
u011495642的博客
10-25 553
gedit ~/.bashrc              // .bashrc 用于保存个性化设置，保存本用户的别名、路径等。 source ~/.bashrc          //使修改生效  
Hive的安装和配置详解
汐 朔
05-15 2041
Hive的安装和配置详解 转自：http://hi.baidu.com/loveq369/item/55a9aba1c3b1effe15329b85 一直使用别人装好的Hive，想自己安装个Hive，在网上找了很多配置文档，都写的太简单了，于是自己摸索了下，记录在这里。 1. 安装Hive之前必须先安装好Hadoop，单机的或者集群都可以。 　 因为Hive是基于hadoop的，它
hive笔记-hive配置及基本操作
weixin_42330675的博客
09-17 528
hive笔记  1、hive中涉及的概念：   1、hive介绍：    1、是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL）。    2、这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。（hql:hive query lan...
hadoop@tao-virtual-machine:~/桌面$ .bashrc .bashrc：未找到命令
05-08
通过补充和完善 `.bashrc` 配置、初始化 Hive Metastore 数据库以及加载必要的 JDBC 驱动，解决了用户在 Hadoop 和 Hive 环境下遇到的命令错误问题。这些措施不仅恢复了基本的功能支持，也为未来的扩展奠定了坚实的...
[root@master hive]# export HADOOP_HOME=/export/server/hadoop [root@master hive]# export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH [root@master hive]# vim ~/.bashrc bash: vim: 未找到命令 [root@master hive]# vi ~/.bashrc [root@master hive]# [root@master hive]# source ~/.bashrc [root@master hive]# hadoop version ERROR: Cannot execute /export/server/hadoop/libexec/hadoop-config.sh. [root@master hive]# hadoop version ERROR: Cannot execute /export/server/hadoop/libexec/hadoop-config.sh. [root@master hive]#
11-27
用户已手动设置 `$HADOOP_HOME` 和 `PATH` 环境变量，并编辑了 `~/.bashrc` 文件，但在执行 `hadoop version` 时提示错误：`ERROR: Cannot execute /export/server/hadoop/libexec/hadoop-config.sh`，说明 Hadoop ...
which: no hbase in (/export/servers/hadoop-3.1.3/bin:/export/servers/hadoop-3.1.3/sbin:/export/servers/apache-hive-3.1.3-bin/bin:/export/servers/hadoop-3.1.3/bin:/export/servers/hadoop-3.1.3/sbin:/export/servers/apache-hive-3.1.3-bin/bin:/export/servers/hadoop-3.1.3/bin:/export/servers/hadoop-3.1.3/sbin::/export/servers/hadoop-3.1.3/bin:/export/servers/hadoop-3.1.3/sbin:/usr/local/bin:/usr/local/sbin:/usr/bin:/usr/sbin:/bin:/sbin:/export/servers/jdk/bin:/root/bin) SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/export/servers/hadoop-3.1.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/export/servers/apache-hive-3.1.3-bin/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] Hive Session ID = a4cf2a4b-e071-4662-a486-37fd78804cf9 Logging initialized using configuration in file:/export/servers/apache-hive-3.1.3-bin/conf/hive-log4j2.properties Async: true 0 [a4cf2a4b-e071-4662-a486-37fd78804cf9 main] WARN org.apache.hadoop.hive.metastore.ObjectStore - datanucleus.autoStartMechanismMode is set to unsupported value null . Setting it to value: ignored 357 [a4cf2a4b-e071-4662-a486-37fd78804cf9 main] WARN com.zaxxer.hikari.util.DriverDataSource - Registered driver with driverClassName=org.apache.derby.jdbc.EmbeddedDriver was not found, trying direct instantiation. 545 [a4cf2a4b-e071-4662-a486-37fd78804cf9 main] WARN com.zaxxer.hikari.util.DriverDataSource - Registered driver with driverClassName=org.apache.derby.jdbc.EmbeddedDriver was not found, trying direct instantiation. 837 [a4cf2a4b-e071-4662-a486-37fd78804cf9 main] WARN org.apache.hadoop.hive.metastore.MetaStoreDirectSql - Self-test query [select "DB_ID" from "DBS"] failed; direct SQL is disabled javax.jdo.JDODataStoreException: Error executing SQL query "select "DB_ID" from "DBS"". at org.datanucleus.api.jdo.NucleusJDOHelper.getJDOExceptionForNucleusException(NucleusJDOHelper.java:543) at org.datanucleus.api.jdo.JDOQuery.executeInternal(JDOQuery.java:391) at org.datanucleus.api.jdo.JDOQuery.execute(JDOQuery.java:216) at org.apache.hadoop.hive.metastore.MetaStoreDirectSql.runTestQuery(MetaStoreDirectSql.java:276) at org.apache.hadoop.hive.metastore.MetaStoreDirectSql.<init>(MetaStoreDirectSql.java:184) at org.apache.hadoop.hive.metastore.ObjectStore.initializeHelper(ObjectStore.java:499) at org.apache.hadoop.hive.metastore.ObjectStore.initialize(ObjectStore.java:421) at org.apache.hadoop.hive.metastore.ObjectStore.setConf(ObjectStore.java:376) at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:77) at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:137) at org.apache.hadoop.hive.metastore.RawStoreProxy.<init>(RawStoreProxy.java:59) at org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy(RawStoreProxy.java:67) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.newRawStoreForConf(HiveMetaStore.java:720) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMSForConf(HiveMetaStore.java:698) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:692) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:769) at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:540) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.hive.metastore.RetryingHMSHandler.invokeInternal(RetryingHMSHandler.java:147) at org.apache.hadoop.hive.metastore.RetryingHMSHandler.invoke(RetryingHMSHandler.java:108) at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:80) at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:93) at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:8678) at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:169) at org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient.<init>(SessionHiveMetaStoreClient.java:94) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.apache.hadoop.hive.metastore.utils.JavaUtils.newInstance(JavaUtils.java:84) at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:95) at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:148) at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:119) at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:4306) at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:4374) at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:4354) at org.apache.hadoop.hive.ql.metadata.Hive.getAllFunctions(Hive.java:4610) at org.apache.hadoop.hive.ql.metadata.Hive.reloadFunctions(Hive.java:291) at org.apache.hadoop.hive.ql.metadata.Hive.registerAllFunctionsOnce(Hive.java:274) at org.apache.hadoop.hive.ql.metadata.Hive.<init>(Hive.java:442) at org.apache.hadoop.hive.ql.metadata.Hive.create(Hive.java:382) at org.apache.hadoop.hive.ql.metadata.Hive.getInternal(Hive.java:362) at org.apache.hadoop.hive.ql.metadata.Hive.get(Hive.java:331) at org.apache.hadoop.hive.ql.metadata.HiveMaterializedViewsRegistry.init(HiveMaterializedViewsRegistry.java:133) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:755) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:683) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.util.RunJar.run(RunJar.java:318) at org.apache.hadoop.util.RunJar.main(RunJar.java:232) NestedThrowablesStackTrace:为什么会出现这些，怎么解决
最新发布
11-29
可能是 HBase 没有正确安装，或者安装后没有将其可执行文件所在目录添加到 `PATH` 环境变量中。 - **解决办法**： - 首先确认 HBase 已经正确安装。可以通过查看 HBase 安装目录是否存在相关文件来验证。 - 若已...
ubuntu20.04安装Hive3.1.x
05-18
在.bashrc文件中添加以下环境变量： ``` export HIVE_HOME=/path/to/hive export PATH=$PATH:$HIVE_HOME/bin ``` 然后执行以下命令使环境变量生效： ``` source ~/.bashrc ``` 5. 配置Hive的metastore 在Hive中...
Hive安装配置与基础使用
sjlving123的博客
10-26 345
1.MySQL安装与配置 安装：先对mysql压缩文件解压，命令为tar -xvf MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar。然后用rmp命令来安装mysql服务器和命令行客户端，安装命令为rpm -ivh MySQL-server-5.6.26-1.linux_glibc2.5.x86_64.rpm和rpm -ivh MySQL-client-5.6.26-1.linux_glibc2.5.x86_64.rpm。在安装过程...
hive 引入第三方包（不重启）
weixin_30244681的博客
06-19 345
Jar放入${HIVE_HOME}/auxlib目录 在${HIVE_HOME}中创建文件夹auxlib，然后将自定义jar文件放入该文件夹中。 此方法添加不需要重启Hive。而且比较便捷。 连接方式 是否有效 Hive Shell 不需要重启Hive服务就有效 Hive Server 重启Hive服务才生效 转载于:https://www.cnblogs.com/s...
Hive部署及两种启动方式
Francis的博客
06-10 2001
Hive部署及两种启动方式0.导论Hive是什么？Facebook解决海量日志数据的分析而开发了Hive，后来开源给了Apache软件基金会。The Apache Hiv...
ubuntu设置环境变量
不积跬步,无以至千里;不集细流,无以成江海
05-05 787
 在ubuntu中有如下几个文件可以设置环境变量/etc/profile:在登录时,操作系统定制用户环境时使用的第一个文件,此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行./etc/environment:在登录时操作系统使用的第二个文件,系统在读取你自己的profile前,设置环境文件的环境变量~/.profile:在登录时用到的第三个文件是.profile文件,每个用户都
解决.bashrc文件每次打开终端都需要source的问题
lanhaics的专栏
04-03 2786
解决方法 vim ~/.bash_profile在文件内部输入 # 加载.bashrc文件 if test -f .bashrc ; then source .bashrc fi 在.bash_profile文件中自动加载.bashrc文件。 .bashrc文件与.bash_profile文件的区别 在研究二者区别之前，我们先了解两个概念login shell和no logi...
ubuntu下~/.bashrc和/etc/profile的区别
元气满满的小白
11-03 816
之前在centos7中配置环境变量是在/etc/prodile.d下配置，现在上课用的是ubuntu系统，配置的环境变量都是在~/.bashrc中，后来老师给了一个配置zookeeper的文档中又在/etc/profile下配置，故在网上搜索了一下两者之间的区别。 相同点：都可以储存环境变量 不同点： profile为 login shell （交互式shell），.bashrc为 non-...
ubuntu bashrc添加参数
04-24 821
1、$HOME/.bashrc $HOME的意思是你的home目录，一般是/home/xxx/，xxx是你的登陆用户名。 2、使用ls -a查看文件，这样会把所有的文件列出 3、vi .bashrc 打开文件，写入参数，并且保存 4、执行命令 source ~/.bashr...
Hadoop之Hive的安装配置（详细步骤）
大数据
11-23 8604
配置前准备 下载apache-hive-2.1.1-bin.tar.gz安装包并上传到XShell 在XShell上解压
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值