蒯厅博客

hive 错误信息beeline> !connect jdbc:hive2://hadoop2:10000Connecting to jdbc:hive2://hadoop2:10000Enter username for jdbc:hive2://hadoop2:10000: rootEnter password for jdbc:hive2://hadoop2:10000:22/05/19 14:30:23 [main]: WARN jdbc.HiveConnection: Faile

前提，保证hadopp集群正常运行。正式安装下载hive上传hive并解压到想要安装的目录下修改配置文件cp hive-log4j2.properties.template hive-log4j2.properties修改日志文件目录为 /usr/local/software/hive-3.1.2/logs/复制 hive-env.sh.template 为hive-env.sh 并修改复制 hive-default.xml.template 为hive-site.xml 并在尾部添

下载Tez：http://tez.apache.org/上下到Linux系统指定的目录，并解压到相应的目录下上传到HDFS 指定的目录上：解压：拷贝 tez-default-template.xml 到 hadoop 的etc/hadoop 下，并改名为tez-site.xml配置如下信息： <?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/x

报错信息：Caused by: java.lang.RuntimeException: org.xml.sax.SAXParseException; systemId: file:/opt/module/hadoop-2.7.2/etc/hadoop/tez-site.xml; lineNumber: 1; columnNumber: 1; Content is not allowed in prolog. at org.apache.hadoop.conf.Configuration.

Hive更换Tez计算引擎下载并解压Tez安装包下载地址https://mirrors.bfsu.edu.cn/apache/tez/0.9.2/解压[root@hadoop102 software]$ tar -zvxf apache-tez-0.9.2-bin.tar.gz -C /opt/module/# 对安装目录进行重命名(可选)[root@hadoop102 module]$ mv apache-tez-0.9.2-bin/ tez-0.9.2/1.2.2 将tez安装包上传

Hive 错误 Expression not in GROUP BY keyHive 支持基本的SQL , 但是 Hive 与 MySQL 还是有 些许区别的。其中在开始使用 Hive 的时候会遇到 Expression not in GROUP BY key 的错误，错误原因如下：问题原因在 Group by 子句中，Select 查询的列，要么需要是 Group by 中的列，要么得是用聚合函数（比如 sum、count 等）加工过的列。不支持直接引用非 Group by 的列。这一点和 M

建表语句：create external table student (id int,name string) row format delimited fields terminated by '\t' location '/input/student.txt';出错原因：localtion 后需要保存输入文件的文件夹而不是对应的文件FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

create table usrorder(order_id string,money string,create_time array<string>,user_id string,flag int) row format delimited fields terminated by '\t' collection items terminated by ' ' lines terminated by'\n';解析：create table usrorder :创建useorder..

错误信息：20/11/10 23:23:44 [main]: WARN jdbc.HiveConnection: Failed to connect to hadoop01:10000Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop01:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.

Exception in thread "main" java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D at org.apache.hadoop.hive.ql.session.SessionS.

hive1.2.1 启动报错Missing Hive Execution Jar:lib/hive-exec-*.jar解决办法：在 /etc/profile 文件中加入如下信息即可：export HIVE_HOME=/opt/module/hive-1.2.1export PATH=$PATH:$HIVE_HOME/bin出现如下标志说明启动成功：...

hive项目实战参考

hive学习参考

内部表先在hive中创建一张表，然后向这个表中插入数据（insert，通过加载文件）。这样的表成为hive的内部表。什么是内部表：先有hive表，在有数据。特点：当内部表被删除时，对应的hdfs中的数据也会被删除。外部表(实际开发中较为常用)HDFS文件系统中已存的文件，里面存储了一些数据，之后再有hive去管理。什么是外部表：先有数据，再有hive表。特点是：删除外部表的时候，表所对应的数据文件依然存在。小实验：在hdfs上面创建一个目录，并上传一个文件。进入hive，在hive中执行

安装hadoop，hive，启动hadoop 和hive：导入相关依赖： <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.2.1</version> </dependency&g

虚拟机中：启动:hiveserver2启动：beeline连接:hiveserver2创建Maven项目：引入依赖：<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.2.1</version> </depen

Hadoop的开发存在一定的问题hadoop早期仅支持java语言进行开发，如果c或其他方向语言的程序员希望使用hadoop进行数据开发时，存在一定的语言门槛，且需要对hadoop底层设计、工作原理及API有比较深的了解才能进行开发。Hive概述：Hive是Apache旗下的一个项目，基于Hadoop的一个数据仓库工具。可以将结构化数据文件映射成一张表，并提供完成的SQL查询功能，可以将sql语句直接转换成MapReduce任务进行处理。其优点是学习成本低，可以通过类SQl语句快速的实现MapR