hadoop学习笔记--9.hive初识

本文介绍了Hive作为基于Hadoop的数据仓库基础架构的功能与特点,包括其提供的类SQL查询功能,适用于大规模数据的存储、查询与分析。文章还探讨了Hive的应用场景,如日志分析、多维度数据分析及海量结构化数据的离线分析。
一、hive基本介绍


  Hive 是建立在 Hadoop 基础上的数据仓库基础构架,可以将结构化的数据文件映射为一张数据库表。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
hive由facebook开源,最初用于解决海量结构化的日志数据统计问题;数据计算使用MR,数据存储使用HDFS(可以与hbase集合),运行在yarn之上。可认为是一个HQL->MR的语言翻译器。

数据仓库
  数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制,简而言之,数据仓库是用来做查询分析的数据库,基本不用来做插入,修改,删除。

二、hive应用场景

  1. 日志分析

      统计网站一个时间段内的pv、 uv
       多维度数据分析、
       大部分互联网公司使用Hive进行日志分析,包括百度、淘宝等

  2. 海量结构化数据离线分析

  3. 低成本进行数据分析(不直接编写MR)

  4. Hive的执行延迟比较高,因此hive常用于数据分析的,对实时性要求不高的场合;

  5. Hive优势在于处理大数据,对于处理小数据没有优势。

三、hive特点


不足

  1.  Hive的HQL表达的能力有限

     迭代式算法无法表达
     有些复杂运算用HQL不易表达

  2.  Hive效率不高

     Hive自动生成MapReduce作业,通常不够智能
     HQL调优困难,粒度较粗
     可控性差

优势
   操作接口采用类SQL语法,提供快速开发的能力(简单、容易上手
   避免了去写MapReduce,减少开发人员的学习成本
   统一的元数据管理,可与impala/spark等共享元数据
   易扩展(HDFS+MapReduce:可以扩展集群规模;支持自定义函数)

四、hive系统架构


这里写图片描述

客户端组件
  1. 命令行接口(CLI)(hive shell)(最常用)
  2. Web界面
  3. hive应用(JDBC/ODBC/Thrift)(java访问hive)

驱动程序
  该组件包括Complier、Optimizer和Executor,它的作用是将我们写的HiveQL(类SQL)语句进行解析、编译优化,生成执行计划,然后调用底层的mapreduce计算框架。

元数据存储
  元数据服务组件,这个组件存储hive的元数据,hive的元数据存储在关系数据库里,hive支持的关系数据库有derby、mysql。元数据对于hive十分重要,因此hive支持把metastore服务独立出来,安装到远程的服务器集群里,从而解耦hive服务和metastore服务,保证hive运行的健壮性。默认存储在自带的数据库derby中,线上使用时一般换为MySQL。元数据包括:表名、表所属的数据库(默认是default)、表的拥有者、列/分区字段、表的类型(是否是外部表)、表的数据所在目录等;
  
Hadoop服务器

[root@hadoop01 ~]# ps -ef | grep HiveServer2 | grep -v grep root 15604 11956 6 22:32 pts/1 00:00:58 /export/servers/jdk1.8.0_161/bin/java -Dproc_jar -Dorg.slf4j.simpleLogger.defaultLogLevel=info -Dproc_hiveserver2 -Dlog4j2.formatMsgNoLookups=true -Dlog4j.configurationFile=hive-log4j2.properties -Djava.util.logging.config.file=/export/servers/apache-hive-3.1.3-bin/conf/parquet-logging.properties -Dyarn.log.dir=/export/servers/hadoop-3.3.5/logs -Dyarn.log.file=hadoop.log -Dyarn.home.dir=/export/servers/hadoop-3.3.5 -Dyarn.root.logger=INFO,console -Djava.library.path=/export/servers/hadoop-3.3.5/lib/native -Xmx256m -Dhadoop.log.dir=/export/servers/hadoop-3.3.5/logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/export/servers/hadoop-3.3.5 -Dhadoop.id.str=root -Dhadoop.root.logger=INFO,console -Dhadoop.policy.file=hadoop-policy.xml -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.util.RunJar /export/servers/apache-hive-3.1.3-bin/lib/hive-service-3.1.3.jar org.apache.hive.service.server.HiveServer2 root 15828 10065 2 22:35 pts/0 00:00:15 /export/servers/jdk1.8.0_161/bin/java -Dproc_jar -Dorg.slf4j.simpleLogger.defaultLogLevel=info -Dproc_hiveserver2 -Dlog4j2.formatMsgNoLookups=true -Dlog4j.configurationFile=hive-log4j2.properties -Djava.util.logging.config.file=/export/servers/apache-hive-3.1.3-bin/conf/parquet-logging.properties -Dyarn.log.dir=/export/servers/hadoop-3.3.5/logs -Dyarn.log.file=hadoop.log -Dyarn.home.dir=/export/servers/hadoop-3.3.5 -Dyarn.root.logger=INFO,console -Djava.library.path=/export/servers/hadoop-3.3.5/lib/native -Xmx256m -Dhadoop.log.dir=/export/servers/hadoop-3.3.5/logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/export/servers/hadoop-3.3.5 -Dhadoop.id.str=root -Dhadoop.root.logger=INFO,console -Dhadoop.policy.file=hadoop-policy.xml -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.util.RunJar /export/servers/apache-hive-3.1.3-bin/lib/hive-service-3.1.3.jar org.apache.hive.service.server.HiveServer2 root 16374 11956 14 22:41 pts/1 00:00:59 /export/servers/jdk1.8.0_161/bin/java -Dproc_jar -Dorg.slf4j.simpleLogger.defaultLogLevel=info -Dproc_hiveserver2 -Dlog4j2.formatMsgNoLookups=true -Dlog4j.configurationFile=hive-log4j2.properties -Djava.util.logging.config.file=/export/servers/apache-hive-3.1.3-bin/conf/parquet-logging.properties -Djline.terminal=jline.UnsupportedTerminal -Dyarn.log.dir=/export/servers/hadoop-3.3.5/logs -Dyarn.log.file=hadoop.log -Dyarn.home.dir=/export/servers/hadoop-3.3.5 -Dyarn.root.logger=INFO,console -Djava.library.path=/export/servers/hadoop-3.3.5/lib/native -Xmx256m -Dhadoop.log.dir=/export/servers/hadoop-3.3.5/logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/export/servers/hadoop-3.3.5 -Dhadoop.id.str=root -Dhadoop.root.logger=INFO,console -Dhadoop.policy.file=hadoop-policy.xml -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.util.RunJar /export/servers/apache-hive-3.1.3-bin/lib/hive-service-3.1.3.jar org.apache.hive.service.server.HiveServer2 [root@hadoop01 ~]# [root@hadoop01 ~]# # 检查端口监听状态 (10000/10001) [root@hadoop01 ~]# sudo netstat -tulnp | grep -E '10000|10001' tcp6 0 0 :::10001 :::* LISTEN 16374/java [root@hadoop01 ~]#
最新发布
06-18
<think>我们面临的核心问题是:HiveServer2端口监听异常和Beeline连接失败。具体表现为:-端口10001监听正常,可通过`jdbc:hive2://localhost:10001`连接-端口10000未监听,且`jdbc:hadoop01://hadoop01:10000`连接失败(注意:这里连接字符串格式错误)根据引用[1]的说明,HiveServer2的默认端口是10000,且绑定主机默认为localhost。但用户配置中显示10001端口监听正常,而10000端口未监听,说明可能有两个问题:1.10000端口的服务未启动或启动失败2.10000端口的服务绑定到了其他主机(如localhost)导致外部无法访问同时,用户尝试连接10000端口时使用了错误的JDBCURL格式:`jdbc:hadoop01://hadoop01:10000`,正确格式应为`jdbc:hive2://hadoop01:10000`。因此,解决方案分为两部分:A.修复10000端口的监听问题B.使用正确的JDBCURL格式具体步骤:###A.修复HiveServer210000端口监听问题####1.检查HiveServer2配置关键配置项(位于`hive-site.xml`):-`hive.server2.thrift.port`:指定监听端口(默认10000)-`hive.server2.thrift.bind.host`:指定绑定的主机(默认为localhost,需改为0.0.0.0或具体IP)查看当前配置:```bash#进入Hive配置目录,查看hive-site.xmlcd$HIVE_HOME/confgrep-A1&#39;hive.server2.thrift.port&#39;hive-site.xmlgrep-A1&#39;hive.server2.thrift.bind.host&#39;hive-site.xml```若未配置`hive.server2.thrift.bind.host`或配置为localhost,则外部无法访问。需要修改为服务器IP或0.0.0.0(不推荐,存在安全风险)。修改配置示例(在hive-site.xml中添加或修改):```xml<property><name>hive.server2.thrift.port</name><value>10000</value></property><property><name>hive.server2.thrift.bind.host</name><value>hadoop01</value><!--或具体IP,如192.168.xxx.xxx--></property>```####2.重启HiveServer2服务先停止原有进程(注意:用户已有多个HiveServer2进程,可能是重复启动):```bash#查找所有HiveServer2进程ps-ef|grepHiveServer2|grep-vgrep|awk&#39;{print$2}&#39;|xargskill-9```然后重新启动:```bash#启动HiveServer2(确保使用修改后的配置)hive--servicehiveserver2&```####3.验证端口监听```bashnetstat-tuln|grep10000```期望输出:```bashtcp600:::10000:::*LISTEN```如果仍然没有监听,检查日志(位于`/tmp/root/hive.log`或配置的日志目录)排查启动错误。###B.使用正确的JDBCURL连接用户之前的错误连接字符串:`jdbc:hadoop01://hadoop01:10000`,正确格式应为:```bashbeeline-u"jdbc:hive2://hadoop01:10000"```注意:`hadoop01`必须是网络中可解析的主机名(或使用IP地址),且防火墙允许10000端口(之前已确认FirewallD未运行,故无需额外配置)。###C.10001端口与10000端口的关系根据用户环境,10001端口已经正常监听,且可以通过localhost连接。这说明可能有两个HiveServer2实例分别运行在10000和10001端口?但用户实际只有一个服务在运行(从进程数量看有多个,可能是重复启动)。建议:统一使用一个端口(如10000),并确保配置正确。###D.连接测试使用正确格式的URL连接10000端口:```bashbeeline-u"jdbc:hive2://hadoop01:10000"```如果连接失败,检查:-服务端日志(HiveServer2启动日志)-网络连通性(从客户端到服务器10000端口):`telnethadoop0110000`-服务器防火墙(虽然之前显示未运行,但需确认)###总结步骤1.**修改配置**:将`hive.server2.thrift.bind.host`设置为服务器IP(非localhost),端口按需设置(10000)。2.**重启服务**:先杀掉所有HiveServer2进程,再启动一个实例。3.**验证监听**:使用`netstat`确认端口监听在正确的主机和端口。4.**正确连接**:使用`jdbc:hive2://hadoop01:10000`格式连接。###附加说明:多个HiveServer2进程问题用户通过`ps-ef|grepHiveServer2`查看到多个进程,这可能是重复启动导致。确保只启动一个HiveServer2服务,否则会造成端口冲突。建议:使用服务管理脚本或进程管理工具(如`nohup`)来启动和停止服务。###相关问题1.如何配置HiveServer2的高可用?2.HiveServer2的日志文件在哪里查看?3.如何为HiveServer2配置Kerberos认证?4.Beeline连接时出现"User:rootisnotallowed"错误如何解决?5.如何优化HiveServer2的并发性能?引用说明:[^1]:HiveServer2的端口和绑定主机配置说明</think>### 排查与解决 HiveServer2 端口监听及 Beeline 连接问题 #### 1. **端口监听异常分析** 根据您的日志显示: - 端口 10001 正常监听:`tcp6 :::10001 :::* LISTEN` - 端口 10000 **未监听**(`netstat` 无输出) - 存在多个 HiveServer2 进程(PID 15604, 15828, 16374),可能导致端口冲突 **根本原因**: HiveServer2 默认监听 10000 端口,但您的配置可能被修改为 10001(引用[1])。多个进程竞争同一端口会导致监听异常。 #### 2. **Beeline 连接失败原因** - ✅ `jdbc:hive2://localhost:10001` 成功: 连接的是本机 10001 端口(HiveServer2 实际监听端口) - ❌ `jdbc:hadoop01://hadoop01:10000` 失败: - **协议错误**:JDBC URL 格式应为 `jdbc:hive2://` 而非 `jdbc:hadoop01://` - **端口错误**:10000 端口未监听 - **主机名解析问题**:`hadoop01` 可能未正确解析为 IP #### 3. **解决方案** ##### 步骤 1:统一 HiveServer2 端口配置 修改 `hive-site.xml` 确保端口一致: ```xml <!-- 强制指定端口为10000 --> <property> <name>hive.server2.thrift.port</name> <value>10000</value> <!-- 统一使用10000 --> </property> <!-- 绑定服务器真实IP(非localhost) --> <property> <name>hive.server2.thrift.bind.host</name> <value>hadoop01</value> <!-- 或服务器实际IP --> </property> ``` ##### 步骤 2:终止冲突进程并重启服务 ```bash # 终止所有HiveServer2进程 pkill -f HiveServer2 # 单实例启动HiveServer2(避免端口冲突) hive --service hiveserver2 \ --hiveconf hive.server2.thrift.port=10000 \ --hiveconf hive.server2.thrift.bind.host=hadoop01 & ``` ##### 步骤 3:验证端口监听 ```bash netstat -tuln | grep -E &#39;10000|10001&#39; ``` 期望输出: `tcp6 0 0 :::10000 :::* LISTEN` ##### 步骤 4:使用正确的 JDBC URL 连接 ```bash # 连接10000端口(协议+主机名+端口) beeline -u "jdbc:hive2://hadoop01:10000" # 或直接使用IP(避免DNS问题) beeline -u "jdbc:hive2://192.168.xxx.xxx:10000" ``` #### 4. **关键配置说明** | 配置项 | 推荐值 | 作用 | |--------|--------|------| | `hive.server2.thrift.port` | 10000 | 统一服务端口 | | `hive.server2.thrift.bind.host` | hadoop01 | 绑定服务器主机名 | | `hive.metastore.uris` | thrift://hadoop01:9083 | Metastore 服务地址 | #### 5. **连接成功验证** ```bash [root@hadoop01 ~]# beeline -u "jdbc:hive2://hadoop01:10000" Connecting to jdbc:hive2://hadoop01:10000 Connected to: Apache Hive (version 3.1.3) Driver: Hive JDBC (version 3.1.3) 0: jdbc:hive2://hadoop01:10000> SHOW DATABASES; +----------------+ | database_name | +----------------+ | default | +----------------+ ``` ### 相关问题 1. HiveServer2 如何配置高可用(HA)模式? 2. Beeline 连接时出现 "Authentication Error" 如何解决? 3. 如何优化 HiveServer2 的线程池参数(如 `hive.server2.thrift.max.worker.threads`)?[^1] 4. 防火墙未运行(FirewallD not running)是否存在安全风险? 5. 如何通过 HiveServer2 日志定位连接失败的根本原因? [^1]: HiveServer2 的线程池配置参数说明 [^2]: SLF4J 绑定冲突可能导致日志记录异常 [^3]: HDFS 配置文件路径需在 Hive 中正确引用
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值