L缶神的博客

Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。本质是：将 HQL 转化成 MapReduce 程序1）Hive 处理的数据存储在 HDFS2）Hive 分析数据底层的默认实现是 MapReduce3）执行程序运行在 Yarn 上1．用户接口：ClientCLI（hive shell）、JDBC/ODBC(java 访问 hive)、WEBUI（浏览器访问 hive）2．

后台启动Hive的JDBC连接0表示标准输入，1表示标准输出，2表示标准错误输出，nohup表示挂起，&表示后台启动nohup hive --service hiveserver2 > /usr/local/soft/hive-3.1.2/log/hiveserver2.log 2>&1 &关闭后台启动的jdbc用jps查看RunJob，使用kill -9 关闭RunJob对应的进程号Hive中的wordcount实例使用后台启动hive的jdb

一、开启HIVE中分区表支持中文字段 1.根据HIVE开启分区支持中文.txt中的操作步骤去MySQL中执行，修改HIVE元数据库中的编码格式 2. 插入数据INSERT INTO TABLE filetest.partition_student PARTITION(gender="女生") SELECT "1500100002","吕金鹏",24,"文科六班"二、分区表操作特点： 分区表与其他表不同点在于，分区字段的值为表目录下的子目录格式为: 分区字段...

一、测试几种存储格式：1. mkdir /usr/local/soft/hive-3.1.2/data/2. 上传数据至data目录中3.创建TEXTFILE学生信息表create table students( id bigint comment '学生id', name string comment '学生姓名', age int comment '学生年龄', gender string comment '学生性别', clazz string commen...

一、前提：安装hive所需要的虚拟机环境为虚拟机安装有Hadoop并且集群成功，同时Hadoop需要在启动状态下，同时需要安装有mysql。不需要有zookeeper和HA，由于HA中含有大量进程，启动会占用很多资源，建议不要有HA二、安装步骤：1、上传jar包至/usr/local/soft将hive-3.1.2上传到虚拟机中的/usr/local/soft目录下2、解压并重命名tar -zxvf apache-hive-3.1.2-bin.tar.gz# 重命名mv ap