Java日常笔记精选的博客

wiki：https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration1.在hive的配置文件中添加hbase的zk地址2.确保hive/lib下存在hive-hbase-handler-x.y.z.jar3.创建hive表和Hbase表的映射关系内部表和外部表的区别：内部表：当hbase中...

CREATE [EXTERNAL] TABLE <table_name> (<col_name> <data_type> [, <col_name> <data_type> ...])] [PARTITIONED BY ...] CLUSTERED BY (<col_name>) ...

order by 全排序order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。set hive.mapred.mode=nonstrict; (default value / 默认值)set hive.mapred.mode=strict;order by 和数据...

1.执行Hive命令的时候报错FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaSto...

1.每个join都会启动一个mapreduce如果连接字段是同一个字段，则会进入同一个reduce2.hive会默认最后一个表为数据量最大的表，所以会将前面的表进行缓存所以进行连接查询的时候，将表从小到大连接3.如果查询中不想将大表放到最后，可以使用查询暗示，指定哪张表示最大的select /* +streamtable(c) */ c.id,c.namefr...

不是用mr查询的Job就是本地Job避免产生MR的三种方式：1.全表扫描,不加where子句2.where子句只有分区字段3.设置hive.exec.mode.local.auto=truehive会尽量使用本地模式查询其余的所有查询都会转换成mr...

1.加载数据到表中LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]2.查看表信息//只有简单的信息desc database.tablename//格式化后的详细信息desc formatt...

1.启动hiveserver22.代码实现import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import org.junit.After...

建表有三种方式： 1.直接建表法create table table_name(col_name data_type); 也可以自己指定表结构参数，指定字段终止符和行终止符和存储在HDFS上的文件格式hive> CREATE TABLE IF NOT EXISTS employee ( eid int, name String, > sala...

1.eclipse创建项目2.引入hive jar包 将hive/lib下的所有jar包引入3.修改Hive-site.xml配置 使用OS操作系统的认证方式[hive-site.xml]<!-- 调度Yarn的时候是否以Hive用户身份，false已Hive默认用户身份,true以访问用户 --><!-- 为true时报错 -->...

1.安装mysql2.登录mysql，创建数据库create database myhive;3.修改hive/conf/hive-site.xml文件，配置Mysql驱动和连接信息<property> <name>javax.jdo.option.ConnectionDriverName</name> <value...

安装：----------------------------------------------1.安装JDK和HADOOP2.官网下载稳定版3.解压到/soft/下tar -xzvf apache-hive.tar /soft/4.为了方便管理，建立伪链接 ln -s hive.xxx hive5.配置环境变量#编辑环境变量v...

1.数据仓库软件2.存储，重在分析，延迟高3.使用SQL来读，写，管理驻留在分布式存储系统大型数据集，可以使用命令行和Driver链接到Hive4.运行在hadood之上，用来汇集查询数据 OLAP: online analyze process不是： 关系型数据库 OLTP 不适合实时查询和底层更新操作特点： ...