九师兄

Hive 表关联查询，如何解决数据倾斜的问题？1）倾斜原因： map 输出数据按 key Hash 的分配到 reduce 中，由于 key 分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的 reduce 上的数据量差异过大。（ 1） key 分布不均匀;（ 2）业务数据本身的特性;（ 3）建表时考虑不周;（ 4）某些 SQL 语句本身就有数据倾斜;如何避免：对于 key 为空产生的数据倾斜，可以对其赋予一个随机值。2）解决方案（ 1）参数调节：有数据倾斜的时候进行负载均衡，当选项

1.概述flink 写 hive 分区表，parquet 格式，然后报错如下 Caused by: org.apache.parquet.hadoop.MemoryManager$1: New Memory allocation 1047165 bytes is smaller than the minimum allocation size of 1048576 bytes.官方文档翻了下，好像没找哪里可以进行parquet 的配置...

1.美图2.背景(base) lcc@lcc hadoop-2.7.4$ sh sbin/start-all.shThis script is Deprecated. Instead use start-dfs.sh and start-yarn.sh19/12/02 11:00:58 WARN util.NativeCodeLoader: Unable to load native-ha...

今天使用JDBC来操作Hive时，首先启动了hive远程服务模式：hiveserver2 &(表示后台运行)，然后到eclipse中运行程序时出现错误：Permission denied: user=anonymous, access=EXECUTE, inode=”/tmp”解决办法：报错内容提示hive没有/tmp目录的权限，赋予权限即可：hdfs dfs -chmod 777 ...

创建和删除角色 CREATE ROLE ROLE_NAME删除角色： DROP ROLE ROLE_NAME把role_test1角色授权给jayliu用户，命令如下 grant role role_test1 to user jayliu;查看jayliu用户被授权的角色，命令如下： SHOW ROLE GRANT user jayliu;取消jayliu用户的role_test1角色，...

看图：参考：https://blog.youkuaiyun.com/qq_21383435/article/details/83383674。参考：https://blog.youkuaiyun.com/qq_21383435/article/details/83313824。LDAP BaseDN填写的是具体用户的上一级，意思是属于people组的人都可以(以不同的用户名密码)登录hive。我们试试一个不存在LDAP中的用户试试,可以看到不能登录。可以看到我们输入LDAP配置的用户密码是可以登陆的。然后重启过时的服务。

1.不配置用户名密码beeline connect有几种方式，见hive-site.xml,缺省为NONE。<property> <name>hive.server2.authentication</name> <value>NONE&

Hive从2.0版本开始，为HiveServer2提供了一个简单的WEB UI界面，界面中可以直观的看到当前链接的会话、历史日志、配置参数以及度量信息。默认配置配置web ui 界面非常简单，两个参数： <property> <name>hive.server2.webui.host</name> <value>0.0.0.0&...

文章目录1. hadoop 压缩编码1.1 MR支持的压缩编码2、编码/解码器3、压缩性能的比较4、压缩配置参数1. hadoop 压缩编码1.1 MR支持的压缩编码压缩格式工具算法文件扩展名是否可切分DEFAULT无DEFAULT.deflate否GzipgzipDEFAULT.gz否bzip2bzip2bzip2.bz2是...

hive文件存储格式包括以下几类：TEXTFILESEQUENCEFILERCFILEORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；SEQUENCEFILE，RCFILE，ORCFILE格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中， 然后再从表中用i...

1.kerberos安装kerberos安装配置与使用：https://blog.youkuaiyun.com/qq_21383435/article/details/836252521. 生成 keytab

truncate删除hive的表能恢复吗0: jdbc:hive2://localhost:10014/default> create table test2 (id int,name string)row format delimited fields terminated by ','; 0: jdbc:hive2://localhost:10014/default> loa...

Exception in thread "main" java.lang.IllegalArgumentException: Unable to instantiate SparkSession with Hive support because Hive classes are not found. at org.apache.spark.sql.SparkSession$Builder.en...

hive cli中显示列名 进入hive cli后 set hive.cli.print.header=true;之后出现列名，但是带了表名前缀，由于网上没找到资料，于是到官网肉眼扫描所有参数，总算找到，给大家分享下。hive cli中，set hive.resultset.use.unique.column.names=false;需要永久生效，可写入配置文件中。...

这个错误通常由以下两个主要原因引起：Hive JDBC 驱动版本不兼容和客户端配置问题。修改hive的版本即可解决这个问题。

背景做hive+sentry授权1: jdbc:hive2://localhost:10000> !connect jdbc:hive2://localhost:10000Connecting to jdbc:hive2://localhost:10000Enter username for jdbc:hive2://localhost:10000: hiveEnter passw...

1. 查询用户权限查询用户去权限show grant user 用户名举例: jdbc:hive2://10.0.120.161:10000/default> show grant user root;+-----------+--------+------------+---------+-----------------+-----------------+----...

文章目录1. 架构原理介绍2.配置3. 检验是否在zookeeper上注册5. beeline连接6. 测试1. 架构原理介绍这里最主要的是利用了zk的命名空间，首先我们把两个hiserver2先后启动，注册到zk集群的，然后通过zk轮询做高可用，就是这么简单，下边详细讲解一下，安装配置第一步 在两台节点上安装hive，除了配置的ip不同，其他的都相同，并在hive-site.xml中添加如下配置2.配置<property> <name>spark.deplo

hive在建表是，可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式 例如：> CREATE EXTERNAL TABLE MYTEST(num INT, name STRING) > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' > STORED AS TEXTFILE > LOCATION '/data/test

hive分区的理解

一、关系运算：1. 等值比较: = 语法：A=B 操作类型：所有基本类型 描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： hive>select 1 from lxw_dual where 1=1; 12. 不等值比较: <> 语法: A <>

Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

先启动metastore服务: hive –service metastore

hive集群安装，连接mysql

问题1：端口占用启动情况如下lcc@lcc conf$lcc@lcc conf$ hive --service hiveserver2SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/Users/lcc/soft/hive/hive/lib/log4j-slf...

1.项目2.环境搭建必看:https://blog.youkuaiyun.com/qq_21383435/article/details/805986133.运行环境hadooplcc@lcc hadoop$ jps1329 RunJar5451219 RunJar980 SecondaryNameNode1093 ResourceManager791 NameNo...

昨天还好好的，今天问题突然变成这样子了lcc@lcc ~$ hive --service metastoreStarting Hive Metastore ServerSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/Users/lcc/soft/hive/hive/...

1.下载官网2.导入IDEA，进行编译mvn clean install -Phadoop-2,dist -DskinpTests -Dhadoop-23.version=2.7.1 -Dspark.version=1.4.1

1.下载官网：http://archive.apache.org/dist/hive/ 下载 2.2.0版本的2.导入IDEA，进行编译lcc@lcc apache-hive-1.2.2-src$ mvn clean install -Phadoop-2,dist -DskinpTests -Dhadoop-23.version=2.7.4 -Dspark.version=1...

1.首先刚刚下载的源代码，要先编译mac下hive-2.2.0-src版本的编译2.远程调试使用hive –debug启动hive远程调试模式，这个在hive的高版本中才支持此功能。 3.添加Remote这一点注意，我们是点击+号后出现的Remote不是default里面的remote（本人在这里掉坑里了） 这里注意填写，主机名和端口填写完成后，直接o...

1. metastore配置 &amp;lt;property&amp;gt; &amp;lt;name&amp;gt;hive.metastore.uris&amp;lt;/name&amp;gt; &amp;lt;value&amp;gt;thrift://111.121.21.23:9083&amp;lt;/value&amp;gt; &amp;lt;description&a

/Users/lcc/IdeaProjects/AllTest/data/hive/udf/littlebigdata.txtlcc,lcc@123.com,2-12-1981,209.191.139.200,M,10xjj,xjj@rsa.com,10-10-2004,10.10.10.1,M,50ser,ser@dfg.com,4-5-1974,64.64.5.1,F,2lcc@...

1.hadoop.2.6.0的安装参考：https://blog.youkuaiyun.com/qq_21383435/article/details/51691344 配置不变2.hive.1.2.2的安装1.提示hadoop.2.7.x的时候，$HADOOP_HOME/share/hadoop/yarn/lib/下已经没有jline-0.9.94.jar的jar包了，因为么有会造成错...

hive集群安装，连接mysql

创建表create table test2 (id int,name string)row format delimited fields terminated by ','; load本地数据到表load data local inpath &amp;amp;amp;amp;amp;amp;amp;quot;/inceptor1/tmp/bb.txt&amp;amp;amp;amp;amp;amp;amp;quot; overwrite into table test;

hive安装配置连接mysql