liu137612432的博客

hive3.1集群搭建Hive 3新特性不再支持Mr，取而用Tez 查询引擎，且支持两种查询模式：Container 和 LLAPHive CLI不再支持（被beeline取代)SQL Standard Authorization 不再支持，且默认建的表就已经是ACID表支持 “批查询” (TEZ) 或者 “交互式查询”(LLAP)Hive 3其他特性：1、物化视图重写；2、自动查询缓存；3、会话资源限制：用户会话数，服务器会话数，每个服务器每个用户会话数限制文章目录hive3.1

hadoop3.2集群搭建版本选择JDK：jdk1.8.0_141zookeeper：apache-zookeeper-3.5.9hadoop：hadoop-3.2.3我这里是本机虚拟机搭建，使用三个节点，分别是node01、node02、node03

kafka修改默认端口号kafka默认端口号：9092 改为 19092端口号可以被任意修改。如果端口号设置为小于1024，那么kafka需要以root身份启动。config下1、service.properties port = 19092 不指定的话，按照默认90922、connect-distributed.properties

在安装好hadoop集群并成功的启动了hdfs之后，我们就可以利用hdfs对文件进行操作了，一下是对文件的一些基本操作hdfs基本操作查询命令　　hadoop dfs -ls / 查询/目录下的所有文件和文件夹　　hadoop dfs -ls -R / 以递归的方式查询/目录下的所有文件创建文件夹　　hadoop dfs -mkdir /test 创建test文件夹创建新的空文件　　hadoop dfs -touchz /aa.txt 在/目录下创建一个空文件aa

hbase导入csv文件

hbase中插入数据，用phoenix 创建的二级索引查询不到新加的数据经查找相关资料，才知道，这种操作无法更新二级索引所以最后只能从phoenix中插入数据首先引入jar包<!-- https://mvnrepository.com/artifact/org.apache.phoenix/phoenix-core --><dependency> <groupId>org.apache.phoenix</groupId> <artifac

运行Spark集群时状态一直为Accepted且不停止不报错，如下面这样的情况：一般是由于有多个用户同时向集群提交任务或一个用户向集群同时提交了多个任务导致Yarn资源的分配错误。解决这个问题，只需要更改Hadoop的配置文件：/etc/hadoop/conf/capacity-scheduler.xml，把选项：yarn.scheduler.capacity.maximum-am-resource-percent从0.1改成0.5。顾名思义，这个选项是增加Yarn可调度的资源量，当然也可以视具体情况增