- 博客(13)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 hive3.1集群搭建
hive3.1集群搭建 Hive 3新特性 不再支持Mr，取而用Tez 查询引擎，且支持两种查询模式：Container 和 LLAP Hive CLI不再支持（被beeline取代) SQL Standard Authorization 不再支持，且默认建的表就已经是ACID表 支持 “批查询” (TEZ) 或者 “交互式查询”(LLAP) Hive 3其他特性： 1、物化视图重写； 2、自动查询缓存； 3、会话资源限制：用户会话数，服务器会话数，每个服务器每个用户会话数限制 文章目录hive3.1
2022-04-14 23:56:57
3549
1
原创 hadoop3.2+zookeeper集群搭建
hadoop3.2集群搭建 版本选择 JDK：jdk1.8.0_141 zookeeper：apache-zookeeper-3.5.9 hadoop：hadoop-3.2.3 我这里是本机虚拟机搭建，使用三个节点，分别是node01、node02、node03
2022-04-14 16:48:13
2832
3
转载 kafka修改默认端口号
kafka修改默认端口号 kafka默认端口号：9092 改为 19092 端口号可以被任意修改。如果端口号设置为小于1024，那么kafka需要以root身份启动。 config下 1、service.properties port = 19092 不指定的话，按照默认9092 2、connect-distributed.properties
2020-12-14 11:38:27
12096
转载 hdfs shell的基本操作以及hdfsWeb查看文件
在安装好hadoop集群并成功的启动了hdfs之后，我们就可以利用hdfs对文件进行操作了，一下是对文件的一些基本操作 hdfs基本操作 查询命令 hadoop dfs -ls / 查询/目录下的所有文件和文件夹 hadoop dfs -ls -R / 以递归的方式查询/目录下的所有文件 创建文件夹 hadoop dfs -mkdir /test 创建test文件夹 创建新的空文件 hadoop dfs -touchz /aa.txt 在/目录下创建一个空文件aa
2020-10-19 09:44:35
694
转载 Generating /run/initramfs/rdsosreport.txt 问题
Generating “/run/initramfs/rdsosreport.txt” 新手安装完虚拟机之后出现这个问题莫慌！！不需要重装虚拟机！！ 解决方法 输入ls /dev/mapper 此时会出现3个文件。其中rhel-root文件是我们下面所要用的文件。 ls的目的就是为了让大家能知道自己带“-root”文件的前缀是什么，因为我之前在查这个错误的时候，别人使用“centos-root”输入命令，我学着他的样子，却被提示我没有“centos-root这个文件”，ls后才发现我的是“rhel-ro
2020-10-19 09:13:48
5451
原创 hbase插入数据，phoenix 二级索引数据不更新
hbase中插入数据，用phoenix 创建的二级索引查询不到新加的数据 经查找相关资料，才知道，这种操作无法更新二级索引 所以最后只能从phoenix中插入数据 首先引入jar包 <!-- https://mvnrepository.com/artifact/org.apache.phoenix/phoenix-core --> <dependency> <groupId>org.apache.phoenix</groupId> <artifac
2020-09-21 19:25:02
997
转载 spark任务提交到yarn上，状态一直Accepted且不停止不报错
运行Spark集群时状态一直为Accepted且不停止不报错，如下面这样的情况： 一般是由于有多个用户同时向集群提交任务或一个用户向集群同时提交了多个任务导致Yarn资源的分配错误。解决这个问题，只需要更改Hadoop的配置文件：/etc/hadoop/conf/capacity-scheduler.xml，把选项：yarn.scheduler.capacity.maximum-am-resource-percent从0.1改成0.5。顾名思义，这个选项是增加Yarn可调度的资源量，当然也可以视具体情况增
2020-09-08 17:27:07
6419
原创 maven批量删除下载失败库文件
##批量删除下载失败的maven项： cd %userprofile%.m2\repository for /r %i in (*.lastUpdated) do del %i for /r %i in (javadoc.jar) do del %i for /r %i in (sources.jar) do del %i 手动导入jar mvn install:install-file -DgroupId=com.oracle -DartifactId=ojdbc6 -Dversion=11.2 -Dpa
2020-09-03 09:51:07
232
原创 浏览器禁止后退键
function banBackSpace(e){ var ev = e || window.event;//获取event对象 var obj = ev.target || ev.srcElement;//获取事件源 var t = obj.type || obj.getAttribute(‘type’);//获取事件源类型 //获取作为判断条件的事件类型 var vReadOnly = obj.getAttribute(‘readonly’) ; //处理null值情况 vReadOnly = (vRe
2020-09-03 09:49:00
332
原创 idea常用快捷键大全-自己收集整理的
使用前三名！ 1.智能补全：Ctrl+Shift+Space 2.自我修复：Alt+Enter 3.重构一切：Ctrl+Shift+Alt+T ctrl + alt +B 查看接口的实现类 ctrl + alt + <- 回到上一步 ctrl + alt + -> 回到下一步 Ctrl + Alt + V 根据返回值生成对象 Ctrl + Alt + S 打开设置选项 Ctrl + / 注释 、 取消注释（单行注释） Ctrl + Shift + / 注释 、取消注释（多行注释） Ctrl +
2020-09-03 09:46:45
252
转载 maven打包普通java程序没有添加依赖问题
在pom.xml加入配置 <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> <configuration>
2020-08-22 11:15:44
536
原创 hbaseshell error：org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
hbase shell执行任意命令都报错 ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet 原因： hadoop启动进入安全模式 解决方法 进入hadoop目录 执行：hadoop dfsadmin -safemode leave 然后重启hbase，成功 ...
2020-08-20 17:23:58
814
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人