Hadoop
关注
分享
扫一扫
hadoop大数据发展基石，服务于各个框架之中
80后大叔爱学习
2023年10月开始更新博客内容均为逆向相关的，其它内容暂时不会更新，没有太晚的开始，不如就从今天行动。
展开
-
CDH大数据平台 Error: Error while compiling statement: FAILED: SemanticException No valid privileges
解决hive不能创建数据库的权限问题原创 2022-10-16 20:17:44 · 525 阅读 · 3 评论 -
CDH大数据平台 06Cloudera Manager服务添加&&HDFS、YARN等HA高可用(markdown新版二)
cdh必要服务添加，hdfs、yarn、hbase做高可用配置原创 2022-09-23 09:46:44 · 949 阅读 · 17 评论 -
CDH大数据平台 05Cloudera Manager搭建环境&&设置&&服务添加(markdown新版)
Cloudera Manager配置，图解清晰原创 2022-09-22 15:19:42 · 1212 阅读 · 17 评论 -
HADOOP VM三台虚拟机配置hadoop分布式(还是有部分人操作遇到问题，特分享，尤其是初学者)
VM三台虚拟机配置hadoop分布式，还是有部分人操作遇到问题，特分享，尤其是初学者，希望把精力放到重点上面，资源里面有免费的pdf文档分享0积分下载原创 2022-07-24 07:56:36 · 1049 阅读 · 0 评论 -
YARN 手动切换HA状态
RM2操作：yarn rmadmin -getServiceState rm2yarn rmadmin -transitionToStandby rm2yarn rmadmin -transitionToStandby rm2 --forcemanualRM1操作：yarn rmadmin -transitionToActive rm1 --forcemanualyarn rmadmin -getServiceState rm1原创 2021-07-02 14:37:31 · 899 阅读 · 0 评论 -
HADOOP jps查看不到进程
chmod -R 755hsperfdata_hadoop原创 2021-03-30 16:17:04 · 1686 阅读 · 0 评论 -
HADOOP org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService
添加以下文件：<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce....原创 2021-03-19 16:31:43 · 571 阅读 · 0 评论 -
HADOOP Unable to load native-hadoop library for your platform... using builtin-java classes where
解决：vi spark-env.shexportJAVA_LIBRAY_PATH=/home/hadoop/apps/hadoop/lib/native原创 2021-03-15 16:30:08 · 5099 阅读 · 3 评论 -
HADOOP hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not
完整错误：解决方法，添加一下内容：vi $HADOOP_HOME/etc/hadoop/yarn-site.xml<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property>......原创 2021-03-12 09:55:54 · 246 阅读 · 0 评论 -
HADOOP3 Permission denied: user=dr.who, access=READ_EXECUTE, inode=“/tmp“:root:super
Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":root:super原创 2021-01-08 10:41:29 · 510 阅读 · 0 评论 -
HADOOP3 Attempting to operate on hdfs namenode as root
hadoop3新增原创 2020-12-28 14:23:39 · 207 阅读 · 0 评论 -
HBASE ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
hdfs处于安全模式，需要关闭bin/hadoop dfsadmin -safemode leave原创 2020-06-03 07:44:11 · 476 阅读 · 0 评论 -
HDP 删除DataNode节点
删除节点原创 2020-03-03 18:18:10 · 911 阅读 · 1 评论 -
HDP 增加DataNode节点
增加节点原创 2020-03-02 11:17:36 · 718 阅读 · 0 评论 -
HDP Authentication is not valid : /rmstore/ZKRMStateRoot
1、/usr/hdp/current/zookeeper-client/bin/zkCli.sh -server `hostname -f`:2181原创 2020-03-01 16:56:21 · 1342 阅读 · 0 评论 -
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable一直解决不了，最后给屏蔽了，谁要是解决了受累告诉我声屏蔽方法：/hadoop-2.5.2/etc/hadoop/log4j.prope......原创 2018-07-18 19:40:02 · 1272 阅读 · 0 评论 -
YARN 聚合日志配置
这种方式的话，顾名思义，就是说，将散落在集群中各个机器上的日志，最后都给聚合起来，让我们可以统一查看如果打开了日志聚合的选项，即yarn.log-aggregation-enable，container的日志会拷贝到hdfs上去，并从机器中删除对于这种情况，可以使用yarn logs -applicationId <app ID>命令，来查看日志yarn logs命令，会打印......原创 2018-08-06 20:27:49 · 4435 阅读 · 0 评论 -
HADOOP 增加子节点配置
在master节点的slaves文件中增加新节点的主机名在新节点手动启动hadoop-daemon.sh start datanodeyarn-daemon.sh start nodemanager在主节点hdfs dfsadmin -refreshNodesstart-balancer.sh通过web ui查看新节点是否增加停止整个hadoop集群然后将dfs.repl......原创 2018-08-11 11:15:27 · 1015 阅读 · 0 评论 -
以慕课网日志分析为例 进入大数据 Spark SQL 的世界 ---课程笔记--未完待续
第一章 初探大数据 1、什么是大数据？ 大数据特征：4V 数据量(Volume) PB、EB、ZB 给予高度分析的新价值(Value) 巨额数据里面提取需要的高价值数据 速度(Velocity) 实时流处理，电商推荐系统，在你浏览或买过商品，按照先关信息给你推荐 ......原创 2018-10-08 07:56:46 · 1779 阅读 · 8 评论 -
MAVEN IP地址数据库从github上面下载打包最后到导入到maven中
1、下载地址：https://github.com/wzhe06/ipdatabase2、文件存放路径：C:\Users\TIAN\Downloads\ipdatabase-master\ipdatabase-master> 输入：cmd C:\Users\TIAN\Downloads\ipdatabase-master\ipdatabase-master&g...原创 2018-10-20 09:28:54 · 741 阅读 · 0 评论 -
HADOOP Exception in thread “main“ org.apache.hadoop.security.AccessControlException: Permission deni
错误：Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=PC-TIAN, access=WRITE, inode="/":root:supergroup:drwxr-xr-xdfs.permissions–如果是true则检查权限...原创 2019-05-15 22:21:08 · 760 阅读 · 0 评论 -
master: Warning: Permanently added the ECDSA host key for IP address ‘192.168.5.10‘ to the list of k
找到known_hosts删除掉，重新sshxxx生成免密即可原创 2019-08-13 13:18:50 · 11291 阅读 · 1 评论 -
CRT终端用spark-shell无法退格/删除
在spark-shell不能退格，写错了不能删除原创 2018-04-23 21:32:25 · 649 阅读 · 0 评论