- 博客(8)
- 收藏
- 关注
RSS订阅原创 Airflow安装指南（精华版）
改原创文章同步发表在我的个人公众号：Hadoop非权威指南，欢迎关注airflow是一款大数据平台任务调度的开源工具，优雅的可视化操作深得人心，话不多说，直接附上安装教程（由于比较简单，不附图了，后续考虑写一篇小白版）首先声明操作环境： airflow--Version : 1.8.0centos--release 6.9 (Final)python--2.7.3 [1]系统如果没有pip组件，应该先安装： $ wget https://bootstrap.pypa...
2021-11-12 16:17:57
2990
原创 mapreduce运行过程反复卡在[org.apache.hadoop.mapred.LocalJobRunner] - reduce ＞ copy原因以及解决办法
先贴具体info:INFO [org.apache.hadoop.mapred.ReduceTask] - Using ShuffleConsumerPlugin: org.apache.hadoop.mapreduce.task.reduce.Shuffle@6c57fea92017-08-15 15:51:35,642 INFO [org.apache.hadoop.mapreduce
2017-08-15 15:57:36
5501
2
原创 SSH面密码登陆设置失败一直需要输入密码可能原因分析
首先交代下背景：三个节点配置ssh出现错误的操作步骤：1.三个节点共同操作一下命令：回车回车回车直到安装完成 2. .ssh文件下生成公钥私钥两个文件： 3.将公钥id_rsa.pub文件cp到新文件authorized_key
2017-08-04 02:21:36
3075
1
原创 使用IntelliJ IDEA导入storm-starter并测试WordCountTopology运行出现 A JNI error has occurred的原因和解决
第一次导入storm包并测试WordCountTopology，出现如下截图错误：解决方法：1.查看POM文件：上图的POM文件中配置参数为：provided应改为：compile如下图：再次测试运行，ok了："C:\Program Files\Java\jdk1.8.0_131\bin\java"
2017-07-09 14:20:46
23466
原创 Warning: The VM will try to fix the stack guard now.It's highly recommended that you fix the library
背景：linux环境下创建hadoop分布式集群，输入hdfs dfs -ls /，报错：解决代码：# yum install /usr/bin/execstack# execstack -c /home/hadoop20170426/app/hadoop/lib/native/libhadoop.so一般情况下输入上面代码就可以解决这一问题。########
2017-06-08 23:47:14
7191
1
原创 查看hadoop版本信息和位数
1、查看版本信息 通过在集群上执行：hadoop version 如下： 2、查看hadoop集群的位数 执行：cd $HADOOP_HOME/lib/native file libhadoop.so.1.0.0 如下：
2017-06-08 22:37:43
22057
转载 启动namenode,报错 Operation category READ is not supported in state standby解决办法
hdfs haadmin -transitionToActive --forcemanual nn1 输入以上代码，即可正常启动namenode原因：hdfs写的那台机器是待机状态的，所以不支持，要在active 机器中写才行参考自：http://blog.youkuaiyun.com/u012599988/article/details/46926851 博主：UpUpUpUpUpUpU
2017-06-08 12:28:38
1106
转载 hadoop多节点集群搭建过程中错误：No such file or directoryhdfs，logs提示出现出现^M的解决办法
声明：由于是在技术qq群里得到的答案，原创作者无从追溯，若有侵权，请mail285926969@qq.com告知，必定注明出处。出现这个错误并不是代码问题，而是LINUX环境下用rz命令上传的文本格式为doc,需要更改为unix格式后系统才会正确读取代码，具体操作如截图：
2017-06-07 22:00:05
2617
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人