
大数据系统
GZMetrics
啦啦啦
展开
-
Hadoop Streaming 问题及排查
@[TOP]运行报错及排查hdfs dfs -rm -r /output1mapred streaming \ -input /idis_demo_dir \ -output /output1 \ -mapper wc_map.py \ -reducer wc_reducer.py \ -file wc_map.py \ -file wc_reducer.py报错:Caused by: java.io.IOException: Cannot run program "原创 2020-09-14 12:58:42 · 1333 阅读 · 0 评论 -
k8s 中 hawq 无法启动 segment 问题排查
文章目录问题现象问题本质解决方案解决过程方案1:重新编译 hawq安装依赖依赖镜像编译 HAWQ方案2:根据现象找原因hawq init master错误1:错误2hawq init segmentPG数据库初始化sysctldockerfilek8s中报错修复后的 docker file测试进入系统验证配置环境变量启动集群验证集群执行查询,验证正确性问题现象HAWQ 能创建表,但是无法进行写操作(插入、更新)问题本质无可用 segment解决方案echo "kernel.sem = 250原创 2020-09-14 12:55:15 · 901 阅读 · 0 评论 -
Hadoop 自动判分程序
学生提交 Hadoop 之后,实现自动判分流程如下图原创 2020-07-22 10:40:20 · 430 阅读 · 0 评论