庸人-优快云博客

原创 idea+maven+scala+spark-submit打包上传报ClassNotFoundException，找不自定义的类

报错原因原因一：maven打包失败，没有加入将scala编译原因二：spark-submit参数写的不对，class后面需要全类名原因三：jar包上传失败，不完整java.lang.ClassNotFoundException: com.xxx.xxx at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lang.ClassLoader.loadClass(ClassLoader.jav

2021-05-22 17:43:58 861

原创 linux知识之面试题

linux1.常用高级命令2.文件查看命令 **cat more less**3.压缩文件打包gzip/gunzip 压缩zip/unzip 压缩tar 打包4.RPM软件包管理5.搜索查看 find、locate6.文件处理（1）cut 文件切割工具(2) sed 流处理工具（4）awk 流处理工具（5）sort 文件内容排序7.shell1.常用高级命令序号命令命令解释1top查看内存2df查看磁盘内存情况3iotop查看磁盘IO读写情况（需要安装

2021-05-09 11:40:47 309

原创解决 wget Connecting to archive.cloudera.com|151.101.0.167|:443... failed: Connection refused.

执行wget https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo报错如下：解决：在使用wget下载过程中，有时会因为https和ssl的原因，出现类似"Unable to establish SSl connection"的错误，导致不能下载。这时可以使用 --no-cookie --no-check-certificate 这两个参数解决。wget --no-cookie --no-check-ce

2020-08-18 10:57:50 2102 1

原创 Hue启动时可能会出现的错误

hue启动时的错误1.端口被占用错误解决：配置问题如果时重启上一次 ctrl+z杀死的时候解决 ps -a杀死supervisor hue进程重启kill -9 23215 232212.启动显示KeyError: “Couldn’t get user id for user hue”原因：出现此问题的原因是因为你使用的root用户安装了hue，然后在root用户下使用的build/env/bin/supervisor。解决：解决：创建用户useradd hue 为

2020-06-19 15:50:36 1703

原创 Oozie 调度 shell 脚本提交不到yarn

job一直处于SUSPENDED，没有提交到yarn在oozied web找错误解决方案：原因是yarn-site.xml中的两处配置值太小了，不满足作业的申请条件把yarn-site.xml中的两处配置加大一点：容器内存 yarn.nodemanager.resource.memory-mb最大容器内存 yarn.scheduler.maximum-allocation-mbeg:执行任务和查询一些状态1.上传任务配置/export/servers/hadoop-2.7.5/bin.

2020-06-18 20:18:02 462

原创 hadoop配置job日志记录以及中要配置简单的讲解

hadoop配置job日志记录web 日志环境变量配置mapred-site.xmlyarn-site.xml环境变量不同的作用重要的相关配置web 日志环境变量配置参考博主mapred-site.xml<configuration>  <property> <name>mapreduce.job.ubertask.enable</name> <value>true&

2020-06-04 17:13:55 1669 1

qq_44628081的博客

原创 idea+maven+scala+spark-submit打包上传报ClassNotFoundException，找不自定义的类

原创 linux知识之面试题

原创解决 wget Connecting to archive.cloudera.com|151.101.0.167|:443... failed: Connection refused.

原创 Hue启动时可能会出现的错误

原创 Oozie 调度 shell 脚本提交不到yarn

原创 hadoop配置job日志记录以及中要配置简单的讲解

空空如也

空空如也

原创 idea+maven+scala+spark-submit打包上传报ClassNotFoundException，找不自定义的类

原创 linux知识之面试题

原创 解决 wget Connecting to archive.cloudera.com|151.101.0.167|:443... failed: Connection refused.

原创 Hue启动时可能会出现的错误

原创 Oozie 调度 shell 脚本提交不到yarn

原创 hadoop配置job日志记录以及中要配置简单的讲解

空空如也

空空如也

原创解决 wget Connecting to archive.cloudera.com|151.101.0.167|:443... failed: Connection refused.