Mr_Peter_c-优快云博客

原创退役cdh 节点删除mysql 元数据

DELETE FROM AUDITS WHERE HOST_ID ='5';DELETE FROM CLIENT_CONFIGS_TO_HOSTS WHERE HOST_ID='5';DELETE FROM COMMAND_SCHEDULES WHERE HOST_ID='5';DELETE FROM CONFIGS WHERE HOST_ID='5';DELETE FROM...

2019-12-12 14:02:40 293

原创 hue 上oozie的调度问题

不知道使用hue的小伙伴有没有发现hue上的oozie workflow写好了，却发现调度不了。（hue 坑真是多）经过我不断的努力，终于调度成功了任务。下面把步骤分享给大家1.首先将写好的hive sqoop 各个脚本文件组成workflow2.将组成的workflow跑一遍直到成功。注：这一步主要是为了生成类似于.class的文件。3.查看当前workflow的work...

2019-04-03 15:07:32 1366

原创同比和环比

我们在分析数据走势时，经常会用到同比和环比。但是，我们却经常将同比和环比弄混淆。那么，到底同比、环比的区别是什么？又该如何计算呢？一丶同比为了方便理解，我们使用2018年和2017年的数据来进行说明。同比的概念。我们可以理解为：今年同期和去年同期的对比。例如：2018年1月与2017年1月的数据对比。同比的计算公式：（2018年1月数据-2017年1月数据）...

2019-03-04 11:10:20 10812

原创 hadoop fsck 命令含义

hadoop fsckUsage: DFSck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] <path> 检查这个目录中的文件是否完整 -move 破损的文件移至/...

2019-01-25 17:07:52 360

原创 org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree:

这个报错是生成计划树的时候报的错，由于业务比较复杂，spark 会生成plan 可能再某个地方出错，而直接抛出了这个错误，就好比java 中 try catch 写了个 Exception 抓个大异常。具体错误需要一步一步的排查，从创建数据源开始。举个例子：用spark-sql 读取 hive 和hbase 相互映射的表，如果不一步步排查，那么就会抱着个错，可以选择什么都不做，直接...

2019-01-24 11:18:09 8973 1

原创 spark 开启gc日志

conf.set("spark.executor.extraJavaOptions","-XX:+PrintGCDetails -XX:+PrintGCTimeStamps") 设置一下这个,在excetors端会输出GC的信息。

2019-01-14 10:20:40 1756 2

原创 spark-Streaming 存入多个HBase表

def handleLog(dstream:DStream[((String,String),(String,Long,String,util.HashMap[String,Any]))],kafkaManager: KafkaManager,jobConf:JobConf): Unit ={ dstream.foreachRDD(rdd=>{ if(!rdd.isEmpty()){...

2019-01-10 15:01:48 574

1.将提示语言改成中文LANG=zh_CN.UTF8 2.删除空文件或者垃圾文件find . -name "*" -type f -size 0c | xargs -n 1 rm -f3.arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdp...

2018-03-12 12:07:51 349

原创虚拟机安装 centos 镜像

右键新建虚拟机：点自定义下一步下一步找到镜像点击下一步给虚拟机起名字，找到存放位置然后下一步根据需求选cpu核数根据需求选择内存选择NAT 模式网络连接创建新的虚拟磁盘不要选择物理磁盘不然会把自己电脑的磁盘格式化掉默认就好选择下一步如果选择立即分配会马上腾出20g空间...

2018-03-09 11:39:31 517

原创 Linux 忘记密码解决方法

Linux 忘记密码解决方法很多朋友经常会忘记Linux系统的root密码，linux系统忘记root密码的情况该怎么办呢？重新安装系统吗？当然不用！进入单用户模式更改一下root密码即可。步骤如下： Centos 6.x重启linux系统3 秒之内要按一下回车按下键盘e后，出现下图所示界面：进入内核选择选项，如下图。选择当前使用的内核按键盘e。...

2018-03-09 11:29:42 951

原创 Linux 简介

Linux内核最初只是由芬兰人李纳斯·托瓦兹（Linus Torvalds）在赫尔辛基大学上学时出于个人爱好而编写的。目前市面上较知名的发行版有：Ubuntu、RedHat、CentOS、Debian、Fedora、SuSE、OpenSUSE、Arch Linux、SolusOS 等。Linux 安装要选择Enqglish 否则会有乱码问题inux 关机在linux领域内大多用在服务器上，很少遇到...

2018-03-09 10:50:07 529

Mr_Peter_c的博客