Oooover-优快云博客

原创 CDH File Descriptors告警解决

CDH File Descriptors告警解决

2017-10-20 11:45:04 1372

原创 CDH clock offeset

CDH clock offeset

2017-10-16 16:49:42 1159

原创 Hue中Hive editor中文报错

今天一个同事在Hue中使用Hive 进行数据分析时，报错了，是因为在Hive sql中加了一个过滤条件，过滤条件的值中包含中文，错误如下: 一看到这个，自然就想到了字符编码的问题。既然知道是编码问题，可是在哪里修改呢？经过查阅了一些资料，找到了一种解决方法(新建sitecustomize.py文件):/usr/lib/python2.7/s

2017-06-26 15:04:38 3121

原创 Spark Executor 报错 java.lang.StackOverflowError

Spark Executor 报错 java.lang.StackOverflowError

2017-06-22 17:51:30 7953

原创 Hive表中文注释乱码

最近在使用Hive是发现desc查看表时，注释中的中文都是一问号的形式显示。经过查资料知道，Hive的元数据时存储在Mysql中的，因此我们需要对Mysql中相关表的字符编码进行修改。特在此备忘： Hiv默认情况下我们需要将数据库的编码设置为lanin1. alter database hive character set latin1;

2017-06-21 12:05:13 4056 1

原创 Idea 中JDK版本设置问题导致ClassNotFoundException错误的一种原因

今天在使用Idea编写代码测试时，点击Run之后，一直报错ClassNotFoundException，就连最简单的Hello world程序都是如此，一时之间，不知所措。Baidu、Google了一大堆，各种方法都尝试了，还是报一样的错误。甚至，我都把Idea卸载并重新安装了，错误仍然存在。没办法，还得继续查找原因，于是继续搜索，查看各种可能性，并一个个尝试。忽然，在一个论坛中，看到

2017-05-07 00:02:22 12821 1

原创 Spark on yarn 报错： Permission denied

Spark on yarn 报错： Permission denied

2016-11-04 16:56:43 6162 1

原创 Spark SQL将数据写入Mysql表的一些坑

Spark SQL将数据写入Mysql表的一些坑

2016-10-18 13:36:56 42414 9

原创蛇形矩阵(非方阵)的一种实现形式

蛇形矩阵(非方阵)的一种实现形式

2016-09-29 11:38:30 1396

原创 Spark取出(Key,Value)型数据中Value值为前n条数据

Spark对(Key,Value)型数据进行排序，并取出Value值为前n的数据

2016-09-26 15:33:18 15879

原创 Spark中sortByKey和sortBy对(key,value)数据分别根据key和value排序

Spark中sortByKey和sortBy对(key,value)数据分别根据key和value排序

2016-09-23 10:30:00 32982 4

原创 Spark On CDH5.6.0 报错java.lang.ArrayIndexOutOfBoundsException: 1

Spark On CDH5.6.0 报错java.lang.ArrayIndexOutOfBoundsException: 1 问题的解决过程分享

2016-09-14 14:57:16 11478

转载 SBT编译入门

非托管依赖为放在 lib 目录下的 jar 文件托管依赖配置在构建定义中，并且会自动从仓库（repository）中下载非托管依赖大多数人会用托管依赖而非非托管依赖。但是非托管依赖在起步阶段会简单很多。非托管依赖像这样工作：将 jar 文件放在 lib 文件夹下，然后它们将会被添加到项目的 classpath 中。没有更多的事情了！你也可以将测试依赖的 jar

2016-01-07 22:14:12 4338

转载 Markdown 编辑器语法指南

Markdown 编辑器语法指南基本技巧代码如果你只想高亮语句中的某个函数名或关键字，可以使用 `function_name()` 实现通常编辑器根据代码片段适配合适的高亮方法，但你也可以用 ``` 包裹一段代码，并指定一种语言```javascript$(document).ready(function () { alert('hello wor

2016-01-07 22:07:48 710

转载 Maven to SBT

Typical [enterprise] Java projects use multi-module Maven configuration. You have the parent pom.xml file at the root of your project and you refer to the modules from the parent pom.xml. The moti

2016-01-07 21:49:40 1130

原创 Spark 报错: ERROR SparkUncaughtExceptionHandler rejected from java.util.concurrent.ThreadPoolExecutor

Spark 报错: ERROR SparkUncaughtExceptionHandler rejected from java.util.concurrent.ThreadPoolExecutor

2016-01-07 14:08:09 13880

原创 Idea 远程运行Spark程序及 javax.servlet.FilterRegistration 错误解决方法

Idea 远程运行Spark程序及 javax.servlet.FilterRegistration 错误解决方法

2016-01-06 18:16:50 2546

原创 Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job

Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job

2016-01-05 18:04:53 43919 40

原创 Spark Streaming 报错:kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker

Spark Streaming 报错:kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker

2016-01-04 17:48:20 8794

原创 Hbase 启动失败htrace

今天在安装Hbase-1.1.2，配置文件检查了很多次，没有任何问题，但是发现slave上的HRegionServer总是启动失败，后来查阅日志，错误信息如下: 2016-01-02 20:15:53,145 INFO [regionserver/slave6/10.72.51.199:16020] regionserver.HRegionServer: STOPPED: Failed i

2016-01-02 21:17:41 4018

原创 Idea使用系统自带的sbt,并自定义repositories

最近在使用Idea + Scala + sbt (Macbook)做一些开发测试，但是由于默认使用国外的源，导致下载速度奇慢无比，所以想修改默认的repositories，但是怎么样才能修改默认的repositories并在Idea中使用修改后的配置呢？经过一天的折腾，总算是知道怎么新修改了，故在此备忘，也希望能帮助一些同学少走弯路。在这一篇博客:http://blog.youkuaiyun.com

2015-12-25 23:24:16 14342 1

原创 Spark 提交任务时，报: Invalid signature file digest for Manifest main attributes

Spark 提交任务时，报: Invalid signature file digest for Manifest main attributes

2015-11-28 19:26:22 23074 6

转载 U盘安装Kali 2.0 cd-rom无法挂载解决方法

U盘安装Kali 2.0 cd-rom无法挂载解决方法

2015-11-14 23:11:50 16650

原创 Scala 读取网页数据测试及备忘

最近在学习Scala，发现Scala确实很简洁、强大。用Scala居然可以直接像打开本地文件一样读取网页内容，确实很方便，但是稍不注意也会容易出错。以下就是我的学习记录： Scala中文件读取操作在scala.io.Source包中，读取文件为： Source.fromFile("test.txt") 很方便，简洁，读取文件没有任何问题；但是，我想使用Sou

2015-11-11 22:52:26 1416

原创 Spark on yarn Container beyond virtual memory limits

Spark on yarn Container beyond virtual memory limits

2015-09-30 15:21:35 4163

原创 Word公式和文字的显示位置调整

最近在写论文，总是在插入一些公式后发现公式跟文字的显示变得不太正常，要么公式显示比文字要低，要么文字后面的文字显示偏高。下面是我的调整方法，在此记录并备忘。编辑前的显示如下：在高级选项里：位置下拉列表中改为标准：显示正常啦：

2015-09-22 16:23:00 7299

原创 Hadoop 磁盘配额测试

Hadoop 磁盘配额测试

2015-08-19 11:04:58 2690

原创 Ubuntu 网卡桥接及桥接后网络不通的解决方法

Ubuntu 网卡桥接及桥接后网络不通的解决方法

2015-08-17 14:00:29 14959

原创 Ambari server安装步骤及问题解决

Ambari server安装步骤及问题解决

2015-08-14 08:01:25 6135

原创 Ubuntu 15.04 下 Docker 1.7.1 中DOCKER_OPTS配置不生效的解决

Ubuntu 15.04 下 Docker 1.7.1 中DOCKER_OPTS配置不生效的解决

2015-08-05 12:27:36 2774

原创 Spark 集群搭建详细步骤

Hadoop 和 Spark 集群搭建详细步骤

2015-07-20 11:52:54 31929

原创 Scala 将时间字符串转为时间戳

Scala 将时间字符串转为时间戳

2015-07-17 17:25:56 27180

原创 ubuntu / Ubuntu Kylin下安装和卸载 Nodepadqq

在WIndows下用惯了notepad++，Ubuntu默认的图形化编辑器gedit，又感觉不太还看，功能也不强大，最蛋疼的时就连vim的上下左右键都不能正常使用，所以打算安装类似notepad的软件．　　　　对于Ubuntu发行版本可以通过PPA安装，命令如下：　　　　sudo add-apt-repository ppa:notepadqq-team/notepadqq　　　

2015-07-09 13:03:11 2051