liuhui_306-优快云博客

原创 ERROR: The node /hbase is not in ZooKeeper. It should have been written by the master. Check the val

今天在安装hbase（1.2.3）单机版，安装完毕启动没有问题，但是在运行hbase shell执行命令的时候却抛出了异常，经过google后解决了问题，问题如下：比如：执行 list 命令：ERROR: The node /hbase is not in ZooKeeper. It should have been written by the master. Check the va

2016-11-03 21:54:59 10698 5

原创 FATAL Fatal error during KafkaServerStartable startup. java.lang.OutOfMemoryError: Java heap space

今天搭建了kafka单机版用于测试，配置好以后启动kafka时出现了内存溢出的问题，如下： [2016-10-22 10:39:39,112] INFO [Kafka Server 0], shut down completed (kafka.server.KafkaServer)[2016-10-22 10:39:39,113] FATAL Fatal error during Kafka

2016-10-22 10:56:04 5580

原创 maven国内镜像阿里云

maven确实是一个好东西，但是在国内下载官方仓库的jar却是个大问题，速度不敢恭维，现在oschina的国内maven镜像服务已关闭，无奈之下只能另寻门路。今天突然发现了阿里云maven国内镜像，修改完以后速度飞一般的感觉，超赞，这个激动啊。。。修改方法：在~/.m2目录下的settings.xml文件中，找到标签，添加如下子标签： alimaven aliy

2016-10-15 12:11:00 34509 2

原创 java.io.IOException: Cannot run program "/etc/hadoop/conf.cloudera.yarn/topology.py" (in directory "

运行clouder yarn-client模式的spark抛异常：16/09/02 17:16:32 WARN net.ScriptBasedMapping: Exception running /etc/hadoop/conf.cloudera.yarn/topology.py 10.55.45.251 java.io.IOException: Cannot run progr

2016-09-02 17:22:42 9830 2

原创 Exception in thread "main" NoNodeAvailableException[None of the configured nodes are available: [{#t

Exception in thread "main" NoNodeAvailableException[None of the configured nodes are available: [{#transport#-1}{127.0.0.1}{localhost/127.0.0.1:9200}]] at org.elasticsearch.client.transport.TransportClientNodesService.ensureNodesAreAvailable(TransportClie

2016-08-03 13:38:08 13691

原创 failed to set access: access denied ("java.lang.reflect.ReflectPermission" "suppressAccessChecks")

Can not access public com.es.plugin.RuleEntity() (from class com.es.plugin.RuleEntity; failed to set access: access denied ("java.lang.reflect.ReflectPermission" "suppressAccessChecks")解决方案：reques

2016-08-02 13:09:00 3369

原创 ImportError: No module named apt_pkg

Traceback (most recent call last): File "/usr/bin/apt-listchanges", line 28, in import apt_pkgImportError: No module named apt_pkgsudo apt-get remove --purge python-aptsudo apt-get install

2016-07-26 14:08:06 8852 2

原创 Linux环境下查看jar包的归档目录

Linux环境下使用java自带的jar命令进行归档，及归档目录的查看。首先使用 jar --help 查看帮助文档：jerry@debian0:~/testdata$ jar --help非法选项: -用法: jar {ctxui}[vfm0Me] [jar-file] [manifest-file] [entry-point] [-C dir] files ...选项包括:

2016-07-10 18:06:16 10986

原创 spark一个版本问题引发的血案（java.lang.NoSuchMethodError: org.apache.spark.ui.SparkUI.addStaticHandler）

先看异常：Using Spark's default log4j profile: org/apache/spark/log4j-defaults.propertiesSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/home/jerry/.m2/repository/

2016-07-09 19:55:22 13029

原创使用play框架来解析json字符串

因为最近在编写scala程序，就发现了使用play框架来方便的解析json数据。一. 官网的解释是这样的：1. 解析类库位于 play.api.libs.json._ 包。2. 可以解析json字符串，可以创建json字符串。基于java的JSON库和jackson。3. 可以在java和scala之间共享jackson底层库。4. 可以享受play框架提供的额外的类型安全和函

2016-06-28 18:09:52 6630

原创 maven中json-lib库无法引入

今天在maven中引入json-lib库，intellij中的pom文件没有报错，但是在类中就是无法使用。pom依赖配置： net.sf.json-lib json-lib 2.4 经过搜索资料发现是因为json-lib库有两个jdk版本的实现，json-lib-2.1-jdk13.jar和json-lib-2.1-jdk15.ja

2016-06-28 17:06:09 8123

原创 javascript Array.map 源码解读

// 实现 ECMA-262, Edition 5, 15.4.4.19// 参考: http://es5.github.com/#x15.4.4.19if (!Array.prototype.map) { Array.prototype.map = function(callback, thisArg) { var T, A, k; if (this == nu

2016-02-19 14:47:23 2530

原创史上最全javascript parseInt函数详解

全局 parseInt 函数的总结：parseInt(numString, redix);numString 将要被转换为Int的字符串。注意点： 1、可为数字或字符串, 不管怎样都会使用String(numString)将其转换成字符串; 如： parseInt(010); // 8 parseInt("010"); // 10 2、如果numString前后有空格，那

2016-02-19 14:38:35 2029

原创 hive根据日期获取星期几的方法

hive原生未提供获取一个日期是星期几的方法，所以只有我们自己编写udf函数提供，udf就不说了，在这里给出了一个使用hive原生函数获取星期几的技巧。pmod(datediff(#date#, '1920-01-01') - 3, 7) #date#表示给的日期。输出的结果为0-6的数，分别表示日，一，二 ... 六。2016-01-01 52016-01-02 6

2016-02-15 13:22:27 35053 2

原创 intellij普通项目转换成maven项目

首先将普通项目导入到intellij中，这个就不多说了，然后将maven的pom配置文件拷贝到项目的根目录下（前提是这个pom 配置文件是正确的），然后点开intellij编辑器侧边栏的 maven project选项卡，里面还有提示，让你点击绿色的加号按钮，将项目的pom配置文件添加进来，加进来即可，然后intellij会自动导入配置文件的依赖。

2015-12-30 15:19:16 5700

原创 ValueError: unsupported format character 'W' (0x57) at index 8

运行Python时出现这个问题就是占位符的问题。代码如下：print "Hello World%s" %"!"结果：Hello World!这样试没问题的，但如果我要输出一个 %20 呢：print "Hello%20World%s" %"!"# 然后就出现这个异常Traceback (most recent call last): File "", line

2015-12-11 09:18:39 5203

原创使用gem安装Jekyll时遇到Gem::RemoteFetcher::FetchError错误

首先安装ruby环境（注：此处的环境都是windows环境），我安装的版本是2.2.3的，ruby的环境配置好以后，打开命令终端，输入： gem install jekyll出现如下错误：经过谷歌查询以后发现是镜像的问题，详情可以到如下网站了解：https://ruby.taobao.org/ 点击打开链接然后输入如下命令：gem sources --add h

2015-11-20 17:38:41 763

原创 Junit测试出现异常：Exception in thread "main" java.lang.NoSuchMethodError: org.junit.runner.Description.cre

先来看看错误：Exception in thread "main" java.lang.NoSuchMethodError: org.junit.runner.Description.createSuiteDescription(Ljava/lang/String;[Ljava/lang/annotation/Annotation;)Lorg/junit/runner/Descript

2015-11-18 11:28:59 14305 2

原创 PyCharm 3的PEP8代码风格警告提示信息

PyCharm好心的PEP8提示却有碍代码观感，怎样才能关闭我不需要的警告信息呢？通过Google发现了如下信息：In pycharm, click the settings icon, or go to the settings via the menu bar.In the project settings section, click ‘inspections’I

2015-11-16 11:07:57 9917

原创 IntelliJ IDEA 15 Released 破解注册码

拿来主义，试了，确实好用哈。。。注册方法: 注册码可以沿用14的,只是在注册时选择 License server ，填 http://idea.lanyus.com ，然后点击 OKhttps://www.jetbrains.com/idea/whatsnew/ http://blog.jetbrains.com/idea/2015/11/intellij-idea-15

2015-11-10 11:40:22 8031

原创 Lucene4.4与IKAnalyzer冲突

先来看异常："D:\Program Files\Java\jdk1.7.0_67\bin\java" -ea -Didea.launcher.port=7537 "-Didea.launcher.bin.path=D:\Program Files\JetBrains\IntelliJ IDEA Community Edition 14.1.2\bin" -Dfile.encoding=GB

2015-11-03 18:27:24 3215

原创 Maven安装远程仓库没有的依赖库

有时候maven远程仓库不存在我们要的依赖库，那么就需要自己将需要的jar安装到本地仓库，maven安装依赖到本地有两种方式：1、手动方式：安装命令： mvn install:install-file -Dfile={Path/to/your/ojdbc.jar} -DgroupId=com.oracle -DartifactId=ojdbc6 -Dversion=1

2015-11-03 17:40:55 2066

原创 lucene4.2 java.lang.NullPointerException at org.apache.lucene.analysis.standard.StandardTokenizerIm

最近在学习Lucene时遇到了问题，先上代码：public class AnalyzerUtil { public void displayToken(String str, Analyzer a) { try { TokenStream stream = a.tokenStream("content", new StringReader(st

2015-11-03 17:05:10 1103

原创杀死Linux Shell进程

1、查找目标shell进程：例如：我想要查找 odm_clean 脚本运行进程 ps -ef | grep "odm_clean"hadoop 3702 46809 0 17:17 pts/16 00:00:00 grep odm_cleanhadoop 28376 28349 0 13:47 pts/11 00:00:00 bash ./odm_cle

2015-08-17 17:34:06 2790

原创不定义JQuery插件，不要说会JQuery

一：导言　　有些WEB开发者，会引用一个JQuery类库，然后在网页上写一写("#")，(".")，写了几年就对别人说非常熟悉JQuery。我曾经也是这样的人，直到有一次公司里的技术交流，我才改变了自己对自己的看法。二：普及JQuery知识知识1：用JQuery写插件时，最核心的方法有如下两个：$.extend(object) 可以理解为JQuery 添加一个静态

2015-05-29 11:36:50 605

原创企业QQ和个人QQ同时登陆方法

第一步：运行企业QQ，右键“计算机”，打开“管理”，在服务中停止“QQEIMPlatform”服务，并设置为“禁用”，操作如下：第二步：“运行”》“regedit”，打开注册表，找到“HKEY_USERS\S-1-5-21-602162358-1284227242-682003330-500\Software\Tencent\QQEIMPlatform”，清空QQEIMPlatform下的

2015-05-19 15:58:38 1694

原创 Spark jar包找不到解决方法

今天在使用Spark中DataFrame往Mysql中插入RDD，但是一直报出以下的异常次信息：[itelbog@iteblog ~]$ bin/spark-submit --master local[2] --jars lib/mysql-connector-java-5.1.35.jar --class spark.sparkToJDBC ./spark-test_2.10-1

2015-04-24 16:19:57 12469

原创 Spark DataFrame小试牛刀

三月中旬，Spark发布了最新的1.3.0版本，其中最重要的变化，便是DataFrame这个API的推出。DataFrame让Spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，计算性能更还快了两倍。这一个小小的API，隐含着Spark希望大一统「大数据江湖」的野心和决心。DataFrame像是一条联结所有主流数据源并自动转化为可并行处理格式的水渠，通过它Spark能

2015-04-24 16:13:08 1078

原创 Spark RDD API扩展开发(1)

我们都知道，Apache Spark内置了很多操作数据的API。但是很多时候，当我们在现实中开发应用程序的时候，我们需要解决现实中遇到的问题，而这些问题可能在Spark中没有相应的API提供，这时候，我们就需要通过扩展Spark API来实现我们自己的方法。我们可以通过两种方法来扩展Spark API，（1）、其中一种就是在现有的RDD中添加自定义的方法；（2）、第二种就是创建属于我们自己

2015-04-23 17:00:02 940

原创 crontab命令详解

一、crond简介crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，与windows下的计划任务类似，当安装完成操作系统后，默认会安装此服务工具，并且会自动启动crond进程，crond进程每分钟会定期检查是否有要执行的任务，如果有要执行的任务，则自动执行该任务。Linux下的任务调度分为两类，系统任务调度和用户任务调度。系统任务调度：系统周

2015-04-21 17:11:34 754

原创 Linux根据内容查找所在文件名

今天遇到要查找一个表名在哪个python文件中，网上搜了下命令，运行没问题，所以拿出来跟大家分享下：案例：查找表名为 rs_all_user_pv_category 的内容在哪个python文件中find . -name "*.py" | xargs grep "rs_all_user_pv_category"命令含义：在当前目录下查找 rs_all_user_pv

2015-04-02 14:59:35 2045

原创 python获取指定日期的前n天或后n天日期

首先导入time，和datetime包import datetimeimport time实现代码如下：if __name__ == '__main__': dt=sys.argv[1] myday = datetime.datetime( int(dt[0:4]),int(dt[5:7]),int(dt[8:10]) ) + datetime.tim

2015-04-01 10:50:36 15321

原创 python使用mysql数据库

一，安装mysql 如果是windows 用户，mysql 的安装非常简单，直接下载安装文件，双击安装文件一步一步进行操作即可。Linux 下的安装可能会更加简单，除了下载安装包进行安装外，一般的linux 仓库中都会有mysql ，我们只需要通过一个命令就可以下载安装：Ubuntu\deepin>>sudo apt-get install mysql-se

2015-03-26 10:27:43 633

原创 mysql时间转化

UNIX时间戳转换为日期用函数： FROM_UNIXTIME()select FROM_UNIXTIME(1156219870);日期转换为UNIX时间戳用函数： UNIX_TIMESTAMP()Select UNIX_TIMESTAMP(’2006-11-04 12:23:00′);例

2015-03-25 17:39:33 708

原创 Python处理JSON

概念序列化（Serialization）：将对象的状态信息转换为可以存储或可以通过网络传输的过程，传输的格式可以是JSON、XML等。反序列化就是从存储区域（JSON，XML）读取反序列化对象的状态，重新创建该对象。JSON（JavaScript Object Notation）：一种轻量级数据交换格式，相对于XML而言更简单，也易于阅读和编写，机器也方便解析和生成，Json是Ja

2015-03-19 15:56:12 1204

原创 Python解析xml文件遇到的编码解析的问题

使用python对xml文件进行解析的时候，如果xml文件的头文件是utf-8格式的编码，那么解析是ok的，但如果是其他格式将会出现如下异常：xml.parsers.expat.ExpatError: unknown encoding因此，为了保证程序的正常运行，我们需要对读取的文件进行编码处理。1、首先将读取的字符从原来的编码解析，并编码成utf-8；2、修改xml的

2015-03-16 15:08:59 8323

原创 mysql获得当前日期的前N日的日期

如：获得 2015-03-01 日的前7天的日期： select date_sub('2015-03-01',interval 7 day) from rs_pay_data;输出： 2015-02-22

2015-03-02 16:12:47 1007

原创 scala类型参数的问题

今天编写Scala程序遇到了一个类型参数的问题，写出来与大家分享一下，先看代码：val a: Option = None运行报出了一下异常：Error:(27, 12) class Option takes type parameters val a: Option = None ^进入Option类中可以看到它是包含由泛型提供的类型参数，由异

2015-02-05 10:15:27 1190

原创 Scala隐式转换类遇到的问题

今天练习Scala的隐式转换类遇到的一个问题，测试代码如下：object ImplcitTest { def main(args: Array[String]) { import Context._ val person1 = User("zhangsan") println(person1.getStr()) val filePath = Thre

2015-02-03 12:00:16 933

原创 shell遍历一个日期范围

如果跟shell脚本打交道，遍历一个时间范围是很常见的事情，那么今天就跟大家分享一下：#!/usr/bin/env bashdate1="$1"date2="$2"echo "date1: $date1"echo "date2: $date2"tempdate=`date -d "-0 day $date1" +%F`enddate=`date -d "-0 day $date

2014-11-25 10:47:24 6409