- 博客(22)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 druid学习-安装
最近因为业务需要，需要部署druid来做olap分析，关于选型可以看下知乎里大神的分析 https://www.zhihu.com/question/41541395?sort=created (此druid非阿里的数据库连接池druid) 步入正题，druid安装，可以选择imply ( https://imply.io/ )，我这儿选择的是druid-0.10.1 1. 解压 tar
2017-09-11 16:34:49
1592
原创 一次github和jenkins集成构建异常处理
最近Jenkins出问题了，github总是behind Apache eagle 6个commits。下面是我们构建的shell#!/bin/bashunset SSH_ASKPASSgit checkout mastergit statusecho "Git remote..."git remote add upstream https://github.com/apache/eagl
2017-06-09 10:25:30
892
转载 KMP字符串模式匹配算法Java实现
转载自：http://www.jianshu.com/p/e2bd1ee482c3本文灵感来自于July的博客从头到尾彻底理解KMP，并着重于Java实现 :)。 现有字符串匹配算法有不少，如简单暴力的朴素算法(暴力匹配算法)、KMP算法、BM算法以及Sunday算法等，在这里仅介绍前两种算法。1. 朴素算法朴素算法即暴力匹配算法，对于长度为n的文本串S和长度为m模式串P，在文
2017-05-12 15:21:16
1067
转载 Spark Streaming Backpressure分析
转载自http://www.cnblogs.com/barrenlake/p/5349949.html1、为什么引入Backpressure 默认情况下，Spark Streaming通过Receiver以生产者生产数据的速率接收数据，计算过程中会出现batch processing time > batch interval的情况，其中batch
2016-09-20 14:53:59
2630
原创 maven打包时包含assembly id的问题
刚接触maven时，使用 maven-assembly-plugin插件进行打包，发现打包出来的结果总是末尾包含assembly id，不符合既定的规则，一直未百度出结果，因不影响功能，就未深究，最后老大在Google找到了答案，关键是false ${project.artifactId} org.
2016-07-12 17:44:28
11494
原创 oozie web无法访问 oozie web console is disabled
搭建好oozie环境后，访问oozie url，报如下错误 Oozie web console is disables. To enable Oozie web console install the Ext JS library. 解决办法：进入oozie server机器下的 /var/lib/oozie目录，将ext-2.2.zip解压即
2016-07-12 17:29:47
3966
原创 oozie server系统时钟偏差导致sqoop报错
使用oozie通过sqoop导数报错如下Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SqoopMain], main() threw exception, begin > end in range (begin, end): (1464673410428, 1464673380508)
2016-06-03 11:00:51
1893
原创 Oozie workflow工作流action间参数传递实现
假设workflow里有两个action节点，shell和hive，hive需要用到shell节点里的值，shell脚本如下#!/bin/shday=`date '+%Y%m%d%H'`echo "day:$day"hive节点需传入day这个参数。需要用到shell节点里这个属性，如下 ${jobTracker} ${
2016-03-11 18:09:55
7040
原创 oozie timezone时区配置
cloudera oozie默认时区是UTC，在开发oozie任务时必须在期望执行的时间上减去8小时，很不习惯。记录下修改时区的配置操作。1. cloudera oozie配置—>Oozie Server Default Group -->高级-->oozie-site.xml 的 Oozie Server 高级配置代码段（安全阀） 添加 oozie.processing
2016-03-11 17:51:33
7124
原创 Number of actions are more than display limit 25.
oozie提交任务后查看Job DAG，发现报错如下找oozie配置并未发现相关参数，通过查询发现竟是在oozie4.1.0版本将其作为bug修复，actions数量超过25个不生成gragh。参考JIRA ： https://issues.apache.org/jira/browse/OOZIE-1529 参考github ： http
2015-12-30 09:51:30
2056
原创 分区表无法查询手动put进hdfs的数据问题
向hive表对应hdfs中新建目录，put数据后，在hive命令行查询，查不到put进分区的数据，下面记录处理方法：分区既然是HDFS目录，那就可以通过hdfs put命令直接向HDFS添加分区。然而，元存储拥有所有表的元数据，它不会自动识别这些直接被添加到HDFS的分区。Hive提供了命令MSCK REPAIR TABLE tableName;，可以自动地更新元存储来恢复分区。如果基
2015-12-11 11:52:30
3498
原创 hive分区表增加字段新增字段值为空的bug
关键字： hive, partition, add columnhive JIRA：https://issues.apache.org/jira/browse/HIVE-6131 最近在查hive版本问题，发现在hive1.1.0和hive1.2.1上，分区表新增字段后新增字段值为空的情况。网上查了资料，提供了两种解决办法：1. 修改hive元数据SDS表的CD_ID字段，
2015-11-20 15:01:30
16809
转载 JVM 启动参数详解
JAVA虚拟机（JVM）通过操作系统命令JAVA_HOME\bin\java –option 来启动，-option为虚拟机参数，JAVA_HOME为JDK安装路径，通过这些参数可对虚拟机的运行状态进行调整，掌握参数的含义可对虚拟机的运行模式有更深入的理解。虚拟机参数分为基本和扩展两类，在命令行中输入JAVA_HOME\bin\java 就可得到基本参数列表，在命令行输入JAVA_HOME
2015-11-02 14:11:37
3208
原创 查看hive版本
hive没有提供hive --version这种方式查看版本号，可以考虑查看hive加载jar方式来查看。具体操作记录如下：1.执行hive命令2.在克隆窗口下执行jps，查到进程号7225 RunJar3.执行lsof -g 7225 | grep hive,查看加载到的hive相关jar包java 7225 7225 lujian 57r REG 8,6
2015-10-15 09:42:18
8306
原创 oozie执行时报错无法跟进FAILED
执行oozie时，会出现直接报出FAILED错误，而且不能跟进查看错误日志。如下图错误： 通过查看oozie源码，可以发现core\src\main\java\org\apache\oozie包下有一个ErrorCode枚举类，该类列出了所有错误代码，包括上图的E0730。详细代码如下： public enum Erro
2014-12-11 14:15:24
11937
1
转载 Oracle中dual表的用途介绍
转载自http://www.cnblogs.com/qiangqiang/archive/2010/10/15/1852229.html，用于收藏导读]dual是一个虚拟表，用来构成select的语法规则，oracle保证dual里面永远只有一条记录。我们可以用它来做很多事情。 1、查看当前用户，可以在 SQL Plus中执行下面语句 select user from dual;
2014-03-15 11:21:49
626
转载 hibernate 延迟加载底层实现机制
Hibernae 的延迟加载是一个非常常用的技术，实体的集合属性默认会被延迟加载，实体所关联的实体默认也会被延迟加载。Hibernate 通过这种延迟加载来降低系统的内存开销，从而保证 Hibernate 的运行性能。下面先来剖析 Hibernate 延迟加载的“秘密”。集合属性的延迟加载当 Hibernate 从数据库中初始化某个持久化实体时，该实体的集合属性是否随持久化
2013-10-26 19:57:26
789
转载 java中垃圾回收算法
转自：http://www.blogjava.net/Jack2007/archive/2008/04/11/192288.html引言 Java的堆是一个运行时数据区，类的实例(对象)从中分配空间。Java虚拟机(JVM)的堆中储存着正在运行的应用程序所建立的所有对象，这些对象通过new、newarray、anewarray和multianewarray等指令建立，但
2013-10-24 00:02:45
864
转载 MYSQL常用引擎
MySQL数 据库引擎取决于MySQL在安装的时候是如何被编译的。要添加一个新的引擎，就必须重新编译MYSQL。在缺省情况下，MYSQL支持三个引擎：ISAM、MYISAM和HEAP。另外两种类型INNODB和BERKLEY（BDB），也常常可以使用。如果技术高超，还可以使用MySQL++ API自己做一个引擎。下面介绍几种数据库引擎： ISAM：ISAM是一个定义明确且历经时间考验
2013-10-23 23:58:01
794
转载 如何把阿拉伯数字转换为中文大写？
public class Chinese{ public String returnResult(long num) { String numStr = String.valueOf(num); // 主要理念是把数字字符串最终分隔为四个一组四个一组的，不足的不管。 if (numStr.length() > 8 & numStr.length() < 16) { //
2013-10-23 18:13:25
1022
原创 libjvm.so:cannot restore segment prot after reloc:Permission denied
在red hat 5上装java开发环境时，遇到如下错误：解决如下： 这是因安全级别和防火墙导致的，使用如下命令： 关闭SELINX，执行：/usr/sbin/setenforce 0 然后注销再次登录即可解决问题。
2013-08-20 23:55:35
891
转载 含有负数的取模运算
前两天做一套笔试题，碰到了关于负数取模的题目，又出错了，一直没弄清，今天去上网查了资料，看了一篇文章总结得不错，特此转载记录下。 System.out.println(7 % -3); // 2 System.out.println(-7 % 3); //-1 正整数的取余运算大家都很熟悉，但是对于负数、实数的取
2013-08-16 11:12:07
1256
linux中samba服务器
2013-08-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人