- 博客(6)
- 收藏
- 关注
RSS订阅原创 一次诡异的日志死锁
先说下项目背景，为了统一公司的schedule job，做了一个job的框架，定时任务统一接入到这个框架里面。job框架用java开发，原理很简单，解析用户输入的crontab表达式，到了schedule的时间，用ProcessBuilder把用户的程序给带起来。今天有同事反应，程序在本地可以正常运行，接入job框架后出现大量的SOA远程调用timeout。第一反应是资源文件加
2015-12-05 11:56:18
3837
原创 Spark故障排除
使用spark有一段时间了，期间遇到了不少问题，诸如out of memory，java.io.IOException: Filesystem closed，task任务过多导致性能低下等等。现一一列举如下，并给出解决方案。1. 内存问题，heap error，java.lang.OutOfMemoryError: PermGen spacespark的作业节点有driver和execut
2015-04-13 09:34:21
3306
原创 Spark Hive使用中遇到的坑
当前使用的spark版本是1.0.2，spark-assenbly已经包含了hive，可以直接使用。Spark hive通过把hive-site.xml加载到classpath中的方式来读取hive连接元数据，我这里通过java代码动态的把hive-site.xml加载到classpath里String hiveConfDir = System.getenv( "HIVE_CONF_D
2014-10-29 09:35:02
6362
原创 Cassandra HUnavailableException: : May not be enough replicas present to handle consistency leve错误处理
今天在向cassandra插入数据的时候抛错“HUnavailableException: : May not be enough replicas present to handle consistency level”
2014-09-22 15:02:52
1482
原创 nodejs 下载文件
项目中web上需要提供一个下载文件的功能，我们的web服务器用的是nodejs，nodejs提供了一个非常方便的下载功能，
2014-09-21 20:09:52
3808
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人