- 博客(15)
- 收藏
- 关注
RSS订阅原创 hive中控制map和reduce数量的简单实现方法
通过mapred.max.split.size等参数控制hive中的map个数进行资源控制
2016-03-06 17:17:20
43159
1
原创 spark读取kafka数据 createStream和createDirectStream的区别
spark读取kafka数据 createStream和createDirectStream的区别
2016-03-06 16:43:34
21733
1
原创 kafka->spark->streaming->mysql（scala）实时数据处理示例
kafka->spark->streaming->mysql（scala）实时数据处理示例
2016-03-06 16:34:01
19890
1
原创 CM 4.6.0测试环境搭建笔记
笔记分为两部分 (一)、集群搭建 (二)、集群中添加主机和服务 需要说明的是虽然版本为cm 4.6 但是在版本5之上也是相同相近的，操作基本一致。（一）、集群搭建一、辅助环境1、系统配置 系统版本，SUSE，根据版本选择CDH和CM 2、预计的环境安装，datanode01暂不计入 3、关闭防火墙rcSuSEfirewall2 stopchkconfig --leve
2016-02-23 15:48:33
2584
原创 flume-kafka- spark streaming(pyspark) - redis 实时日志收集实时计算
鉴于实在是比较少python相关是spark streaming的例子，对于自己实现的测试例子分享上来一起讨论。强烈建议scala去写spark streaming程序，python资料太少，翻遍github也才发现几份代码
2016-02-23 11:20:09
11553
1
原创 关于在win本地远程hadoop集群开发导致的NullPointerException问题
在连续百度和google之后都发现找不到任何一个解决的方法，几乎所有人都是说是hadoop(插件)自身的问题，建议打包成jar放到集群上去执行 我之所以没这么做是因为之前我是可以的，并且我找到了我的另一个测试程序也是可以成功的，另一个重要的原因是太懒了 针对这种类型的错误原因这里给出一种可靠的解决方案，但并不保证所有这种NullPointerException都可以这样解决。 先说结果
2015-05-19 13:46:18
874
原创 在maven中新建hadoop项目说明与mapreduce.framework.name的initialize异常
Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
2015-05-15 14:22:32
4789
1
原创 Mapreduce中的 自定义类型、分组与二次排序
MapReduce中的自定义类型，分组函数、二次排序问题job.setSortComparatorClassjob.setGroupingComparatorClass
2015-05-06 20:54:58
2494
原创 hdfs 复制文件 java.io.FileNotFoundException（文件名、目录名或卷标语法不正确）
Exception in thread "main" java.io.FileNotFoundException: hdfs:\192.168.73.16:8020\user\9003547\text.txt (文件名、目录名或卷标语法不正确。) at java.io.FileInputStream.open(Native Method) at java.io.FileInputSt
2015-04-19 16:44:32
6257
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人