大数据
关注
分享
扫一扫
文章平均质量分 82
道悦(顽石)
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop hue开发调试环境搭建
hue系统后台主要使用 python语言，我们需要对 hue进行定制化二次开发。开发机操作系统为ubuntu12.04，使用独立的开发机器，小组其他人可共用。也可在自己平时使用的windows机器上开ubuntu虚拟机（如果机器配置较高），下面是hue开发环境的搭建过程。 1.独立的开发机上不能使用图形环境，需要在自己的windows机器上安装Xming xwindow...原创 2015-01-07 00:55:04 · 1002 阅读 · 0 评论 -
spark mapPartition方法与map方法的区别
rdd的mapPartitions是map的一个变种，它们都可进行分区的并行处理。 两者的主要区别是调用的粒度不一样：map的输入变换函数是应用于RDD中每个元素，而mapPartitions的输入函数是应用于每个分区。 假设一个rdd有10个元素，分成3个分区。如果使用map方法，map中的输入函数会被调用10次；而使用mapPartitions方法的话，其输入函...原创 2015-02-06 10:38:36 · 857 阅读 · 0 评论