Utopia_1919

在spark的rdd编程的时候，我们经常想做一些表连接的操作。 对rdd理解不深的时候我们可能会写出如下代码： val temp1 = sc.textFile("C://Users/802/Desktop/1.txt").map(_.split(",")).map(k => (k(0).toInt,k(1).toInt)) val temp2 = sc.textFile("C

Spark读写S3（AWS亚马逊中国区）因为中国区的region相对于其他国家是隔离的，所以在中国使用亚马逊S3需要单另设置endpoint来指定地区。首先我们需要引入hadoop-2.7.2的lib中的hadoop-aws-2.7.2.jar，以及aws自己提供的sdk包：aws-java-sdk-1.7.4.jar使用2.7.2的原因是由于hadoop2.7.2才支持s3。接下来我们在程序中定义

今天整理电脑删了一些没用的东西，回过头开发spark的时候发现spark提示错误：16/09/06 17:20:43 ERROR Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable D:\hadoop-2.6.4\b