xqg1316的博客

spark.read.textFile()读取.tar.gz文件数据问题 从官网的描述中spark.textFile方法是可以读取压缩文件.tar.gz. 当我测试的时候发现文件从一个文件读取到另外一个文件的时候，spark会在值中加入“文件名 000 ustar root root”放到下个读取文件的第一个行。 我想问一下是我写的有问题还是本来就是这样？如果是如何避免。 ...

Spark2中操作HBase的异常org.apache.hadoop.hbase.HTableDescriptor.addFamily... org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)Lorg/apache/hadoop/hbase/HTabl...

解决办法： pom文件加：spark是1.6.0 spark-csv_2.10注意scala的版本与之对应 <!--spark on hive 写入csv格式文件--> <dependency> <groupId>com.databricks</groupId> <artifactId>spark-csv_2.10...

 Spark1.x 实现 Spark On Hive package spark import org.apache.spark.sql.{DataFrame, SaveMode} import org.apache.spark.sql.hive.HiveContext import org.apache.spark.{SparkConf, SparkContext} /** * ...