spark
jacklinping
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
pyspark mongodb问题
问题1: root 用户运行pyspark 没问题 hadoop 用户运行就报如下错 df1 = spark.read.format("com.mongodb.spark.sql.DefaultSource").option("collection","devices").load() 17/02/15 19:34:26 WARN MongoInferSchema: Field 'de...原创 2017-02-15 19:36:25 · 350 阅读 · 0 评论 -
spark-note
import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.types._ import spark.implicits._ import org.apache.spark.sql.functions.udf i...原创 2017-02-25 10:57:57 · 277 阅读 · 0 评论
分享