
大数据分析
小蝎子不喜甜食
这个作者很懒,什么都没留下…
展开
-
sarpk安装依赖包特别慢的时候
需要安装一个graphframe在spark下用用的命令是:./spark-shell --packages graphframes:graphframes:0.2.0-spark1.6-s_2.10但是因为网络原因,有个scala-lang_scala-reflect-2.10.4.jar包下的特别慢最后我想自己在网上下一个,传到安装目录下搜了半天最后发现在目录依赖包的目录是ivy2下载时候先检...原创 2017-11-02 07:20:06 · 718 阅读 · 0 评论 -
spark 报错ypeError: expected string or Unicode object, NoneType found
spark 报错ypeError: expected string or Unicode object, NoneType found 刚开始时候写法: hive_data = hc.sql(sql).groupBy("sip", "agent").count().map(lambda x:[x.sip,[[x.agent,x.count],]]) 最后报了上面的错 最终发现是原创 2017-11-02 07:13:22 · 4492 阅读 · 0 评论