Spark
计算机动物
程序人生
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Cannot run multiple SparkContexts at once; existing SparkContext错误
最近在写一个基于spark的推荐网站,原理很简单,就是前端页面表单接受数据(用户ID)传给基于spark的推荐程序,将结果反馈给页面。第一次输入ID可以成功执行,第二次就会报这个错误很简单是因为再次运行spark需要将spark停止解决办法:在使用spark的时候我们都会初始化一个SparkContext对象为sc (名称任意) python演示记坑!try: sc.stop() exc...原创 2018-05-25 14:16:21 · 2214 阅读 · 0 评论 -
Windows单机jdk + scala + spark + hadoop + pycharm开发环境的搭建
安装步骤 折腾好久,主要是网上教程太散了有的地方还没说全 版本 jdk 1.8 scala 2.10.7 spark 1.6.0(依赖hadoop 2.6) hadoop 2.6.5 spark 1.6还是比较稳定好用的,下载链接自己找 放一下hadoop相关的链接吧链接: https://pan.baidu.com/s/1IU0GDJtvo70rwm7srRmr9A 提取码: 9c68 这是不...原创 2019-02-23 12:38:33 · 969 阅读 · 0 评论
分享