
spark
文章平均质量分 64
ChrisYANG23521
这个作者很懒,什么都没留下…
展开
-
cloudera中启动spark-shell,进行ALS推荐算法的使用时,用到的jblas的导入方法
我们在使用spark的ALS的推荐算法时,需要用到jblas包,这时如果我们直接利用: import org.jblas.DoubleMatrix会提示我们jblas包不存在的问题。 一般我们直接将下载的jblas包,放在spark的lib目录下,启动完成。 但是,cloudera中启动spark-shell,导入jblas包的时候,提示不存在,直接放在lib目录下,导入还是...原创 2018-06-27 10:47:44 · 616 阅读 · 0 评论 -
spark streaming程序WordCount运行过程
一、主要过程: 首先安装好spark,启动spark服务;启动nc服务,nc端也将一直处于等待状态;在启动程序,启动后程序一直处于运行状态,运行的间隔时间可以在程序中设置;然后在nc端输入数据,在程序运行段,进行结果的显示。二、具体过程:1.启动spark: [root@hadoop11 sbin]# ./start-all.sh 2.查看master和w...原创 2018-11-07 21:44:11 · 1996 阅读 · 1 评论