
spark
路漫漫,远修兮
这个作者很懒,什么都没留下…
展开
-
SparkStreaming实时词频统计_路漫漫远俢兮
import org.apache.spark._import org.apache.spark.streaming._object FileTestStream{//这是一个实时监控一个目录,来进行词频统计的脚本 def main(args:Array[String]):Unit={ //设置为本地运行模式,两个线程,一个监听,一个处理数据 val sparkConf=new SparkConf().setAppNam.原创 2020-06-08 13:24:49 · 527 阅读 · 0 评论 -
object streaming is not a member of package org.apache.spark_解决方式_路漫漫远俢兮
报错如下:遇到这个错误当时就蒙了,导包也能出错原因:在.sbt配置文件中少了% "provided"部分,完整如下:libraryDependencies += "org.apache.spark" % "spark-streaming_2.12" % "2.4.5" % "provided"使用maven打包的参考官方连接:http://spark.apache.org/docs/latest/streaming-programming-guide.html#a-quick-examp原创 2020-06-08 12:56:41 · 1801 阅读 · 0 评论