- 博客(7)
- 收藏
- 关注
RSS订阅原创 11.4 DataFrame
df.selectExpr("id as ID").show() //设置了一个别名ID。df.select("id").show() //选择“id”列。.appName("Spark SQL basic example") //设置会话名称。.appName("Spark SQL basic example") //设置会话名称。
2024-09-20 16:50:53
653
1
原创 11.5 Spark SQL
/步3：第一次使用map对每一行进行split，第二次使用map将数据封装到Bean中,最后使用toDF转换成DataFrame。/** 步1：声明JavaBean，并直接声明主构造方法 * */（1） 给DataFrame设置别名（一行代码一行代码运行）/** 声明无参数的构造，调用主构造方法 * *///步4：显示或是保存数据。
2024-09-20 16:50:34
1842
原创 11.6 Spark Streaming
(8)IDEA打开Streaming2.scala,设置自己的hdfs地址,可以使用以下代码查看在虚拟机,并且更改IDEA第7 12行的代码。（1）打开FileStreaming.scala文件，使用Maven打包，并且复制到app文件夹下。打开DStreaming.scala，修改19行的ip地址改成自己的，并且运行。(2) 打开文件WindowFun.scal,修改主机名为自己的,并且运行。(2) 打开虚拟机,配置镜像文件,如果配置过,请忽略此步骤。运行打包的项目，根据自己的位置和端口进行修改。
2024-09-20 16:50:18
1716
1
原创 11.3 spark-submit
在本地windows中，打开WordCount2.scala，使用11.2节最后面的maven打包方式进行打包，并且把包传到虚拟机，可以新建一个文件夹，但是后面的路径需要跟文件的路径一致。在虚拟机打开hadoop，在命令行中输入。1.使用spark-submit提交。
2024-09-20 16:49:59
421
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人