2401_84241812的博客

原创 数值类型。

原创 collect和take操作

原创 kafka安装与测试

测试kafka的消息生产和消费 在A终端随便输入几行B终端就会看到。修改kafka目录的所属用户和组为spark：spark。到/usr/local 创建软链接kafka。测试nc端和客户端互发数据。zookeeper服务。

原创 SparkStreaming通话记录消息处理

（2）打开一个Linux终端窗体，在其中输入下面的命令，将消息接收者程序提交到Spark中运行，其中用到的spark-streaming-kafka-0-8-assembly_2.11-2.4.8.jar依赖库文件此前已下载放在~/streaming目录中，为避免每次提交应用程序时在命令行手动指定，可以将其复制到集群的各节点Spark安装目录中（位于/usr/local/spark/jars目录）从输出结果可以清楚地看到，接收的Kafka消息是一系列（K,V）键值对形式的二元组，其中的K代表。

原创 keys和values操作

原创 reduceByKey合并数据

原创 subtract数据减集

原创 intersection数据交集

原创 Spark环境搭建与配置

输入密码spark，回车，在弹出的窗口点击no（不保存登陆密码），进入下图中的页面后，可以直接在红圈处输入linux命令，还可以通过左侧SFTP 将Windows 本地的文件上传到远程服务器。（如果失败，后面弹出红色字exit，关闭这个界面，注意不是这个系统界面，是黑色框的界面，点击确定，然后再双击自己的ip，再次输入密码，就成功了）将MobaXterm便携版解压缩到Windows的一个目录中，然后启动里面的MobaXterm_Personal可执 行文件，就会打开MobaXterm窗体的初始界面。

原创 mapValues和flatMapValues操作

原创 union合并数据

原创 groupby分组数据

原创 spark 知识概括

Row(id='12', name='宋江', age=25, gender='男', object='chinese', score=50), Row(id='12', name='宋江', age=25, gender='男', object='math', score=60)]rdd = sc.parallelize([1,2,3,6,5,4,6,12,23]).groupBy(lambda x:x%3) #将元素分成3组，第一组x%3==0，第二组x%3==1，第三组x%3==2。

原创 distinct去重数据

原创 启动集群命令

原创 filter筛选数据

原创 RDD的转换操作

原创 mysql启动