中长跑路上的crush

【代码】Spark写入kafka（批数据和流式）

生产者生产数据的速度超过消费者处理数据的速度,会造成kafka中积压大量未处理的数据。

【代码】Spark读取kafka（流式和批数据）

update 支持聚合，支持select单纯的查询 不支持聚合后排序，每次输出时，只展示最新聚合后的结果。#complete 必须聚合，支持聚合后排序 每次输出数据都会将原来的数据一起输出。#append 不支持排序，不支持聚合， 每次输出数据都是最新的数据内容。#format指定输出位置 console：控制台。也就是说不支持聚合结果输出到文件当中。

df_json = ss.readStream.json(‘hdfs://node1:8020/目录’)df_csv = ss.readStream.csv(‘hdfs://node1:8020/目录’)场景：某天你上传一个文件，发现它不做任何读取和处理，你需要考虑，这个文件名以前是否处理过了。文件的读取方式在实际开发中用的比较少，每生产一条数据，就要生成一个文件（你修改了文件一的内容，不修改文件名，你再次上传会发现它不去读取。但是你不修改文件内容，修改文件名，你再上传会发现它还会去读取。

from pyspark.sql import SparkSessionfrom pyspark.sql.types import *ss = SparkSession.builder.getOrCreate()df_csv = ss.read.csv(‘hdfs://node1:8020/user/hive/warehouse/data/stu.csv’,schema=‘name string,age int,gender string,phone string,email string,city s

英文名：Message Queue，经常缩写为MQ。从字面上来理解，消息队列是用来存储传递消息的。

rand()nullvoidCTAS建表。

多个broker会选取产生一个控制器， 类似zk中 leader角色。kafka集群运行后，每台服务器上的kafka称为一个broker节点。分区（分片） Partition。副本 Replication。处理消费者和生成者的请求。偏移量(offset)

也是将中间rdd数据存储起来，但是存储的位置实时分布式存储系统，可以进行永久保存，程序结束不会释放。缓存是将数据存储在内存或者磁盘上，缓存的特点时，计算结束，缓存自动清空。如果需要删除就在hdfs上删除对应的目录文件。

map,flatmap,sortBykey, reduceBykey,groupBykey,Mapvalues,filter,distinct,sortBy,groupBy共10个转换算子。

rdd中封装了各种算子方便进行计算，主要分为两类转化算子 对rdd数据进行转化计算得到新的rdd，定义了一个线程任务action执行算子 触发计算任务，让计算任务进行执行，得到结果触发线程执行的。

建库一定要指定字符集，错了好多次了。

(base)node1: pyspark --master spark://node1:7077,node2:7077 但是你前提得开启zk服务，并在另一台服务器开启备用服务 高可用模式。进入的是本地模式 在node1上输入就使用node1的资源，在node2上输入就使用node2的资源[代码测试用]sftp服务，将本地目录和远程服务器上的目录做映射，将本地代码文件同步到远程服务器上。如何只启动spark计算引擎，而不启动spark自带的资源调度服务。注意这里是all.sh是把所有的都启动了。