FFFSSSFFF6的博客

1. spark为什么这么快，spark sql一定比hive快吗？ spark是基于内存计算的，速度比mapreduce要快。与mr相比spark使用DAG有向无环图进行计算，减少了数据的落地，而mr则是每次计算数据都会写入磁盘，再从磁盘读取出来计算。 spark比mr快主要两个原因： ①mr通常需要将计算结果写入磁盘，然后还要读取磁盘，从而导致频繁的磁盘IO。 ②mr采用的多进程模型，而spark采用了多线程模型。也就是说mr的map task 和reduce task 是进程级别的，而spark t

1. flink checkpoint了解吗？ 2. flink反压了解吗？如何处理反压？ 3. flink水印说说？ 4. flink重启策略。默认有什么问题？ 5. flink 部署模式有哪些？ 6. flink的监控页面，有了解吗，主要关注那些指标？ 7. flink集群规模， 数据量 8. flink作业，flink参数配配置 9. flink 并行度 、slot区别 10 . flink state状态 11. flink 状态后端分类，增量checkpoint 12. flink s

大数据-kafak 1. kafka数据传输的事务定义有哪三种？ ① 最多一次（at most once）：消息不会被重复发送，最多被传输一次，但也有可能一次都不传输 ② 最少一次（at leatest once）：消息不会被漏发，最少被传输一次，但也有可能被重复传输 ③精确一次（exactly once）：不会漏传输也不会重复传输，每个消息都传输一次且有且仅有一次。 2. kafka判断一个节点是否还活着有哪两个条件？ ① 节点必须可以和zk相连，zk通过心跳机制检查每个节点的状态 ② 如果节点是个