qq_38174815的博客

ClickHouse数据写入时出现两种异常情况：1) 数据读取不完整异常（Code: 33, e.displayText() = DB::Exception: Cannot read all data），2) 内存超限异常（Code: 241, e.displayText() = DB::Exception: Memory limit (for query) 分析两种可能的原因因

1.Spark保存文件并设置文件压缩格式2.Spark Streaming窗口窗口大小（Window Length）：Durations.seconds(interval + 10)。由于interval = 300，窗口大小就是300 + 10 = 310秒。这意味着每个窗口将覆盖310秒（即5分钟零10秒）的数据。滑动间隔（Slide Interval）：Durations.seconds(interval)。这里的滑动间隔是300秒，即5分钟。滑动间隔定义了窗口操作执行的频率。

flume channel配置配置checkpoint异常

Spark动态资源调度

SparkRDD操作之aggregate 看代码最好解释 package cn.sparkdemo.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext, TaskContext} object RDDAggregate { def main(args: Array[String]): Unit = { //1、创建上下文对象 val sparkConf: Spar

sparkRDD操作之ReduceByKey和GroupByKey比较 直接看代码 package cn.sparkdemo.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object TestRDDFuctions { def main(args: Array[String]): Unit = { //1、创建上下文对象 val sparkConf: Sp