Flink+Spark相关记录

Flink与Spark读写parquet文件全解析 Parquet介绍 Parquet 是一种开源文件格式,用于处理扁平列式存储数据格式,可供 Hadoop 生态系统中的任何项目使用。 Parquet 可以很好地处理大量复杂数据。它以其高性能的数据压缩和处理各种编码类型的能力而闻名。与基于行的文件(如 CSV 或 TSV 文件)相比,Apache Parquet 旨在实现高效且高性能的平面列式数据存储格式。 Parquet 使用记录粉碎和组装算法,该算法优于嵌套命名空间的简单展平。 Parquet 经过优化,可以批量处理复杂数据,并具有不同的方式来实现高效的 阅读详情

Flink+Spark相关记录


  • FlinkSQL

  • Flink Streaming的一些点
  • 覆写RichSource、RichSink、RichMap
    1.Source自动负载均衡,CDC源端加入一个全局调控的节点监控流量流速
    2.Sink并发写入
    3.Map与Iterator与增量迭代等用法
  • 关于Checkpoint几个用法
    1.提交Commit至目的端数据库
    2.UnalignedCheckpoint与ChandyLamport与ChangeLog存增量快照
    3.Buffer写盘
    4.ckp与record共抢一把锁,独占writeBuffer(1.16版本),ckp禁止太快
    5.State写盘+broadcast+JVM+keyState+operatorState+并行度自动扩缩容时恢复

Spark记录

  • groupByKey
  • reduceByKey
  • combineByKey(createCombiner+mergeValue+mergeCombiner)
  • aggregate(n)(seqOp,combOp)
  • 关于ByKey和Join不一定会产生shuffle,先设置好new HashPartition或Custom或Range、之后直接forward不需要shuffle
  • Driver产生一个DAG
    1.一个DAG里的一个节点=>一个RDD
    2.一个RDD=>多个分区
    3.一个分区=>一个Task
    ===>一个DAG有多个RDD,一个RDD有多个Task
    ===>也就是DAG控制多个弹性数据集流转

  • JVM与堆外内存
  • JVM里的StorageMemory(读RDD用)和ExecutionMemory(shuffle/agg/join用)
  • 关于合理设计Block->TaskPartition大小,(4G-200M)*0.5,又因为动态可以弹性,可直接3.8G
  • Spark设置cache和persist缓存级别(每个分区的都会cache,cache务必保证100%否则重算)
  • 对于Flink又有一个slot(JVM)里运行多个算子,所以可以考虑slot内数据总量和资源消耗整体分析
  • 关于Executor add后很久才执行,说明任务调度拥堵
  • 堆外内存

history 403 原文链接:https://blog.youkuaiyun.com/TT1024167802/article/details/126086251df -h|grep kubelet |awk -F % '{print $2}'|xargs umount。471 原文链接:https://blog.youkuaiyun.com/TT1024167802/article/details/126086251df -h|grep kubelet |awk -F % '{print $2}'|xargs umount。 阅读详情

相关推荐

百度AIDU计划大数据一面面经

百度AIDU计划大数据一面面经(凉经)整个流程如下:项目相关内容介绍spark相关内容JVM 相关内容 整个流程如下: 首先进行自我介绍 项目相关内容介绍 1.项目介绍 2.项目的难点和实现的最核心的东西 3.整个项目中你做了什么? 4.时延是多少? 5.缓存多大的量? 6.redis旁路缓存的具体过程,如何保证数据一致性的 总结:1.项目的内容我应该说实时数仓的相关内容 2.具体内容的重点我应该说数据分流、旁路缓存和维度拼接的内容 这一块需要再次组织语言,针对使用的内存量是多少

破风少年 1321

自助者天助之|记录大数据提高班锦鲤妹妹从小公司进入中大厂的经历!

深夜码字,这篇文章记录的是大数据提高班带的一个小学妹,我们下文称她为锦鲤妹妹。锦鲤妹妹的个人学历和履历背景没有大家想象的那么好,普通学校,普通的工作履历。我们直接进入正题,关于学习的过程中做得好的地方供大家借鉴。PS:不要以为你们长得好看我就不敢凶你们????首先,在对待学习的态度上。 互联网发展至今,加上这两年的大环境问题,已经有相当多的同学做了妥协甚至躺平。锦鲤妹妹在学习态度上,在我带过的这些同学当...

微信搜:import_bigdata,大数据领域硬核原创作者 2293

flink理论干货笔记(7)及spark论文相关思考

691.Dstreams也能像flink那样,处理无序/乱序的记录吗?可以,Dstreams提供了两种方法:1)Dstreams可以在每个批次之前等待一个空闲时间 2)允许用户自行对迟到数据进行纠正。比如增量reduce操作,即在老计数基础上再加新纪录的计数,来避免重复计算。...

Nichkhun的博客 720

Hadoop集群部署

/ 声明一个布尔变量,作为控制数据生成的标识位 private Boolean running = true;// 在指定的数据集中随机选取数据 String [ ] users = {id=2" };// 隔 1 秒生成一个点击事件,方便观测 Thread . sleep(1000);} }// 声明一个布尔变量,作为控制数据生成的标识位 private Boolean running = true;

m0_55878559的博客 3万+

数据中台技术选型指南:Hadoop、Spark、Flink如何抉择?

想象你是一家奶茶店的老板,随着生意越做越大,你需要建一个"中央厨房":既要存储海量的原材料(茶叶、牛奶、珍珠),又要高效加工(煮茶、熬珍珠),还要实时监控库存和订单。数据中台就像企业的数据"中央厨房",而Hadoop、Spark、Flink就是厨房里的关键设备。本文的目的,就是帮你搞清楚:这三台"设备"分别擅长什么?在什么情况下该选哪台?又该如何组合使用?本文将覆盖三大技术的核心原理、适用场景、性能对比和实战选型方法,范围聚焦数据中台建设中的计算与存储层技术选型,不涉及上层业务模型设计。核心概念与联系。

移动开发前沿的博客 1227

Hudi数据湖-基于Flink、Spark湖仓一体、实时入湖保姆级教学

Hudi数据湖-Flink、Spark湖仓一体、实时入湖保姆级教学

xiaoyixiao_的博客 3988

腾讯面试总结

5.21 一面(电话)30min 1.自我介绍 2.项目介绍 3.hbase RS和region有什么区别 4.hbase写数据的流程 5.RS挂掉以后有什么影响,数据会怎么恢复 6.Hlog是如何恢复数据的,具体的流程 7.spark的shuffle和MR的shuffle有什么区别? 8.spark有哪几种shuffle? 5.22 一面(电话)60min 5....

weixin_30634661的博客 145

比拼生态和未来,Spark和Flink哪家强?

概 况 Spark 是最活跃的 Apache 项目之一。从 2014 年左右开始得到广泛关注。Spark 的开源社区一度达到上千的活跃贡献者。最主要推动者是 Databricks,由最初的 Spark 创造者们成立的公司。今年 6 月的 Spark+AI 峰会参加人数超过 4000。 Spark 因为在引擎方面比 MapReduce 全面占优,经过几年发展和 Hadoop 生态结合较好,已经被广...

java1856905的博客 1839

2020-10-24 大数据面试问题

上周面试数据开发职位主要从公司的视角讲一下记录下面试流水。 1.三面技术一轮hr,面到了cto 整体来看是这一周技术含量最高信息量最大的一个,1到4轮过了4个小时,技术上的问题主要问的对数据分层的理解。 1. 一面自我介绍、目前团队的规模多大(20)、你负责的模块是那些(购物、短信、增长)、那几个人在做 2. 数据架构图划分(五层架构讲了7分钟左右) 3. 指标口径怎么统一 、那些工作(定标准、报表和核心、场景)、数据治理怎么做(元数据管理) 动作:业务迭代下线模型 。依据:指标热度、模型事实冗.

liuxiaoer1的专栏 2412

全国职业院校技能大赛高职组“大数据应用开发“任务A-Hadoop相关组件的配置笔记

Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,它能让用户轻松地开发处理海量数据的应用程序,其主要优点有:高可靠性:Hadoop 按位存储和处理数据的能力值得人们信赖。

我是网络安全兼技能大赛工程师,专注网络安全技术学习与技能大赛实战!持续分享最新的技术文章,帮你少走弯路,一起在技术赛道上进步~ 1237

射频电源与等离子体技术:原理、应用与优化策略

射频电源(RF Power Supply)作为高频交流电信号发生器,在半导体制造和材料处理中扮演关键角色。其核心原理是通过高频电场激发气体产生等离子体,这种电离气体包含电子、离子和活性基团,具有独特的非平衡特性。技术价值体现在等离子体密度和电子温度的可控性上,使得在刻蚀和沉积工艺中能精确调控材料处理效果。应用场景广泛覆盖PECVD、深槽刻蚀等工业流程,其中13.56MHz ISM频段因其全球合规性成为行业标准。优化策略包括双频驱动和阻抗匹配网络设计,可显著提升工艺均匀性和设备效率。

weixin_29163797的博客 393

大数据面试真题_C

问的离线,实时没问。

走过冬季 275

C#实战:5分钟搞定Modbus RTU通讯(基于NModbus4库)

本文详细介绍了如何使用C#和NModbus4库快速实现Modbus RTU通讯,包括环境配置、核心功能实现、性能优化及常见问题排查。通过代码示例和实用技巧,帮助开发者高效完成工业自动化设备的数据采集与控制任务。

weixin_30689307的博客 469

Flink vs Spark

Flink的特性Apache Flink 是一个流式处理框架,它不仅支持高效的流处理,还能够处理批量数据。Flink 的设计目标是提供一个高吞吐量、低延迟、容错可靠的分布式数据流处理平台。以下是 Flink 的核心特性总结:1.统一的流处理和批处理模型Flink 的最大优势之一是它提供了一个统一的处理模型,可以同时处理流数据和批数据。传统的流处理系统和批处理系统往往被分开处理,而 Flink 通...

weixin_46007214的博客 1055

OpenHarmony系统参数权限配置避坑指南:从param get/set失败到SELinux标签实战

本文深入解析OpenHarmony系统参数权限配置的常见问题与解决方案,涵盖DAC和SELinux双重权限控制机制。通过实战案例演示如何配置`param get/set`权限,解决'Permission denied'错误,并提供三方应用访问参数的安全方案,帮助开发者高效完成系统调试与优化。

weixin_27013291的博客 451

tsfknn 预测R语言中的时间序列

rolling参数应该设置为FALSE,这使得最后的18个观测值成为测试集,其余的作为训练集;如果我们将rolling参数设置为默认值TRUE,那么测试集就不会是一个恒定的向量。lag 滞后参数表示时间序列数据的滞后值。在这个例子中,由于我们的时间序列数据是月度的,我们将参数设置为1:12。作为药品福利计划的一部分,澳大利亚健康保险委员会记录的属于ATC代码A10的产品的每月政府支出(百万美元)。我们将使用tsfknn包,它可以用来预测R语言中的时间序列。格式:ts类别的月度时间序列。

Mrrunsen的博客 326

大数据代表技术:Hadoop、Spark、Flink、Beam

大数据代表技术:Hadoop、Spark、Flink、Beam Hadoop:从2005年到2015年,说到大数据都是讲hadoop。Hadoop是一整套的技术框架,不是一个单一软件,它是一个生态系统。 Hadoop有两大核心:第一个是它解决了分布式存储的框架叫HDFS,这是一个分布式存储系统。第二个是解决了分布式计算框架叫MapReduce。这是它的两大关键技术,除此以外,还有其他相关技...

abcdrachel的博客 5438

手把手教你学Simulink——电机电磁兼容与可靠性场景示例:基于Simulink的电机噪声抑制控制仿真

本文带你完成了电机噪声抑制控制的Simulink仿真,实现了:✅ 揭示了电磁噪声从电流到声音的传递机理✅ 搭建了含死区、固定载波等噪声源的高保真模型随机PWM(消除啸叫)谐振控制器(抑制5/7次嗡鸣)谐波注入(降低THD) ✅ 通过综合方案将噪声降低10 dB以上(感知响度减半!) ✅ 为产品静音品质提升提供可落地的控制方案。

MHD0815的博客 94

还有多久 Flink 会取代 Spark?先看看 Flink 流批一体有多牛吧!

身为大数据工程师,你还在苦学Spark、Hadoop、Storm,却还没搞过Flink?醒醒吧!刚过去的2020双11,阿里在Flink实时计算技术的驱动下全程保持了“如丝般顺滑”,基于...

过往记忆大数据 2391

把 ABAP ALE Change Pointers 讲透:从 CDHDR/CDPOS 到 BDCP2,再到 RBDMIDOC 的自动分发链路

摘要:SAP ALE Change Pointers机制在系统集成中实现业务变更与数据分发的解耦。它记录业务对象变更(如SAP主数据修改),但不立即发送,而是由后续分发逻辑决定发送时机和方式。该机制包含两层:Change Documents记录审计级变更明细,Change Pointers标记需分发的关键变更。配置核心包括全局开关、消息类型激活和字段选择。典型应用如零售价格条件变更自动推送至POS系统,通过BDCP2表存储待处理队列,由RBDMIDOC程序定时评估生成IDoc。运维需关注定期清理和性能优化,

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 212

YOLOv11改进 - 卷积Conv | PATConv(Partial Attention Convolution)部分注意力卷积,在减少计算量的同时融合卷积与注意力的优势 | AAAI 2026

本文提出部分注意力卷积(PATConv)机制,并将其集成到YOLOv11中。传统神经网络中,卷积计算密集,注意力机制全局计算冗余,此前的“部分卷积”会丢失未计算通道的特征价值。PATConv通过“通道拆分 - 并行处理 - 结果拼接”的逻辑,给不同通道分配“擅长的任务”,兼顾局部与全局特征。基于此,它还衍生出PAT_ch、PAT_sp和PAT_sf三种细分模块。此外,还提出了动态部分卷积(DPConv),并构建了新的混合网络家族PartialNet。我们将PATConv代码集成到YOLOv11中,实验表明,

魔改工程师的博客 1085

Hive Spark Flink Hdfs数据倾斜解决方案优化

综合以上分析,我们针对不同框架的数据倾斜问题提出以下最佳实践和可操作的优化策略:Hive 离线计算设计健壮的SQL:尽量避免产生倾斜的查询模式。大表Join尽量先过滤无关数据,或者拆分步骤处理。适当使用MAPJOIN/广播小表,减少需要shuffle的数据量.启用倾斜优化参数:在Hive on MR/Tez上开启和)等,让Hive自动检测并处理倾斜键.充分利用分区和桶:数据导入Hive时设计合理分区键,避免单分区数据过于悬殊。

weixin_50227709的博客 2922

Cesium 场景特效之【全球海洋】GL2兼容版

Cesium 场景特效之【全球海洋】GL2兼容版

喜欢钻研前端和分享技术 1280

【翻译】Flink和Spark性能对比

对比广告业务场景下,目前最流行的流处理引擎Flink和Spark streaming性能

terrygmx的博客 461

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Flink KeyBy算子 与 Spark groupBy

​​特性​​​​FlinkkeyBy​​​​SparkgroupBy​​​​适用场景​​流处理(实时、低延迟)批处理(离线、高吞吐)​​返回类型​​(逻辑分组)(物理分组)​​分区策略​​哈希分区(动态、并行度相关)全量Shuffle(静态、数据全局重组)​​状态管理​​内置状态(如窗口、Checkpoint)无内置状态(需手动或流处理API)​​性能优化​​本地状态缓存、增量计算需结合等优化Shuffle​​多Key支持​​复合Key(元组、POJO)元组形式。

th3way的博客 719

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

实时流处理框架(如Flink、Spark Streaming)

Flink提供了多种时间语义(Time Semantics),包括事件时间(Event Time)、处理时间(Processing Time)和摄取时间(Ingestion Time)。Checkpoint会定期将系统的状态(包括算子的状态)持久化到外部存储(如HDFS、S3等),以便在发生故障时能够从最近的Checkpoint恢复状态,继续处理数据流。在发生故障时,可以从最近的Checkpoint恢复状态,继续处理数据流,从而避免数据丢失或不一致的情况发生。

smile6868的博客 1639

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

上一篇: Doris相关记录
Parallel2333
博客等级 码龄10年 40粉丝 51原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值