最新丨光热发电2023政策梳理,附100+份相关资料干货

一次实时数据链路丢数排查:从 MQTT 队列积压到 SQL 统计开销 本文通过一次实时数据链路压测,排查了从MQTT到ClickHouse的端到端数据丢失问题。核心方法是为每条消息添加序号,建立独立观察点(MQTT订阅端、Kafka消费者),结合转发服务阶段统计与线程栈分析,定位到下游处理速度不足源于Druid SQL合并统计的高开销。优化措施包括关闭SQL合并、扩容代理队列、增强生产侧失败处理,并验证15分钟内实现全链路对账一致,显著缓解积压与丢包。关键收获:数据可对账、明确各阶段“成功”定义、关注客户端队列状态。 阅读详情

一、2023年光热发电行业政策梳理

01.国家能源局

3月20日,国家能源局发布关于推动光热发电规模化发展有关事项的通知,要求积极开展光热规模化发展研究工作。内蒙古、甘肃、青海、新疆等光热发电重点省份能源主管部门要积极推进光热发电项目规划建设,根据研究成果及时调整相关规划或相关基地实施方案,统筹协调光伏、光热规划布局,合理布局或预留光热场址,在本省新能源基地建设中同步推动光热发电项目规模化、产业化发展,力争“十四五“期间,全国光热发电每年新增开工规模达到300万千瓦左右。

图片

02.广东能源局

5月11日,广东省能源局发布关于2023年公共机构节能降碳工作安排的通知,通知指出,鼓励市场化方式推动分布式光伏、光热项目建设,更大力度推动公共机构开展节能降碳改造。大力推进终端用能电气化,有序推进煤炭消费替代。加大可再生能源利用和热泵、高效储能技术应用力度。

图片

03.青海能源局

7月10日,青海省能源局发布关于推动“十四五”光热发电项目规模化发展的通知。《通知》中提出,加大电价支持。纳入2021年、2022年全省新能源开发建设方案且按期建成的本地消纳项目,光热上网电价按照煤电基准电价执行。2023至2025年,通过竞争性配置取得的光热一体化项目均参与市场化交易,光热上网电价参照《国家发展改革委关于进一步深化燃煤发电上网电价市场化改革的通知》(发改价格〔2021〕1439号)执行,绿电优先参与青海省各类电力市场,具体按照市场交易规则完成。

图片

04.四部门联合

8月22日,工信部、科技部、国家能源局、国家标准化管理委员会四部门联合印发《新产业标准化领航工程实施方案(2023─2035年)》,实施方案提出全面推进新兴产业标准体系建设。在新能源领域,研制光伏发电、光热发电、风力发电等新能源发电标准,优化完善新能源并网标准,研制光储发电系统、光热发电系统、风电装备等关键设备标准。

图片

05.生态环境部

10月24日,生环境部正式制定发布了《温室气体自愿减排项目方法学 造林碳汇(CCER-14-001-V01)》、《温室气体自愿减排项目方法学 并网光热发电(CCER-01-001-V01)》、《温室气体自愿减排项目方法学 并网海上风力发电(CCER-01-002-V01)》、《温室气体自愿减排项目方法学 红树林营造(CCER-14-002-V01)》等4项温室气体自愿减排项目方法学,其中就涉及光热发电。

图片

二、干货目录

1. 政策目录

【政策】2021年国家发展改革委 国家能源局关于推进电力源网荷储一体化和多能互补发展的指导意见

【政策】2021年国务院关于印发2030年前碳达峰行动方案的通知_环境监测、保护与治理

【政策】2022年国家发展改革委、国家能源局联合印发“十四五”现代能源体系规划

【政策】2022年国家能源局、科学技术部对外印发“十四五”能源领域科技创新规划

【政策】2022年内蒙古能源局发布蒙西新型电力系统建设行动方案1.0版

【政策】2022年内蒙古自治区能源局对外印发“十四五”电力发展规划

【政策】2023年工信部、科技部等四部门联合印发新产业标准化领航工程实施方案

【政策】2023年广东省能源局关于公共机构节能降碳工作安排的通知

【政策】2023年国管局关于2023年公共机构能源资源节约和生态环境保护工作安排的通知

【政策】2023年国家能源局于印发2023年能源工作指导意见

【政策】2023年国家能源局综合司关于推动光热发电规模化发展有关事项的通知

【政策】2023年青海省能源局关于推动“十四五”光热发电项目规模化发展的通知

图片

2. 培训目录

【培训PPT】2022-2025年光伏市场分析及未来发展趋势报告

【培训PPT】2023年导热材料行业现状分析与前景研究报告

【培训PPT】2023年光伏行业现状分析与前景研究报告

【培训PPT】CSP光热发电技术介绍

【培训PPT】光热发电标准化体系培训

【培训PPT】光热发电技术知识培训PPT课件

图片

3. 标准目录

【国家标准】GB T 33234-2016 光热发电玻璃反射镜反射比测试方法

【国家标准】GB T 33235-2016 光热发电玻璃反射镜抗冰雹冲击试验方法

【国家标准】GB T 33677-2017 太阳能资源等级 直接辐射

【国家标准】GB T 40099-2021 太阳能光热发电站 代表年太阳辐射数据集的生成方法

【国家标准】GB T 40104-2021 太阳能光热发电站 术语

【国家标准】GB T 40614-2021 光热发电站性能评估技术要求

【国家标准】GB T 40858-2021 太阳能光热发电站集热管通用要求与测试方法

【国家标准】GB T 40866-2021 太阳能光热发电站调度命名规则

【国家标准】GB T 41087-2021 太阳能热发电站换热系统技术要求

【国家标准】GB T 51307-2018 塔式太阳能光热发电站设计标准

【国家标准】征求意见稿-塔式太阳能光热发电站运行规程

【国家标准】征求意见稿太阳能光热发电站 直接与间接式主动显热储热系统特性

【国家标准】征求意见稿-太阳能光热发电站储热传热用工作介质技术要求 熔融盐

【国家标准】征求意见稿-线性菲涅耳式太阳能光热发电站技术标准

【团体标准】ZJAA001-2022 太阳能光热发电用双导程蜗轮蜗杆式回转减速机技术要求及试验方法

【行业标准】DL T 5621-2021 槽式太阳能热发电厂集热系统设计规范

【行业标准】NB T 10898-2021 槽式太阳能光热发电站真空集热管监造导则

【行业标准】NB T 32028-2016 光热发电工程安全验收评价规程

【行业标准】NB T 32029-2016 光热发电工程安全预评价规程

图片

4. 案例目录

【测算工具】光伏-熔盐储能一体化项目关键参数测算方法

【研究报告】开启长时储能篇章,光热发电和火电改造成为主要应用场景

【研究报告】光热发电行业研究报告:光热发电,潜力巨大

【研究报告】光热发电行业分析报告:自带储能的太阳能利用形式,千亿级市场加速到来

【项目案例】首航节能敦煌100MW熔盐塔式光热电站介绍

【项目案例】施耐德光热发电-滨海方案介绍

【项目案例】光热发电设备开发与迪拜光热光伏项目介绍

【可行性报告】50MW光热发电设备可行性研究报告

【可行性报告】太阳能光热发电装备制造项目可行性研究报告

图片

5. CCER方法学

【项目方法学】CCER-01-001-V01温室气体自愿减排项目方法学 并网光热发电

【国家标准】GB 21446-2008 用标准孔板流量计测量天然气流量

【国家标准】GB26972-2011T 聚光型太阳能热发电术语

【国家标准】JJG 596-2012 电子式交流电能表

【国家标准】JJG 640-2016 差压式流量计

【行业标准】 DL∕T 1664-2016电能计量装置现场检验规程

【行业标准】DL∕T 448-2016 电能计量装置技术管理规程

图片

6. 深度报告目录

【报告】2023新能源、环保领域碳中和动态追踪(七十一):政策规划超预期,光热熔盐.pdf

【报告】2023新视角下,光热电站的价值发现PPT.pdf

【报告】2023行业周报:硅片龙头加码组件业务,光热发电获政策支持.pdf

【报告】2023政策推动,光热优质电源发展有望加速.pdf

【报告】发电领域低碳转型新技术PPT.pdf

【报告】光储一体化优势明显,光热发电有望迎来发展拐点PPT.pdf

【报告】光伏光热模式下项目开发要点与未来发展趋势2023PPT.pdf

【报告】光热储能新模式,发展指日可待PPT.pdf

【报告】光热储能专家交流纪要.pdf

【报告】光热发电项目陆续启动,2023年底及2024年或集中落地.pdf

【报告】光热发电装备制造 头豹词条报告系列.pdf

【报告】光热市场开发专家交流.pdf

【报告】熔盐储能:长时储能黄金赛道—光热发电.pdf

【报告】2016电力设备与新能源:光热政策点评:光热发电上网电价确定,撬动千亿市场.pdf

【报告】2016电力设备与新能源深度报告:光热发电大风已至 熔盐储能乘风而起.pdf

【报告】2016电气设备行业点评:光热发电示范项目确定,总量达1.35GW.pdf

【报告】2016光热发电行业深度专题报告:光热政策响惊雷,千亿空间拔地起.pdf

【报告】2016石化行业周报:十三五光热发电投资超千亿,推荐三维工程.pdf

【报告】2016光热发电从0到1爆发在即,千亿规模盛宴开局.pdf

【报告】2016新三板电力设备行业周报:首批光热发电示范项目名单出炉,推荐中海阳.pdf

【报告】2017获16亿元光热发电项目EPC总包合同;在手订单约220亿.pdf

【报告】2021中国太阳能热发电行业蓝皮书.pdf

【报告】2022光热发电会是首航高科下一张王牌吗?.pdf

【报告】2022光热发电行业专题报告:光彩夺目,炙手可热.pdf

【报告】2022年中国光热储能短报告:开启新篇章(摘要版).pdf

【报告】2022中国太阳能热发电行业蓝皮书.pdf

【报告】2023储能电芯显著降价,光热发电规模化发展可期PPT.pdf

【报告】2023低碳研究行业周报:光热发电规模化发展可期,助力风光高水平消纳.pdf

【报告】2023电力设备及新能源行业光热发电专题报告2:解剖光热发电结构和运行机制.pdf

【报告】2023电力设备及新能源行业周报:国家能源局推动光热发电规模化,力争十四五.pdf

【报告】2023电力设备新能源行业周报:关注光热熔盐储能产业链,继续推荐数字电力电.pdf

【报告】2023电力设备新能源行业周报:国内光热发电政策出台,中法联合声明有望缓解.pdf

【报告】2023电力设备与新能源行业周报:光热发电乘风而起,规模化建设有望提速.pdf

【报告】2023《2023年能源工作指导意见》发布,光热发电行业梳理.pdf

【报告】2023公用事业:政策出台助力光热发电,行业规模化发展有望提速.pdf

【报告】2023固收点评-转债捕手系列:光热发电行业可转债标的知多少?.pdf

【报告】2023光热储能:政策驱动成长加快,保温材料、光热玻璃有望受益PPT.pdf

【报告】2023光热发电迎政策利好,市场爆发在即.pdf

【报告】2023光热发电政策大推进,产业规模化发展渐近.pdf

【报告】2023光热市场有望迎来加速,欧洲新能源汽车3月销量表现亮眼.pdf

【报告】2023光热行业深度系列报告:自带储能的太阳能利用形式,千亿级市场加速到来PPT.pdf

【报告】2023国家能源局发文加快光热发电项目建设,公司作为光热玻璃龙头有望受益.pdf

【报告】2023加快钢铁领域超低排放改造,光热发电规模化发展有望提速.pdf

【报告】2023熔盐储能开启长时储能篇章,光热发电和火电改造成为主要应用场PPT.pdf

【报告】2023建材行业周报:光热发电支持政策出台,未来发展前景广阔PPT.pdf

【报告】2023看多建筑板块的五条逻辑,关注光热发电和绿色建筑机遇.pdf

【报告】2023绿证实现可再生能源发电项目全覆盖,风光发电运营商有望受益.pdf

【报告】2023熔盐储能开启长时储能新模式,光热电站项目释放有望推动需求增长PPT.pdf

【报告】2023申万新型电力系统(公用环保)周报:2022年新型储能装机翻倍,能源局发.pdf

【报告】2023先进清洁能源装备图册.pdf

图片

mall 电商项目完整部署---实战 mall 后端 SpringBoot,mall‑admin‑web 后台管理 Vue 前端,mall‑app‑sc 移动端 uni‑app 前端;修改数据库、redis、minio、logstash 地址,容器之间 link 别名:mysql 容器别名。🔔排坑:登录报跨域 / 接口报错,检查 prod.env.js 地址,确认 8080 后端服务正常运行。能打开页面,接口列表展示出来,后端部署完成。,所以打包的时候会自动构建镜像,很慢而且你暂时不需要。,容器数据持久化,删除容器数据不会丢失。 阅读详情

相关推荐

告别手动改图!用Python+PyWin32驱动SolidWorks,实现参数自动化修改(保姆级避坑指南)

本文详细介绍了如何利用Python和PyWin32驱动SolidWorks实现参数自动化修改,提供从环境配置到API连接的工业级解决方案。通过实战案例和避坑指南,帮助工程师高效搭建自动化脚本工作流,显著提升设计效率。

weixin_30614109的博客 743

Flink 学习日志 03:自定义一个SourceFunction,完成对Redis中数据的读取

本文介绍了在Flink中自定义SourceFunction读取Redis数据的完整流程:通过Jedis客户端连接WSL2中的Redis服务,编写RedisSource实现循环读取所有Key-value并逐条输出,结合Thread.sleep()实现每秒一条的流式效果。关键步骤包括环境准备、添加Jedis依赖、配置IDEA运行时加载provided依赖,并注意生产环境中应避免使用阻塞的keys *,改用scan命令。最终实现动态读取、实时打印,验证了Flink与Redis的数据集成能力。

木木的学习笔记 423

SAP数据导入避坑指南:财务期初上线实操全流程(含常见错误排查)

本文详细解析了SAP财务期初数据导入的全流程,包括数据准备、主数据标准化、余额与未清项导入等关键步骤,并提供了常见错误排查和解决方案。特别强调了过渡科目和存货价值的处理技巧,帮助企业在SAP系统上线时避免数据导入陷阱,确保财务数据的准确性和系统平稳运行。

weixin_30832143的博客 396

Day3 - Flink 窗口与时间语义:从滚动窗口到迟到数据处理

水位线是一个特殊的时间戳,代表"小于这个时间戳的数据都已经到齐了比如水位线推进到 10:00:05,就告诉 Flink:10:00:05 之前的数据应该都到了,如果还有晚于这个时间到达但时间戳小于 10:00:05 的数据,就是"迟到数据"。窗口大小固定,窗口之间不重叠,数据只属于一个窗口。时间线: 0 10 20 30 40 50 60窗口1: [--------)窗口2: [--------)窗口3: [--------)窗口4: [--------)

YEEMOLY的博客 251

最优控制理论 二+、哈密尔顿函数法的补充

本章基于变分法所推出的哈密尔顿函数法,2、讨论了积分方程约束的转化、控制+状态等式约束的一阶必要条件。3、控制分段连续、状态存在内点约束等情况下的角点条件,给出了协态变量和哈密尔顿函数在内点处不连续的表达式。...

MSysの优快云 9394

17【Protues单片机仿真】基于51单片机的太阳能智能谷物翻晒机器人

基于51单片机,避障,低于50CM报警,LED灯亮起,自动翻晒用光敏电阻,光照强度大,电机转动,相当于翻晒粮食,远程控制用按键代替,按下去电机就转动,相当于翻晒粮食,然后光照强度和超声波的距离都在LCD1602显示屏显示出来。

weixin_70360261的博客 1448

智能问诊的流程

本文介绍基于FastAPI构建的医疗多Agent系统MediAgent,通过症状分析、诊断推理与治疗建议等模块协同,实现从问诊到报告生成的完整工作流。系统采用前后端分离架构,结合MySQL、RabbitMQ与Docker实现工程化部署,支持异步化验结果接入。虽当前状态暂存于内存,但已具备可扩展性,未来可通过Redis持久化、消息队列联动及医疗安全机制完善,应用于慢病管理、辅助决策等场景,推动AI在医疗流程中的落地应用。

Joey 的工作空间~ 774

手把手保姆级|Python爬取微信公众号文章完整版,反反爬策略拉满,附可运行完整代码(永久可用)

做Python爬虫的朋友都知道,爬取微信公众号文章 绝对是爬虫领域的「香饽饽」也是「硬骨头」。一方面,微信公众号的文章是极具价值的数据源:不管是自媒体从业者做竞品分析、新媒体运营者整理干货、还是个人学习收集资料,都需要批量爬取公众号文章;另一方面,微信的反爬机制堪称全网最严苛之一 ——腾讯对微信生态的风控做到了极致,动态渲染页面、高频IP封禁、Cookie短时效失效、请求头严格校验、自动化工具秒识别、频繁请求直接拉黑,这些反爬手段让90%的爬虫新手望而却步:要么爬了几篇就被封IP,要么Cookie失效爬取中

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 2626

行业研究报告采购避坑指南:从需求拆解到机构选型的实操逻辑

先说结论:买行业研究报告这件事,坑不在“哪家便宜”,而在“你拿到的数据能不能回答你的问题”。作为一个经常帮企业做采购决策的顾问,我见过太多花了几万块买回一堆PDF却用不上的案例。这篇文章把采购流程拆成五步,每一步告诉你该看什么、该避什么,尽量帮你少交学费。

2601_96585642的博客 225

❤️爆肝十二万字《python从零到精通教程》,从零教你变大佬❤️(建议收藏)

文章目录强烈推荐系列教程,建议学起来!!一.pycharm下载安装二.python下载安装三.pycharm上配置python四.配置镜像源让你下载嗖嗖的快4.1pycharm内部配置4.2手动添加镜像源4.3永久配置镜像源五.插件安装(比如汉化?)5.1自动补码神器第一款5.2汉化pycharm5.3其它插件六.美女背景七.自定义脚本开头八、这个前言一定要看九、python入门十、python缩进十一、Python注释1.单行注释2.多行注释十二、Python 变量1.变量定义理解2. 变量名命名3. 分

全栈川川 26万+

基于STM32设计的环境监测系统(华为云IOT)_300

随着空气污染问题日益严峻,环境空气质量的监测变得愈加重要。为了解决这一问题,本项目设计并实现了一款基于STM32的空气质量监测设备,能够实时监测空气中的温湿度、二氧化碳浓度和甲醛浓度,并通过OLED显示屏展示数据。此外,设备支持通过WIFI模块将数据上传至云端,用户可以通过手机APP或Windows上位机查看实时数据。设备采用MQTT协议与华为云IOT物联网服务器进行数据通信,确保数据的实时性和可靠性。本项目还结合了低功耗设计和高灵敏度传感器,使得设备能够高效稳定地运行,并实现远程监控功能。

696

大数据与审计专业哪些证书企业比较认可?

大数据与审计专业选证书,首先要明确就业方向:是进入会计师事务所做财务审计,还是进入企业从事内部审计、风险控制,或向数据审计、信息系统审计发展。不同岗位看重的专业能力不同,证书的价值也应放在具体招聘要求中判断。面向2027年的求职与备考规划,值得重点考虑的有六类:初级会计专业技术资格、注册会计师、审计专业技术资格、CDA数据分析师、国际注册内部审计师和国际注册信息系统审计师。选择时,宜采用“财审基础+数据能力+岗位专长”的组合,而不是单纯追求持证数量。

YangYang9YangYan的博客 296

YOLOv11改进策略【注意力机制篇】| SE、CBAM、ECA、CA、Swin Transformer等注意力机制全面解析与应用

本文详细介绍了五种主流的注意力机制及其在YOLOv11中的应用。通过合理的模块选择和位置部署,注意力机制能够显著提升目标检测性能。

QQ_778132974的博客 876

深入浅出聊聊 Linux 的 PageCache 与系统极致性能

本文深入浅出解析了 Linux PageCache 的核心机制,揭示其如何通过“延迟写、预读读”提升系统性能。以监控告警为切入点,阐明 free -h 中 buff/cache 并非真正占用,真正可用内存由 available 决定。结合 Kafka、Elasticsearch、MySQL 等实战场景,说明中间件如何依赖 PageCache 实现极致性能。强调不可手动清理缓存,并建议合理调优脏页参数,避免卡顿。最终指出:内存满≠危机,而是系统高效运行的体现。

小小默:进无止境 484

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

ubuntu安装hadoop系统

本文详细介绍了基于VMware克隆虚拟机搭建三节点Hadoop分布式集群的全过程:使用同一Ubuntu镜像克隆出master、worker1、worker2三台虚拟机,依次配置主机名、固定IP(如192.168.82.10/11/12)、SSH服务及免密登录,确保节点间网络互通。随后安装Java,下载配置Hadoop并分发至各节点,最终初始化启动集群,验证其存储与计算功能,实现高效的大数据环境部署。

qq_43592674的博客 338

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Elasticsearch:稠密向量字段类型

dense_vector字段用于存储稠密向量,支持k近邻搜索(kNN),默认启用索引并使用余弦相似度。可接受浮点数数组或Base64编码字符串输入,支持自动量化(如int8、int4、bbq)以降低内存占用。通过index_options配置索引类型(如hnsw、bbq_disk),并可启用过采样与重新评分提升精度。向量默认不存储于_source中以节省空间,可通过fields或_source.exclude_vectors显式返回。支持bit向量及GPU加速索引,适用于高维向量场景。

Elastic 中国社区官方博客 288

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Day2 - Flink DataStream API 与转换算子:从 Source 到 Sink

实现或@Override// 发射数据@Override// 使用用自定义逻辑聚合,比 sum/min/max 更灵活。// 求每个用户的总消费金额reduce 的输入和输出类型必须相同。Flink 会把满足条件的相邻算子合并成一个 Task,在同一个线程里执行,减少线程切换和网络开销。合并条件上下游并行度相同;分区策略是 Forward;没有被用户手动断开。

YEEMOLY的博客 162

【消息队列】ACK确认了什么:消息队列可靠投递的完整链路

本文剖析消息系统中ACK机制在生产者、Broker、消费者三段链路中的作用,指出即使三段确认均正确配置,系统仍只能提供“至少一次”可靠性。原因在于重试、崩溃、重平衡等场景会导致重复投递,而“恰好一次”需依赖业务侧幂等性保障。关键结论:ACK仅保证不丢,不重复需靠唯一键、去重表或状态机等业务设计实现。

2503_94545876的博客 699

kafka指定分区消费

【代码】kafka指定分区消费。

hy_208的博客 64

数据科学与大数据技术专业有哪些比较好考的证书?

如果目前还没有明确方向,建议先完成Python与SQL基础学习,再选择一张与目标岗位最接近的证书。不要为了增加简历条目,在同一阶段同时准备多个不同技术方向。以数据分析方向为例,可以参考2025版CDA证书大纲安排基础学习:先掌握业务数据结构、数据库应用和统计分析,再进入指标体系、看板和用户分析。具备一定项目经验后,再学习二级涉及的统计检验、模型评估及数据治理。2025版教材介绍强调了思维、技术和实践的结合,适合用于组织学习;2027年的具体考试范围、报名条件和安排,则应依据届时发布的信息制定计划。

YangYang9YangYan的博客 331

如何在用户认证系统中使用 ElasticSearch 提升

本文介绍了如何在一个典型的企业级应用——用户认证与权限管理系统内引入并运用 ElasticSearch 技术来提高查找效率并降低数据库负载压力。读者可以通过了解其基础架构原理、正确配置方式以及典型应用场景从而掌握该工具的基本用法。如果你正在寻找一种更灵活高效的检索方案用于自己的项目当中,请考虑从以下几个方面入手实践: 1. 确认是否有必要引入新的全文搜索引擎;2. 设计好适用于该项目的数据模型以及索引规则;3. 持续优化你的 DSL 查询语句并监控运行状态;

wuchangjian的专栏 176

Flink SQL 窗口表值函数实战:滚动、滑动、累计与会话窗口

在 Flink SQL 中,流数据是无限的,要统计“最近一段时间”的数据,就必须把无界流切分成一个个有界窗口。Flink 1.13 之后引入了窗口表值函数(Window TVF),把窗口本身当作一张表来使用,通过TABLE(...)语法把原表转换成带窗口信息的表,再配合GROUP BY完成聚合。相比早期的语义统一:窗口是一张表,可以像普通表一样查询、过滤、关联。结果可读:窗口表会自动带上window_end三个字段,方便直接输出。性能更好:底层基于窗口聚合算子优化,支持切片共享等机制。

2401_83857914的博客 362

Flink 知识大总结:从核心概念到生产实践

Flink 的知识体系可以概括为「一个核心、两大抽象、三层保障」:以流为核心,以 DataStream 和 Table/SQL 为两大编程抽象,以状态管理、Checkpoint 容错和端到端一致性为三层保障。掌握这些主干知识后,再结合具体业务场景深入调优,就能在生产环境中稳定发挥 Flink 的实时计算能力。

2401_83857914的博客 328

数据库教程FGMT79:国产数据库-TiDB分布式数据库工程师培训实战教程(PB级大数据平台、大规模分布式集群架构)

本文为国产分布式数据库TiDB实战教程,系统讲解其架构原理与生产级部署。涵盖从环境准备、单机测试到十节点OLTP/HTAP集群部署、扩缩容、两地三中心容灾等全流程操作。基于64G内存8CPU配置,以TiUP工具实现自动化管理,深入解析存储、计算、调度三大核心机制。强调兼容MySQL协议,支持金融级高可用与弹性扩展,适用于PB级大数据平台与HTAP场景。适合DBA、运维及架构师快速掌握TiDB生产实践,无需重写业务代码即可实现平滑迁移。

风哥oracle/mysql/pg技术教程 160

最新大数据毕业设计选题推荐-基于大数据的蛋黄酱零售价格区域与时间多维数据可视化分析-大数据-Spark-Hadoop-Bigdata

本文介绍《基于大数据的蛋黄酱零售价格区域与时间多维数据可视化分析》系统,适用于大四计算机专业毕业设计。系统采用Hadoop+Spark进行分布式数据处理,结合Django/Spring Boot后端与Vue+ECharts前端,实现从数据采集、清洗、存储到多维分析与可视化展示的全流程。功能涵盖时间走势、规格对比、区域分析等,支持按时间、区域、规格多维度下钻,界面清晰,技术路线完整,适合作为大数据方向实践课题,提供源码及文档支持。

IT研究室的博客 382

大数据Spark(八十五):Stage及Spark计算模式

本文详解Spark中Stage的划分机制与Pipeline计算模式。Stage依据RDD宽依赖(Shuffle)划分为ShuffleMapStage和ResultStage,同一Stage内通过迭代器串联多个RDD,实现数据内存流转,减少落盘开销,提升效率。并行度由最后一步RDD的分区数决定,可通过Shuffle算子调优。结合SparkUI可直观分析性能瓶颈,是优化作业的关键基础。

Lansonli(蓝深李)的博客 767
上一篇: 最新丨水泥企业,碳管理核查从业必备最新资料!(附干货)
下一篇: 强烈推荐!继“碳足迹“之后,企业下一个关键性环境KPI指标“水足迹“(附最新干货)
Carbon文库
博客等级 码龄3年 63粉丝 11原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值