从 5G 到 Flink 101

设备监控系统--------- 从数据采集到智能联控 《设备监控技术演进与架构解析》摘要:本文围绕《设备监控系统:从数据采集到智能联控》展开,首先梳理其技术演进历程,从传统串口通信的 PLC/SCADA 基础监控,到以太网普及的网络化远程访问,再到 AIoT 与 5G 融合的智能物联阶段。接着剖析感知层至应用层的分层架构,详解数据接入的有线 / 无线技术、Flink 流式计算等处理机制及三级告警联动模型。还对比了智能制造、智慧能源等行业方案,最后探讨 5G URLLC、大模型故障诊断等实时性、智能化挑战与量子加密安全防护的演进方向。 阅读详情

最近正在学习 Flink 相关的内容,突然学习 Flink 有两个主要的原因。

第一,5G 时代即将到来,5G 带来更高的网络传输数据意味着实时计算的需求将会变得更普遍。同时,5G将会带动物联网的发展,将会有更多、更复杂的实时计算场景。而 Flink 目前正是能够满足各种计算场景的优秀框架。

第二,阿里巴巴内部的实时计算平台是基于 Flink 的,并且阿里一直在推动 Flink 社区的发展。我觉得阿里没有选择 Spark 而是大规模应用 Flink 说明 Flink 一定有其他框架无可替代的优势。并且目前也有不少企业开始使用 Flink 建设实时数仓。

除了实时计算,Flink 还支持批处理、Table SQL、机器学习和图计算。它是一站式的大数据处理框架。既能满足数据处理的各种需求,同时又有大厂的加持,我认为 Flink 未来发展的会更好。

最近在学习 Flink 的过程中,把自己学到的例子总结到了一个 GitHub 项目中。在这个项目中能够提供一些基础教程和示例外,还会逐渐增加 Flink 相关的一些案例分享,学习资源等内容。也欢迎各位朋友提交宝贵的资源。

地址:https://github.com/duma-repo/awesome-flink

欢迎关注公众号「渡码」

 

AI工程师能力诊断:ML/LLM/Agentic AIOps工程实战地图 AI工程能力已从单一模型调优,演进为覆盖数据治理、大语言模型服务化与自主Agent编排的全栈能力体系。其核心原理在于将算法能力嵌入真实运维闭环——以时序数据鲁棒性保障决策前提,以LLM接口契约化实现知识可信交付,以Agentic策略引擎支撑SLA约束下的可审计行动。这种融合能力直接决定智能系统在P0故障中的响应质量、成本控制与合规底线。本文聚焦AIOps这一AI落地终极压力场,通过101道工业级问题,还原数据噪声识别、模型幻觉防控、Agent失控边界预判等关键工程实践,为算法、SRE与平台工程师提供可验证的 阅读详情

相关推荐

空间资源三维可视化智慧调度方案

空间资源三维可视化智慧调度方案 目录 第1章项目概述 3 1.1项目背景 3 1.1.1技术背景(2026年最新) 4 1.2建设目标 5 1.2.1总体目标 5 1.2.2具体目标 6 1.3建设范围 8 1.3.1系统设计开发范围 8 1.3.2硬件设备采购范围 9 1.3.3系统部署调试范围 9 1.3.4人员培训范围 10 1.3.5运维保障范围 10 第2章现状分析 11 2.1业务现状 11 2.1.1业务概述 11 2.1.2业务流程分析 12 2.1.3业务痛点分析 14 2.2技术现状 1

随读手记 556

flink介绍

flink介绍

weixin_41745141的博客 919

【信息科学与工程学】【通信工程】第八十六篇 通信网络设备及通信网络组网的所有学科知识01

编号001类型网络虚拟化与覆盖技术网络领域数据中心网络子领域大二层网络 / 网络虚拟化核心数学方程式/算法模型核心算法:VXLAN封装与解封装。关键在于24位VNI(虚拟网络标识符)到物理网络的三层IP地址的映射。封装:收到原始以太帧后,为其添加 VXLAN 头部(含 VNI)、外层 UDP 头(目的端口 4789)、外层 IP 头(源 IP 为本地 VTEP IP,目的 IP 为对端 VTEP IP)以及外层 MAC 头。解封装:对端 收到报文后,剥离外层头部,根据内层帧的目的 MAC 和 VNI 进行二

weixin_49199313的博客 840

Flink 应用场景

应用场景 Apache Flink 功能强大,支持开发和运行多种不同种类的应用程序。它的主要特性包括:批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、Kubernetes 在内的多种资源管理框架上,还支持在裸机集群上独立部署。在启用高可用选项的情况下,它不存在单点失效问题。事实证明,Flink 已经可以扩展到数千核心...

沉淀 2703

【企业管理】【产品体系】——第十篇 产品定价和价格管理02

覆盖更多行业和复杂的成本/利润转移场景编号类型行业公司/单位类型+上市/非上市产品/服务类型领域问题详细定义问题的数学分析价格管理及价格算法【含计算机系统中数据结构与算法的详细实现】参数列表及参数的数值范围关联知识和法律法规和行业标准规定127技术服务金融科技支付服务商+上市扫码支付+收银机硬件+数据分析套餐成本会计+鉴证会计+价格联动+利润转移如何对扫码支付手续费、收银机硬件租赁、商户数据分析服务套餐采用标准成本法,将硬件成本转移到数据分析服务(硬件免费送,靠数据服务盈利),设定各组件浮动价格比例(±3%

weixin_49199313的博客 234

【信息科学与工程学】计算机科学与自动化——第八十六篇 各类应用上云计算 01

数字孪生:核心是实时性不等式(Δ<Δt)与带宽-精度权衡。数学上归结为带约束的非线性优化。预测性维护:从物理退化方程(Paris 定律)出发,结合贝叶斯推断,云端训练用深度时序模型,边缘推理用轻量模型。机器人协同:本质是多商品流 + 动态障碍物,需用图论(冲突检测)+ 最优控制(轨迹平滑)。工业视觉:延迟由四个环节组成,需用排队论分析流水线瓶颈,量化感知是降低延迟的关键。液压/气动系统上云(涉及流体力学、热力学、控制)机械臂力控/阻抗控制上云(涉及动力学、力/位混合控制)

weixin_49199313的博客 202

Flink的简介

1 Flink的介绍 1.1 Apache Flink 简介 1.1.1 Apache Flink是什么   Apache Flink (简称Flink) 是一个高吞吐、低延迟的分布式流/批处理 引擎框架 ,可以在 无边界和有边界数据流中进行 有状态的计算。在实时处理上,它提供对 事件的支持,解决了实时领域和传统的服务端开发领域 消息无序问题,而且Flink还 提供了Exactly Once语义的支持,保证了实时数据处理的正确性。 在部署方面Flink既可以在服务器上进行独立部署(Stand

qq_48238787的博客 2183

【信息科学与工程学】【安全领域】第三十五篇 网络安全算法表02

​分级处理​:实时增量 + 离线全量 + 自动校验三线并行​最终一致优先​:强同步仅用于支付等核心场景​双向容错​:Redis侧:读CK兜底(CK侧:自动屏蔽校验失败分区​业务适配​:graph LR高实时场景 --> Redis写+双重读分析场景 --> 放宽CK同步延迟报表场景 --> T+1校准保障该方案已在京东、美团等千亿级数据平台验证,支撑双11级流量下Redis与ClickHouse的数据协同。

weixin_49199313的博客 1342

Flink知识概要

Flink 是分布式实时和离线计算引擎,

TU_JCN的博客 4790

【信息科学与工程学】【产品体系】第三十九篇 IT产品系列需求01 互联网行业的需求

经过多轮补充,现整理出覆盖存储、网络、计算、安全、数据治理、AI治理、物联网/工控、管理与经营​ 八大领域的完整需求目录,共60条​ 详细需求。

weixin_49199313的博客 1402

【信息科学与工程学】【安全领域】第一百四十一篇 SDN+安全服务链场景0001 算法01

编号类型领域子领域问题(要解决什么)问题的数学分析及数值分析及优化分析参数列表及参数的边界范围及极限及常量/数值/数字关联知识和法律法规A1(五元组→匹配树/TCAM映射)转发面 / 接入-边缘SC分流点(MCR/CR/BRAS)引流:按IP五元组+VLAN/QinQ+SRv6隧道信息区分租户/业务,决定送入哪个SRv6 TE Policy/BSID给定海量微流,如何把"租户T+业务B+(sa/da/SP/DP/proto)"快速映射为一条。

weixin_49199313的博客 598

Effective Apache Flink(一)Apache Flink 是什么?

Effective Apache Flink(一)Apache Flink 是什么? 目录 Effective Apache Flink(一)Apache Flink 是什么? 一、架构 处理无界和有界数据 部署应用到任意地方 运行任意规模应用 利用内存性能 二、应用 流处理应用的基本组件 流 状态 时间 分层 API ProcessFunction DataStre...

哈喽天方方 598

【信息科学与工程学】【通信工程】计算机科学与自动化——第二百三十三篇 云NaaS服务 系列二02

字段内容类型​云网络自定义路由表(Custom Route Table):允许用户自定义 VPC 或子网的路由规则,控制流量走向,支持黑白名单、策略路由。端计算节点->边缘计算节点->边缘DC->中心云的网络情况及存储需求及配置情况列表​端计算节点为 VPC 内的云资源。边缘计算节点不适用。边缘 DC 和中心云为路由表管理平台。存储需求:路由条目存储于数据库。网络:路由表在虚拟路由器中执行。QoS:无。网络的端到端配置(从接入到汇聚到核心)​。

weixin_49199313的博客 329

阁子纯净版小说阅读器:书源管理与实时更新技术解析

书源管理是内容聚合类应用的核心技术,通过定义标准化的解析规则(如XPath和正则表达式),实现从多个网站自动提取和标准化小说内容。其技术原理涉及网络请求、HTML解析和数据清洗,关键在于保证内容源的稳定性和更新时效性。在工程实践中,优秀的书源管理系统能显著提升用户体验,解决广告干扰、内容更新延迟等痛点。阁子纯净版阅读器通过预置优化书源和实时轮询检测机制,实现了起点等平台最新章节的快速同步,为移动阅读提供了开箱即用的纯净解决方案。

weixin_33755557的博客 487

顶刊《会计研究》数据复现|最新上市公司数智化数据

本文基于Python文本分析方法构建了中国A股上市公司数智化指标(1991-2024),通过识别年报中的"机器学习""智能医疗"等关键词,量化企业数字化与智能化融合程度。研究发现数智化企业更倾向于非正式渠道的定性披露以规避风险,该指标为监管完善信披规则提供了参考。研究还揭示了数智化对企业信息披露策略的转变,并提出了未来研究方向,包括数智化对绿色创新、ESG表现等影响机制。数据覆盖非金融类上市公司,采用文本挖掘技术构建结构化指标,为相关领域研究提供了微观基础。

PPdata_Academy的博客 1487

Impala>Impala安装部署

文章目录1.安装前提2.下载安装包、依赖包3.虚拟机新增磁盘(可选)4.配置本地yum源5.安装Impala6.修改Hadoop、Hive配置7.修改impala配置8.启动、关闭impala服务 1.安装前提 集群提前安装好hadoop,hive。 hive安装包scp在所有需要安装impala的节点上,因为impala需要引用hive的依赖包。 hadoop框架需要支持C程序访问接口,查看下...

qq_44509920的博客 838

大数据视角下的时序数据库选型:Apache IoTDB 核心竞争力拆解

随着5G、物联网与工业互联网的深度融合,时序数据正以爆炸式速度增长——工业传感器的高频采集、智能电网的实时监测、车联网的动态反馈,每天都在产生PB级时序数据。据统计,2025年国内企业时序数据产生量同比增长超60%,这类数据具备的“三高两低”特性(高吞吐、高并发、高时序性、低价值密度、低查询复杂度),对数据库系统提出了严苛挑战。选择一款适配业务场景的时序数据库,直接决定了企业数据存储效率、分析成本与业务响应速度。本文将从大数据视角出发,拆解时序数据库选型的核心逻辑,通过对比国内外主流产品,深度解析Apach

鸽芷咕的博客 1万+

Nvidia AGX Xavier刷机指北

因为工作的关系,要在AGX上安装CUDA。nvidia官网上没找到适合AGX版本的CUDA,只能走刷机的路子。刷机过程中,也遇到一些坑,做个记录。 需要有一台ubuntu系统的电脑作为主机Host。我的主机系统为Ubuntu18.04 整个刷机过程为: 在Host上安装sdkmanager,整个刷机过程主要通过sdkmanager来操作。 在Host自动下载一些系统组件,各种deb包 Host上制作OS系统镜像,烧录到AGX中 Host上之前下载好的deb包,安装到AGX中。 完结,撒花 ...

sinat_38685124的博客 6295

机器学习论文精读方法论:三阶解构法提升技术决策效率

在机器学习工程实践中,‘读论文’常陷入低效扫读困境,核心症结在于缺乏系统化的技术解构能力。本文聚焦‘outlying aspect mining’(异常维度挖掘)这一兼具学术深度与工业落地价值的方向,揭示其本质是面向特征层的可解释性归因——不判断整体是否异常,而精准定位‘哪个业务维度破坏了原有依赖关系’。该技术依托neighborhood consistency、子空间搜索与生产就绪框架等原理,显著提升模型健康度诊断的准确率与响应速度,在风控、推荐、IoT监控等场景中形成稳定技术价值。结合ODIN、DIMS

weixin_30918633的博客 408

Sigrity SPEED2000 TDR TDT Simulation模式如何进行时域阻抗仿真分析操作指导-差分信号

Sigrity SPEED2000 TDR TDT Simulation模式如何进行时域阻抗仿真分析操作指导-单端信号详细介绍了单端信号如何进行TDR仿真分析,下面介绍如何对差分信号进行TDR分析,还是以下图为例进行分析。Impedance是时域阻抗曲线,也是最主要的观测指标,注意:impedance曲线的时间刻度不是延时,延时=时间刻度/2,因为TDR测量的是用一来一回的原理去测量的。Use Lossy peeling 默认不勾选,勾选的话代表同时仿真无损和有损方案,不勾选代表仅仿真有损方案。

weixin_54787054的博客 857

小孙学变频学习笔记(二)变频器的逆变电路

本文主要介绍了变频器中逆变电路的核心器件IGBT及其应用。IGBT是一种电压控制型三端半导体开关器件,具有开关频率高、功耗低的优点,在变频器中仅使用截止和饱和导通状态。文章详细分析了IGBT的结构特性、与晶闸管的区别,以及由四个IGBT组成的直流转交流逆变电路原理。重点阐述了IGBT并联反向二极管的作用:提供电流反向通路、避免反向电压损坏器件、提高开关效率等。最后提供了相关学习参考网址供读者进一步研究。

qq_43091070的博客 1196

多维聚合数据变形七步法:保持语义完整性的高维分析实战

多维聚合不是简单的GROUP BY或SUM计算,而是对高维结构化数据进行维度空间拓扑重构的过程。其核心原理在于通过维度建模、层级关系定义与粒度声明,避免聚合过程中的语义坍缩和信息失真。技术价值体现在保障跨部门报表口径一致、提升ETL稳定性、支撑精准的BI洞察与下游机器学习建模。典型应用场景包括电商GMV归因、工业IoT设备健康度钻取、金融风控指标聚合等。本文聚焦多维聚合中的数据变形术与维度语义完整性两大关键热词,提供可落地的工程化方法论。

weixin_33695450的博客 375

816华为OD机试真题 新系统 - 电池充电时间计算 (Java/Py/C/C++/Js/Go)

816华为OD机试真题 新系统 - 电池充电时间计算 (Java/Py/C/C++/Js/Go)

算法大师! 472

自动驾驶公司估值破千亿:技术资本化的底层逻辑

自动驾驶已从概念验证迈入商业化落地阶段,其核心价值正由算法能力转向可量化、可验证、可复用的技术资产。理解这一转变,需把握三大基础逻辑:一是感知与决策系统如何通过BEV+Transformer、分层强化学习等架构实现车规级工程闭环;二是数据飞轮如何将真实长尾场景转化为模型迭代效率,支撑城市NOA接管率持续下降;三是技术资本化如何体现为前装软件授权收入占比、PSR估值指标及车规级工程团队规模等硬性标尺。本文聚焦高估值背后的真实技术锚点——不是PPT里的L4承诺,而是已部署在200万辆车上的量产算法、日均23万条

weixin_33696822的博客 347

Altium Designer应用技巧13: 四层板的拼版方法

本文介绍在Altium Designer中,进行4层板的拼版方法。Altium Designer有多种拼版方法,本文选择最直观的复制、删帖方法来完成,步骤如下: 1、看一下原始文件,如下图所示,我们要对该板进行拼版操作。 2、通过菜单“报告”-“板子信息”得到板子大小,在这里一般切换为mm比较好操作,我们可以使用快捷键"q"。 3、如果是水平拼版,我们需要关心水平长度;如果是垂直拼版...

snmplink的博客 1万+

OPPO 数据分析面试题及参考答案

如何设计共享单车数据库的各个字段? 对于共享单车的数据库设计,首先考虑用户相关的字段。用户表可以包含用户 ID,这是一个唯一标识符,用于区分不同用户;姓名,记录用户的真实姓名;联系方式,比如手机号码,方便在出现问题时联系用户;注册时间,记录用户何时开始使用共享单车服务;信用分数,用于衡量用户使用共享单车过程中的行为是否合规,比如是否按时归还车辆等。 车辆信息表要有车辆 ID,这是车辆的唯一标识;车辆类型,例如普通单车、电动单车等;投放时间,即车辆投放到市场的时间;车辆状态,包括是否可用(如正

大模型大数据攻城狮的专栏 1186
上一篇: 聊聊Lambda架构
下一篇: Flink DataStream 编程入门
渡码
博客等级 码龄14年 31粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值