基于流计算 Oceanus 和 Elasticsearch Service 构建百亿级实时监控系统

论文阅读 Memory Enhanced Global-Local Aggregation for Video Object Detection 人类如何识别视频中的物体?由于单一帧的质量低下,仅仅利用一帧图像内的信息可能很难让人们在这一帧中识别被遮挡的物体。我们认为人们识别视频中的物体有两个重要线索:全局语义信息和本地定位信息。最近,许多方法采用自注意机制,以增强关键帧中的特征,使用全局语义信息或本地定位信息之一。在本文中,我们介绍了一种记忆增强的全局-本地聚合(MEGA)网络,这是首批全面考虑全局和本地信息的尝试之一。此外,借助一种新颖且精心设计的长程记忆(LRM)模块,我们提出的MEGA可以使关键帧访问比以往任何方法都多得多的内容。 阅读详情

​作者:龙逸尘,腾讯 CSIG 高级工程师

为什么要构建监控系统

在后移动互联网时代,良好的用户体验是增长的基础,稳定的使用体验就是用户体验的基础。大型的互联网公司,特别是面向 C 端客户的公司,对业务系统稳定性的要求越来越高,因此对线上问题发现和处理的速度要求通常是分钟级的。比如滴滴等出行公司,打车服务停摆 10 分钟都会导致导致乘客、司机大规模投诉,不仅造成经济损失,而且严重平台商誉和用户口碑。

大型互联网公司的业务系统都是大规模的分布式系统,各种业务应用和基础组件(数据库、缓存、消息队列等)共同交织成复杂的依赖网络,任何节点都可能出现故障,导致系统不可用。因此,业务系统的监控非常重要,通过监控及时发现和干预问题,避免事故或降低事故影响范围。

本文将从监控系统整体架构设计、监控系统技术方案落地这两部分阐述了百亿级大数据实时监控系统的建设过程,旨在帮助大家了解监控系统设计思路,对于监控系统建设提供专业指导,快速构建监控系统。

监控系统整体设计

监控系统需求

世界上并不存在完全可靠的系统,程序、机器、网络等都可能在运行中出现故障,进而导致服务异常。因此监控的目标就是,高效及时地发现、定位系统异常问题,期望缩短异常的平均修复时间,从而降低异常造成的损失。

为了实现缩短异常的平均修复时间这一目标,监控系统应该具有这些能力:

  1. 数据采集能力:全面、准确、快速、低损耗地获取监控日志及数据

  2. 数据汇聚能力:将相关数据汇聚起来,方便加工,得到我们需要关注的数据

  3. 数据分析与处理能力:对需要关注的数据提供异常指标检测、故障诊断等分析方法,以及数据过滤、采样、转换等处理手段

  4. 数据存储能力:为海量日志与监控指标提供高性能存储

  5. 监控告警能力:指定监控规则,触发规则后提供电话、邮件、微信、短信等各类告警机制

  6. 数据展示能力:提供监控数据与告警的 Dashboard 展示功能,加速问题定位

  7. 高可用:整个监控系统需要做到高可用,监控就是为了发现异常,如果由于异常导致自身不可用,肯定是减分的

监控系统架构

根据对监控系统需求的调研,可以将监控系统整体的数据流转过程抽象为以下几个阶段:采集 -> 汇聚 -> 处理 -> 存储 -> 分析 -> 展示 -> 告警。

从中我们可以总结出监控系统的一般架构:

从下往上来分析,首先是数据采集层,提供众多采集手段,包括 Agent 采集、RPC 埋点、HTTP 上报等,可以通过 Agent 采集宿主机监控数据和日志,或者 RPC 埋点上报,也可以由用户直接通过 HTTP 推送进行数据采集。

成功采集到的数据,需要经过统一的数据汇聚层,将相关联的数据进行汇聚。例如同一业务系统的所有服务器数据将会汇聚到一个相同的消息队列中,便于异常检测。

数据完成汇聚后,将分为三条数据流处理:数据处理、数据分析、数据存储。

  • 数据处理层:对原始监控数据进行加工,通过数据清洗与转换将数据格式化,并进行基础的聚合计算,例如累加计算 10 台服务器的 ERROR 日志次数;

  • 数据分析层:对标准化后的数据进行关联分析、异常检测、故障诊断等,为后续的告警提供判断依据;

  • 数据存储层:对日志、指标、时序数据进行存储,便于 Dashbord 展示,可用于进一步的数据挖掘。

数据流处理完成后,进入监控告警层,对符合监控、告警规则的事件进行告警推送。

数据流最终到达数据展示层,提供常见的用户交互页面:如监控面板、告警面板等。

监控系统方案落地

技术选型

方案 1: 流计算 Oceanus + Elastic Stack

提到监控系统方案,大家首先想到的肯定是 Elastic Stack(Elasticsearch、Logstash、Kibana、Beats),其活跃的社区、简单的安装流程、便捷的使用方式等优势吸引了大量用户,当前许多互联网公司的监控系统架构都是基于开源 Elastic stack 搭建的。

Elastic Stack 由 Elasticsearch、Logstash、Kibana 和 Beats 组成。下面分别对各个组件进行简单的介绍。

Elasticsearch 是一款实时全文搜索和分析引擎。作为 Elastic stack 的核心,Elasticsearch 可用于搜索各种类型的数据:从文本、数字和地理空间数据到其他类型的结构化和非结构化数据,主要支持搜索、分析、存储数据三大功能。Elasticsearch 基于 Apache Lucene 搜索引擎库构建,它易于使用且可扩展。

Logstash 是一款日志聚合器,它可以从各种输入源动态采集监控日志和数据,对其进行转换后,将数据传送到各种支持的输出目的地。许多用户将转换后的数据发送到 Elasticsearch,在其中对日志、监控数据进行索引与搜索。

Kibana 是工作在 Elasticsearch 之上的可视化层,为用户提供数据分析和可视化的能力,可将存储在 Elasticsearch 中的数据转换为易于使用的图表、图形、直方图和其他可视化表示,进而深入挖掘数据特征。

Beats 是一款轻量级日志采集器,目前 Beats 包含多种工具:Metricbeat、Filebeat、Heartbeat 等。每个 Beat 都有一个简单的任务:采集日志或数据并发送到输出目的地。

早期的 ELK Stack 使用 Logstash 收集并解析日志,但是 Logstash 本身是基于 jdk 的,而且它集成了许多插件,对内存、CPU、IO 等资源消耗比较高。相比于 Logstash,Beats 所占系统的 CPU 和内存几乎可以忽略不计,因此考虑使用轻量级的 Beats 组件来完成日志和监控数据的采集操作。架构如下:

Elastic Stack 运行于分布式系统之上,为用户提供了一个性能强大的平台,该平台通过采集、过滤、传输、储存,对海量日志和监控数据进行集中管理和准实时搜索、分析,提供准实时搜索、监控、事件消息和分析报表等简单易用的功能,帮助运维人员进行线上业务的实时监控,业务异常时及时定位原因、排除故障,深度挖掘日志的大数据价值。

但是 Elastic Stack 也存在一些不足。首先 Beats 只有采集日志与监控数据的功能,无法对数据进行处理;另外 Logstash 的数据处理功能很弱,无法满足复杂的数据处理需求,且不支持监控数据缓存,存在数据丢失的隐患。

综上所述,在将监控数据与日志信息保存到 Elasticsearch 之前,需要引入消息队列缓存数据,并使用大数据实时计算引擎对数据进行实时的过滤、转换、聚合。

而腾讯云流计算 Oceanus 恰好可以实现这些功能。流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 能很好地满足监控场景下海量实时数据处理的需求,监控系统可以利用 Oceanus 的实时计算能力,对监控日志与数据进行清洗、转换并完成聚合分析,实时计算的结果可以直接用于监控告警展示,极大地提升了运维人员在故障发生时的决策能力。

使用 Elastic Stack 还需要关注的点是监控面板。Kibana 的长处在于日志分析,且仅适用于 Elasticsearch,不支持任何其他类型的数据源;它的面板展示能力还有提高的空间,而且具有陡峭的学习曲线,对于非技术业务用户来说很难上手。因此可以考虑使用其他的数据可视化工具代替 Kibana 作为监控面板,让 Kibana 专注于日志分析。综合对比现有的可视化工具后,我们选择使用 Grafana。

在实际应用场景中,可以使用 Beats 采集日志与监控数据,将 Kafka 作为 Beats 的输出端。Kafka 实时接收到 Beats 采集的数据后,使用流计算 Oceanus(Flink)进行实时处理与聚合,将满足需求的数据输出到 Elasticsearch 中进行分布式检索,通过 Kibana 进行日志分析,最后采用 Grafana 作为监控面板。流程如下图所示:

flink+es

方案 2: Zabbix + Prometheus + Grafana

Zabbix 是一款开源的分布式系统监控软件。它支持可视化配置,提供多种指标采集,支持自定义告警阈值与多样的通知机制。Zabbix 灵活的设计为用户提供了易用的二次开发接口,让用户既可以使用 Zabbix 本身提供的功能,又可以自定义更多的监控项功能,如硬件监控、操作系统指标监控、服务进程监控等。

Prometheus 是一款基于 Go 语言开发的监控、告警、存储套件,它通过 HTTP 协议从远程的机器收集数据并存储在本地的时序数据库上。Prometheus 架构简单,单个服务器节点可直接工作,属于轻量级的 Server。同时不依赖外部存储,便于迁移和维护,其监控数据直接存储在 Prometheus Server 本地的时序数据库中,单个实例可以处理数百万的 Metrics。Prometheus 具有灵活的数据模型和强大的数据查询语句,可以帮助快速定位和诊断问题,非常适用于面向服务架构的监控。

Grafana 是一个开箱即用的可视化工具,具有功能齐全的度量仪表盘和图形编辑器,有灵活丰富的图形化选项,支持配置多种数据源,例如 Elasticsearch、InfluxDB、Prometheus 等。Grafana 可以通过 Datasource 链接 Prometheus url,并对接入的数据进行分组、过滤、聚合等逻辑运算,从而在监控面板中直观展示监控指标。

Zabbix、Prometheus 和 Grafana 构建的监控系统部署简单,功能完善,非常适合容器化环境,但是也存在一定的局限,主要缺点是在超大规模数据量下存在性能瓶颈。

  • Zabbix 入门容易,能实现基础的监控,但是深层次需求需要非常熟悉 Zabbix 并进行大量的二次定制开发;

  • Zabbix 使用 pull 方式采集数据,存在性能瓶颈;

  • Prometheus 是基于 监控指标(Metric) 的监控,不适用于日志(Logs)、事件(Event)、调用链(Tracing)等监控;

  • Prometheus 目前只能提供非持久化的数据存储,无法长期保存数据;

  • Prometheus 只适合单机部署,对于集群化和水平扩展,官方和社区都没有银弹,无法支持海量数据存储与监控。

选型总结

Elastic Stack 与流计算 Oceanus 组合,构建了分布式、可拓展、实时化的监控系统,对海量日志和监控数据进行集中管理和实时搜索、分析,提供指标监控、事件消息和分析报表等简单易用的功能。性能完善,扩展性强,缺点是部署比较麻烦,资源消耗较高。

Zabbix、Prometheus 和 Grafana 构建的监控系统部署简单,功能完善,非常适合容器化环境,但是存在致命缺陷,超大规模监控数据量下无法突破性能瓶颈。

综上所述,我们最终考虑采用流计算 Oceanus 和 Elastic Stack 构建监控系统。

系统优化

随着业务量的上涨,监控指标逐渐增多,需要监控的设备不断增长,对监控系统的性能要求也日益提升。当数据量增长到百亿甚至千亿级别,监控系统可能会出现以下问题:

  1. 处理性能下降 系统整体处理性能变弱,处理抖动、毛刺情况增多。上游消息队列出现大量数据堆积情况,监控延时上升。

  2. 数据倾斜 由于业务系统各组件监控数据与日志分布不均匀,导致数据倾斜,Flink 任务反压严重,各算子的 Checkpoint 时间变长甚至频繁失败。部分节点出现 CPU 过载、OOM 的情况。

  3. 存储写入性能下降 Elasticsearch 写入时延上涨,存在大面积写入被拒绝的现象,最终导致上游 Flink 任务反压,甚至任务崩溃。

当系统不稳定或者处理性能下降时,数据延时会上涨至小时甚至天级别,这对于需要尽量做到实时化的监控系统来说是无法接受的。

而面对超大规模监控数据量的场景,腾讯云流计算 Oceanus 和 Elasticsearch service 进行了大量优化。下面进行详细介绍。

流计算 Oceanus

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。

流计算 Oceanus 能很好地满足监控场景下海量实时数据处理的需求。监控系统可以利用 Oceanus 的实时计算能力,使用简单的 SQL 对监控日志与数据进行实时清洗、转换与聚合分析。

SQL 性能优化

流计算 Oceanus 对原生 Flink SQL 进行了大量优化,提升超大规模数据量下作业的处理性能。

数据倾斜是导致 Flink 作业性能问题的常见原因。数据倾斜指的是数据分布严重不均衡,过多数据集中在某些 task 上,导致内存紧张,频繁 GC;而频繁的 GC 导致系统吞吐下降,数据延迟,严重情况下还可能导致 TaskManager 失联,任务崩溃。

针对数据倾斜问题,流计算 Oceanus 自动为作业开启 Local-Global Aggregate 与 Mini-Batch 功能。Local-Global Aggregate 能够靠 Local Aggregate 的预聚合筛除部分倾斜数据,从而降低 Global Aggregate 的热点,避免数据倾斜,提升处理性能。同时,在 Aggregate 的处理过程中可以开启 Mini Batch 方式,Local 阶段采取微批提交避免数据量缓存过多,Global 阶段则可以减少状态的访问次数,降低 I/O 压力。

Flink SQL 下还存在 UDF 函数复用的问题。如果相同的 UDF 在 SQL 中出现多次,例如简单的 JSON 解析、URL 解析等,原生的 Flink SQL 会多次执行,影响性能。

针对 UDF 函数复用问题,流计算 Oceanus 将逻辑执行计划中重复调用的 UDF 提取出来,并对 UDF 的执行结果进行缓存,避免多次调用。

流表维表 Join 中存在数据冷启动问题,如果将维表数据加载到所有的 subtask 里面会造成较大的内存消耗,而且很容易造成反压。

流计算 Oceanus 的解决方案是,在维表的 DDL 中指定 Bucket 信息,流与维表进行 Join 的时候会基于 Bucket 信息去加载维表中对应分片的数据,同时在翻译执行计划的时候流表拿到 Bucket 信息,以保证流与维表的数据都会基于同一个 Bucket 信息进行 Join。这种处理方案能大大减少全量维表数据预加载带来的内存消耗与反压问题。

作业智能诊断与监控

流计算 Oceanus 为作业异常重启、Snapshot 失败、以及 JobManager/TaskManager 的 CPU、内存异常等各类运行状态的事件提供可视化的提示。

并且以异常日志的采集和聚合分析为切入,智能地诊断分析异常信息,并给出建议的解决方案。

此外,流计算 Oceanus 还以 Task 粒度定义动态指标,并以维度聚合(sum、max、min、avg)的方式定义从上下游系统到集群作业的健康运行相关的 65+ 项监控指标,对作业进行全方位监控告警。

流计算 Oceanus 提供作业运行事件可视化、作业智能诊断与全方位监控告警等功能,为用户的实时计算作业保驾护航。

作业自动扩缩容

流计算 Oceanus 提供作业自动扩缩容功能,根据 CPU、内存、反压状况等业务负载情况,自动进行作业并行度的调整,完成作业扩缩容。

当遇到数据倾斜、作业负载过高等事件时,流计算 Oceanus 会自动调整作业并行度,增加作业运行资源,从而避免数据倾斜,降低作业负载,保障作业稳定运行。而在业务低谷期流计算 Oceanus 会自动缩减作业计算资源,减少资源浪费。

作业自动扩缩容功能在保障业务时效性的同时,避免了资源浪费,可以为用户降低可观的成本。

腾讯云 Elasticsearch Service

伴随数据量的极速上涨,开源 Elasticsearch 暴露出来的问题为:

  • 写入耗时过大,大量写入被拒绝

  • 部分索引查询性能慢

  • 存储成本急剧增加

  • 堆内存使用过大

Elasticsearch 的使用姿势、参数调优等在社区有很多的案例和经验可以借鉴,但是百亿级实时监控场景下,很多的痛点和挑战是无法通过简单的调优来解决的。

腾讯云 Elasticsearch Service(ES)是基于开源搜索引擎 Elasticsearch 打造的高可用、可伸缩的云端全托管的 Elasticsearch 服务,包含 Beats、Kibana 及常用插件,并集成了安全、SQL、机器学习、告警、监控等高级特性(X-Pack)。为了应对上述的困难,腾讯云 ES 从内核层面做了深度的优化。

存储模型优化

Elasticsearch 底层的 Lucene 是基于 LSM Tree 的数据文件,原生默认的合并策略是按文件大小相似性合并,默认一次固定合并 10 个文件,近似与分层合并。这种合并方式的最大优点是合并高效,可以快速降低文件数;主要问题是数据不连续,会导致查询时文件剪枝的能力变弱,比如查询最近一小时的数据,很有可能一小时的文件被分别合并到了几天前的文件中去了,导致需要遍历的文件增加了。

为了提升数据连续性、收敛文件数量,提升文件的裁剪能力来提高查询性能,腾讯云 ES 实现的文件合并策略主要是按时间序分层合并,每层文件之间按创建时间排序,除了第一层外,都按照时间序和目标大小进行合并,不固定每次合并文件数量,这种策略可以保证合并的高效性。对于少量的未合并的文件以及冷分片文件,采用持续合并的策略,将超过默认五分钟不再写入的分片进行持续合并,并控制合并并发和范围,以降低合并开销。

通过对合并策略的优化,腾讯云 ES 将搜索场景的查询性能提升了 40%,同时带主键的数据写入性能提升了一倍。

成本优化

腾讯云 ES 对业务数据访问频率进行调研,发现最近的数据访问频率较高,例如最近 5 分钟的,一小时的,一天的,近几天的访问频率就比较少了,超过一个月的就更少了。

基于这种数据特征,腾讯云 ES 通过冷热分离,把冷数据放到 HDD 来降低成本,同时利用索引生命周期管理来搬迁冷数据,冷数据盘一般比较大,因此还要利用多盘策略来提高吞吐和数据容灾能力。最后将超冷的数据冷备到腾讯云的对象存储 COS 上,冷备成本非常低。

通过冷热数据分离,监控数据总体存储成本下降了将近 10 倍。

内存优化

通过对线上 Elasticsearch 集群进行分析,发现很多场景下,堆内内存使用率很高,而磁盘的使用率比较低。其中 Elasticsearch 的 FST 即倒排索引占据了绝大部分堆内内存,而且这部分是常驻内存的。每 10 TB 的磁盘 FST 的内存消耗大概在 10 GB 到 15 GB 左右。

为了对 FST 这种堆内占用比较大的内存做优化,腾讯云 ES 将其移至堆外(off-heap),按需加载,实现更精准的淘汰策略,提高内存使用率,再加上多级 cache 的管理模式来提升性能。通过内存优化,可以提升堆内内存利用率,降低 GC 开销,提升单个节点管理磁盘的能力。

总结

本文从监控系统整体架构设计、监控系统技术方案落地这两部分阐述了百亿级大数据实时监控系统的建设过程。

首先阐述了监控系统的需求,并根据需求总结出监控系统架构。随后进行技术选型,分别分析了基于流计算 Oceanus、Elastic Stack 和基于 Zabbix、Prometheus、Grafana 的监控系统技术方案,并选择基于流计算 Oceanus 和 Elastic stack 构建监控系统。最后针对超大规模监控数据量的场景,介绍腾讯云流计算 Oceanus 与 Elasticsearch Service 对性能与成本的各种优化策略与手段。总体而言,选择流计算 Oceanus 与 Elasticsearch Service 能很好地支撑实时监控的需求,并极大地降低用户成本。

希望本文可以帮助读者了解监控系统设计思路,对于监控系统建设提供专业指导,快速构建高性能的监控系统。

流计算 Oceanus & Elasticsearch 服务组合套餐限时放价售卖中↓↓

关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

 

首个FDA认证开源医学影像AI平台Comp2Comp:从CT自动分析到临床部署全解析 深度学习模型在医学影像分析领域正成为变革性力量,其核心原理是通过卷积神经网络自动学习图像特征,实现精准分割与检测。这一技术价值在于将高度依赖医生经验的定性、主观判断,转化为高效、客观、可重复的定量分析,极大提升了诊断的一致性和工作效率。在应用场景上,医学影像AI已广泛渗透于疾病筛查、辅助诊断、预后评估及治疗方案规划等多个环节。本文聚焦于获得FDA 510(k)认证的开源平台Comp2Comp,它集成了主动脉钙化评分和椎体骨密度分析双任务,通过串联式的U-Net分割网络与目标检测模型,构建了从DICOM预处理 阅读详情

相关推荐

时钟门控ICG单元的timing问题

本文探讨了数字IC设计中门控时钟(ICG)的时序收敛问题,重点分析了ICG单元在setup时序检查中易出现违例的原因及优化方法。文章指出,由于ICG单元不在时钟树平衡范围内,其时钟路径延迟通常小于后续寄存器,导致setup时序难以满足。提出的解决方案包括:1)将ICG尽量靠近受控寄存器放置;2)使用set_clock_gating_check命令加强时序约束;3)在布局阶段设置负时钟延迟;4)CTS阶段设置插入延迟。同时强调set_clock_gating_check命令对ICG单元同样有效,并介绍了ICG

u011075954的专栏 1113

Oceanus的实时流式计算实践与优化

导语|随着互联网场景的不断深化发展,业务实时化趋势越来越强,要求也越来越高。特别是在广告推荐、实时大屏监控、实时风控、实时数仓等各业务领域,实时计算已经成为了不可或缺的一环。在大数据技...

QcloudCommunity的博客 611

技术解析:ChangeFormer——基于Transformer的孪生网络在遥感变化检测中的创新应用

本文深入解析了ChangeFormer模型在遥感变化检测中的创新应用,该模型基于Transformer架构和孪生网络(Siamese Network),显著提升了变化检测的精度和效率。通过详细的技术实现和实战经验分享,展示了其在建筑物变化、森林监测等场景中的卓越表现,为相关领域的研究和应用提供了有力工具。

weixin_29102619的博客 498

腾讯云流计算 Oceanus:新版弹性方案,助力实时业务降本超30%

流计算 Oceanus 通过提供弹性伸缩、细粒度资源配置、完善的监控、告警、事件和日志功能等多种降本措施,帮助客户显著降低资源成本,并提升运维效率。

cloudbigdata的博客 593

1014. 福尔摩斯的约会 (20)-PAT乙级真题

1014. 福尔摩斯的约会 (20) 大侦探福尔摩斯接到一张奇怪的字条:“我们约会吧!3485djDkxh4hhGE 2984akDfkkkkggEdsb s&hgsfdk d&Hyscvnm”。大侦探很快就明白了,字条上奇怪的乱码实际上就是约会的时间“星期四 14:04”,因为前面两字符串中第1对相同的大写英文字母(大小写有区分)是第4个字母’D’,代表星期四;第2对相同的字符是’

柳婼 の blog 2646

用Python+ArcGIS分析厦门共享单车数据:5分钟搞定订单时长与距离分布的可视化

本文详细介绍了如何利用Python和ArcGIS Pro 3.x快速分析厦门共享单车数据,实现订单时长与距离分布的可视化。通过数据清洗、预处理和高级可视化技巧,揭示用户行为特征,为运营优化提供数据支持。文章还提供了环境配置、代码示例和业务洞察,帮助开发者高效完成数据分析任务。

weixin_28327051的博客 342

Oceanus:美团HTTP流量定制化路由的实践

背景 Oceanus是美团基础架构部研发的统一HTTP服务治理框架,基于Nginx和ngx_lua扩展,主要提供服务注册与发现、动态负载均衡、可视化管理、定制化路由、安全反扒、session ID复用、熔断降级、一键截流和性能统计等功能。本文主要讲述Oceanus如何通过策略抽象、查询、渲染和分组动态更新,实现HTTP请求的定制化路由。 随着公司业务的高速发展,路由场景也越来越复杂。比如: 团购秒杀要灵活控制压测流量,实现线上服务单节点、各机房、各地域等多维度的压测。 外卖业务要做流量隔离,把..

一个有情怀的程序猿博客 530

60、新型共轴直升机建模与事件触发积分强化学习研究

本文研究了新型共轴直升机的动力学建模与控制方法,基于牛顿-欧拉方程建立了6自由度非线性模型,并设计了四通道闭环控制器实现稳定飞行。同时,提出一种事件触发积分强化学习方法,用于解决非零和博弈中的最优跟踪控制问题,在减少通信开销的同时保证系统性能。通过仿真验证了控制器的轨迹跟踪能力,并证明了算法下跟踪误差与神经网络权重估计误差的一致最终有界性。两种方法协同可提升飞行器的自主性与鲁棒性,未来可拓展至多智能体协作、智能交通等复杂系统应用。

rl6adventurer的博客 118

Oceanus 数据库中间件项目推荐

Oceanus 是由 58 同城开发的一款数据库中间件,主要用于解决数据库分库分表、负载均衡、性能监控等问题。该项目采用 Java 作为主要的编程语言,适合 Java 生态系统中的开发者使用。 ## 项目核心功能 Oceanus 的核心功能包括: 1. **分库分表**:支持对数据库进行水平拆分,将数据分布到多个数据库实例中,提高系统的扩展性和性能。 2. **负载均衡**:自动管理数据库连

gitblog_00581的博客 454

Open3D 体素下采样【2026最新版】

体素滤波,博客长期更新,本文最近更新时间为:2026年4月11日。

点云侠的博客 37万+

Python爬虫教程:抓取区块链交易信息及加密货币市场数据

随着区块链技术和加密货币的迅猛发展,区块链交易和加密货币市场的数据逐渐成为金融、技术、经济研究等领域的热点。对于开发者和研究者而言,实时获取区块链交易数据和加密货币市场行情,对于投资分析、市场预测、技术研究等具有重要的参考价值。本文将通过Python爬虫技术,介绍如何抓取区块链交易信息及加密货币市场数据,详细阐述数据获取的原理、技术方案、实现方法以及抓取到的数据的存储与分析。我们将依托最新的爬虫技术,如requestsSeleniumScrapy,以及相关的数据处理库(如pandasmatplotlib。

2201_76125261的博客 2778

navi文件操作:Linux文件系统命令大全终极指南

想要快速掌握Linux文件系统操作却记不住复杂的命令参数?navi交互式命令行备忘录工具就是你的完美解决方案!🚀 navi作为一个智能的命令行工具,能够让你轻松浏览和执行各种文件操作命令,无需记忆复杂的语法和参数。 ## 什么是navi命令工具? navi是一个革命性的交互式命令行备忘录工具,专门为Linux用户设计。它通过提供动态的命令建议和参数提示,彻底改变了传统命令行操作的方式。无论你

gitblog_00077的博客 467

Python 爬虫实战:解析 JSON 数据爬取今日头条热点新闻(API 接口逆向与字段提取)

在当今信息爆炸的时代,新闻资讯的获取变得尤为重要。今日头条作为国内领先的新闻聚合平台,其热点新闻数据具有很高的价值。本文将详细介绍如何通过 Python 爬虫技术,逆向解析今日头条的 API 接口,提取并解析 JSON 数据,最终获取热点新闻信息。

yansideyucsdn的博客 3211

oceanus-58总体框架理解

1.总体思路: 通过约定的XML规则(分表分库规则)和 封装jdbc的Connection和PreparedStatement来实现SQL解析,sql路由和sql重写。 2. 3个核心类:ConnectionWrapper(JDBC Connection包装),PreparedStatementWrapper( JDBC PreparedStatement包装),SimpleExecut...

ahua186186的专栏 470

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

掌握GoVCL跨平台GUI开发:构建现代化桌面应用的7大核心特性

还在为Golang缺乏成熟桌面应用框架而困扰吗?GoVCL(Go Language Visual Component Library)作为基于liblcl的跨平台GUI库,提供了完整的Delphi/Lazarus风格开发体验,支持Windows、Linux和macOS三大主流平台。这套原生GUI解决方案让Go开发者能够轻松构建高性能、原生体验的桌面应用程序,无需依赖Web技术或第三方渲染引擎。

gitblog_00006的博客 449

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Flink 实践教程-进阶(8):自定义标量函数(UDF)

作者:腾讯云流计算 Oceanus 团队流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、...

cloudbigdata的博客 1640

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

【数据治理】学习笔记

【数据治理】

肥猫 1704

最佳实践:MySQL CDC 同步数据到 ES

本文分析了某知名在线教育平台在流计算 Oceanus 上的两种业务场景:MySQL 单表同步到 Elasticsearch;两条 MySQL CDC 流 Regular JOIN。此外,本文还对两种场景的一些重要参数或可选参数进行了讲解,并对可能存在的特殊场景提供了参数调优思路。

cloudbigdata的博客 1678

Oceanus 数据库中间件使用教程

Oceanus 数据库中间件使用教程 1. 项目的目录结构及介绍 Oceanus 是一个由 58 同城开发的数据库中间件,旨在简化数据库操作,支持分库分表等功能。以下是 Oceanus 项目的目录结构及其介绍: Oceanus/ ├── demo/ │ ├── demo1/ │ └── demo2/ ├── docs/ │ ├── README.md │ └── ... ├── o...

gitblog_00688的博客 414

实时监控:基于流计算 Oceanus ( Flink ) 实现系统和应用级实时监控

作者:吴云涛,腾讯CSIG高级工程师本文描述了如何使用腾讯云大数据组件来完成实时监控系统的设计和实现,通过实时采集并分析云服务器(CVM)及其 App 应用的 CPU和内存等资源消耗数...

腾讯技术工程 1929

使用Elasticsearch实时监控VPC流量日志

综上所述,借助Elasticsearch的实时数据分析能力,我们可以高效地监控VPC流量日志,准确无误地获取有关网络活动的重要信息。此外,Elasticsearch还支持丰富的搜索查询语法和强大的数据聚合功能,使得我们能够更加方便地对VPC流量日志进行统计和分析。而借助Elasticsearch这一强大的实时数据分析引擎,我们可以更加便捷地监控VPC流量日志,以实时获取有关网络活动的关键信息。通过对VPC流量日志的实时监控,我们能够更好地保护企业的网络安全,提升系统的稳定性和可靠性。

聚搜云_上海聚搜信息技术有限公司 217

Doris建表注意事项,实时数仓的同学记得收藏

为什么发这篇文章?新入场的小伙伴不知道doris的优势在哪里数据划分的原理是什么不适很清晰,也不知道分桶的作用是干啥的帮助新人快速了解doris的数据存储原理。目录基本概念Row &am...

huzechen的博客 5317

基于流计算 Oceanus(Flink) CDC 做好数据集成场景

作者:黄龙,腾讯 CSIG 高级工程师数据时代,企业对技术创新和服务水准的要求不断提高,数据已成为企业极其重要的资产。无论是在在企业数据中台的建设,亦或者是打造一站式数据开发和数据治理的P...

cloudbigdata的博客 3082

腾讯Oceanus实时计算平台架构设计---学习总结

一、背景 实时计算应用主要分为以下四类: (1)ETL:ETL应该是目前实时计算最普遍的应用场景。例如在TDBank的数据链路中,TDSort读取消息缓存系统Tube中的消息,通过流数据处理系统将消息队列中的数据进行实时分拣,并落地到HDFS接口机集群,并将最终分拣后的数据由加载到TDW中。 (2) 监控系统: 监控系统需要能够对产品和服务进行多维度的监控,对指标数据进行实时的聚合和分析,并支持...

流的博客 7070
上一篇: 腾讯新闻基于 Flink PipeLine 模式的实践
下一篇: 【大咖直播】Elastic 企业搜索实战工作坊(第二期)
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值