案例｜每秒处理能力从200万增长至500万，农业大数据平台云原生升级之路

LinkTime_Cloud

于 2023-09-15 10:18:08 发布

阅读量358

点赞数

CC 4.0 BY-SA版权

文章标签：大数据云原生

原文链接：https://mp.weixin.qq.com/s?__biz=MzU4NDQ2NzQ1NA==&mid=2247491518&idx=1&sn=62e32763107de42a018a4bdd4853556c&chksm=fd98092fcaef8039a0559114688290b8bd13d05655ba867779434a96eb10d5441abcc62be663&scene=126&sessionid=0

本文讲述了农业企业如何通过云原生技术升级其大数据平台，以实现性能提升、高可用性、扩展性和安全性。重点介绍了技术架构的改进，如双中心模式、容器部署、PaaS资源调度、湖仓一体和实时数仓，以及智能运维体系的构建。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

“云原生大数据”已经是现在科技领域的热词了，尤其是对于企业的可扩展性和敏捷性开发需求而言。随着技术的发展，云原生技术应用也成为了农业转型升级的内在需求，比如智慧农业大数据平台就已经成为了农业生产的重要工具。

那么，究竟如何运用云原生实现降本增效？在农业大数据平台云原生的升级之路中，如何保证架构的高可用、高性能、高负载……技术架构及方案又有何优势？本篇案例分享其建设实践。

突破性能瓶颈

每秒处理能力从200万增长至500万

某头部农机集团在业务发展过程中涉及到大规模设备接入，原有系统性能瓶颈无以支撑现有业务，需要解决大规模接入后保障现有业务正常运行，现有IOT数采键值对数据每秒200万处理能力，设备接入速率支持200Mb/s。

提升新增设备接入后系统可稳定运行，可扩展空间可达到每秒500万键值对处理量，接入速率达到500Mb/s。

由于新增设备接入需要对IOT数据流进行优化，利用PaaS平台资源调度能力为IOT提供灵活的、可扩展的、动态伸缩的资源调度，同时，为IOT产生的数据提供稳定的、可靠的大规模数据在线/离线计算以及BI数据分析能力，新规划平台具备弹性伸缩、状态监测、存储挂载、容器镜像等相关支撑能力，为农业行业相关政府机构、企事业单位、农垦集团、农机所有人、农作物种植户提供农事相关业务、补贴查询、农事服务等各项业务保障与支撑。

每秒处理能力从200万增长至500万，接入速率200Mb/s提升至500Mb/s，该农机集团的农业大数据平台的云原生升级之路，充满新机遇与新挑战。建设该农业大数据平台的总体需求要求大数据中心所有大数据组件，均要以容器方式部署和运行在Kubernetes集群之上。其具体需求还包括：

◼︎ 高可用、高可靠

需采用双中心模式，实现高可靠、高性能的服务能力：在机房、云上中心分别部署网关、PaaS，外部访问过程优先负载（DNS机制）到云上中心，提供服务，当云上中心出现故障，自动切换访问流量至本地中心。

◼︎ 高性能

需解决大规模设备的接入问题，承载能力提升到现有业务类型，每秒200万键值对以上，物联网数据接入速率支持200Mb/s以上，架构上可支持扩展到500万键值对的处理能力，对应IOT接入速率500Mb/s；优化IoT数据流，利用PaaS平台的服务能力和灵活伸缩能力，实现大规模设备的数据接入和服务能力建设；

◼︎ 高负载

需优化目前的数据流，使得能够承载大规模数据的分析：利用主流的分布式大数据存储技术，并配套相关计算和分析机制，满足未来大规模数据的存储和分析需求；利用消息队列作为数据缓冲，将数据进行分流以便满足不同业务场景；具备离线批量分析、实时流式计算功能。

◼︎ 统一运维

需提供统一的容器运维平台，支持弹性伸缩、状态监测、存储挂载，支持容器镜像仓库功能。

◼︎ 数据可视化

需支持在浏览器端定制所见即所得的报表，支持在线的数据绑定即可实现展现，支持常见的图表类型。

◼︎ 安全

需对BI平台和API发布功能实现统一用户及身份管理：对内部、外部用户的统一管理，以及实现单点登录，主要用户包括机关单位、企业管理层、业务使用方以及社会公众。

技术路线与构建思路剖析

农业云原生大数据平台升级之路

智领云科技作为国内云原生大数据核心技术的先行者和倡导者，其研发技术团队基于对该头部农机集团业务发展的理解，以及数据平台技术趋势，在原有技术架构改造中采用先进的云原生技术架构。

其逻辑架构基于云上中心、机房构建应用级灾备架构，访问流量优先转发至云上中心，对外提供服务，双中心数据实现双向实时同步。当云上中心出现故障时，数据流量切换至本地机房可继续提供服务，当云上中心故障修复后业务切回，保障业务高可靠性。

原有架构

总体架构

技术架构

逻辑架构

除此之外，该平台高可用架构方案即数据中心双向同步技术方案，其中包括MySQL数据双向同步技术方案，数据中心双向同步的监控技术方案，Kafka集群双向同步技术方案，Kafka集群同步监控方案。

在农业云原生大数据平台建设过程中，所有组件都进行了扩展以支持多租户环境（authentication & authorization）以及与可观测性服务，监控报警服务的集成。其云原生大数据平台架构包括：

云原生大数据平台架构

◼︎ 云平台层：

云平台层是整个平台的基础“底座”，负责对所有分布式资源管理负责计算及存储资源调度，同时对容器进行编排，实现多用户的租户空间资源分配和隔离。

◼︎ 大数据基础能力层：

大数据基础能力层是整个平台的“能力工具”层，负责对集成各类大数据的组件，包括Hive、Hadoop、Spark、Elasticsearch、Kafka、Flink、MQ、Hbase、InfluxDb、TDEgine。

◼︎ 数据管理运营层

数据管理运营层是整个平台的“工作中心”，这里需要使用大数据基础能力层所提供的各类大数据组件，对大数据平台之外的数据进行采集、清洗、转换、治理、分析计算，并为数据应用层提供可使用的数据服务，同时还具备全局的元数据统一管理，还提供经过使用大数据算法工具计算出的算法模型的服务。

◼︎ 数据应用层：

数据应用层是整个大数据平台的“数据能力展现”层，在该层之上会有基于平台输出的“智能化数据”构建好的各类按照科技人员管理业务要求的应用。

◼︎ 智能化运维体系：

智能化运维体系是整个大数据平台运行稳定、安全、可靠的保证，是平台的“卫兵”体系。这个体系中能够保证多用户在平台上的隔离使用，互不干扰，保证了平台中运行、处理的数据的安全有效；能够保证在平台上运行的所有操作和过程都全程留痕、有迹可查，所有的操作和数据都是经过了审核和审计，达到了平台管理的要求。

科学谋划顶层设计

推动数据平台健康持续发展

大数据中心建设的顶层规划，而后还需持续运营迭代逐步完善，顶层规划要从技术选型、顶层架构设计以及大数据中心建设涉及的职能部门规划三个方面进行确定。顶层规划合理，大数据平台建设就能够持续迭代完善，否则就会受限于业务、数据的变化，以及已用数据组件的能力，对此该平台采用以下技术及方案，确保大数据平台建设能够顺利可持续的迭代完善。

第一，云原生技术架构。云原生技术有利于在公有云、私有云和混合云等新型动态环境中，构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API，这些技术能够构建容错性好、易于管理和便于观察的松耦合系统，结合可靠的自动化手段，云原生技术使工程师能够轻松地对系统做出频繁和可预测的重大变更。

第二，云原生数据驱动平台。云原生技术架构构建的数据驱动平台包括容器化，可观察性，数据处理的版本控制、CI/CD，多租户数据处理，以及标准化微服务的发布和使用。基于云原生技术架构构建的数据驱动平台具备五大特征：

1、集成高效的低代码数据应用开发平台；

2、在容器及云平台环境下调度运行数据采集、ETL,、数据分析、机器学习和流数据处理；

3、数据安全合规；

4、数据监控、指标、统计、数据质量，如何保证数据的完整性，实时性和正确性；

5、通过元数据管理和数据门户能够提供数据资产管理，保证最快发现需要的数据。

第三，湖仓一体。该方案采用湖仓一体的架构，对于结构化数据通过贴源层采集到数据湖中，半结构化和非结构化数据存储在数据湖中。数据湖的基础存储采用MinIO简单对象存储，结构化数据存储在Hive中，这样就完全通过统一的Minio存储构建基本的数据湖存储；数据仓库采用可以按需使用Hive、Mysql，或者国产数仓Tidb均可，因为使用云原生架构搭建数仓平台，这些能够构建基础数仓所使用的基础数据组件都可以按需使用、按需更换。

第四，实时数仓。实时计算一般都是针对海量数据进行的，并且要求为秒级。由于大数据兴起之初，Hadoop并没有给出实时计算解决方案，随后Storm、SparkStreaming、Flink等实时计算框架应运而生，而Kafka、ES的兴起使得实时计算领域的技术越来越完善，随着物联网，机器学习等技术的推广，实时流式计算将在这些领域得到充分的应用。

实时数仓分层架构为了避免面向需求响应的烟囱式构建，引入了类似于离线数仓的分层理念，主要为了提高模型的复用率，同时考虑易用性、一致性以及计算成本。实时数仓的分层架构在设计上并不会像离线数仓那么复杂，避免数据在流转过程中造成的不必要的延时响应。

该头部农机集团，通过农业大数据平台的建设，处理能力最终从每秒200万增长至500万，接入速率200Mb/s提升至500Mb/s。直观的数据足以说明该农机集团的农业大数据平台的云原生升级之路，即便充满挑战，但通过技术与方案创新带来的新机遇更显而易见。

加强农业大数据平台建设，更精准服务现代农业。智慧农业大数据平台不仅可以收集、分析和利用农业生产的数据，从而提高农业生产的效率和可持续性。值得强调的是，基于云原生架构的农业大数据平台必定是未来农业生产的趋势，技术的集成化、数据安全保护、多元化应用等技术的发展，都能够为农业生产带来更大的数字化支持推动农业的持续发展。

未来智领云科技将不断通过智能科技手段，提升客户服务体验，提高管理效率，降低公司经营成本，为未来高质量可持续发展奠定坚实基础，同时助力汽车产业稳健发展。