物联网数据中台雏形 Java+MySQL构建设备监控大数据存储与分析系统

技术选型与架构设计

Java作为后端开发语言，结合Spring Boot框架快速构建微服务；MySQL作为关系型数据库存储设备元数据；时序数据库（如InfluxDB或TDengine）处理高频监控数据；大数据组件（如Hadoop/Spark/Flink）用于离线/实时分析；消息队列（Kafka/RabbitMQ）实现数据解耦。

数据存储层实现

MySQL设计设备信息表（如device_info）、用户权限表等结构化数据表。时序数据库存储设备上报的温度、电压等时间序列数据，利用其高写入性能。示例MySQL表结构：

CREATE TABLE device_info (
    device_id VARCHAR(50) PRIMARY KEY,
    device_name VARCHAR(100),
    location VARCHAR(255),
    status TINYINT COMMENT '0-离线,1-在线'
);

数据采集与接入

通过MQTT/HTTP协议接收设备数据，使用Spring Integration或自定义Servlet处理请求。MQTT接入示例：

@Bean
public IntegrationFlow mqttInbound() {
    return IntegrationFlows.from(
        Mqtt.messageDriverChannelAdapter(brokerUrl, "topic/device/data")
    ).handle(message -> {
        String payload = message.getPayload().toString();
        // 解析并存储数据
    }).get();
}

实时处理与批处理

Flink实时计算异常指标（如连续超温），窗口统计每分钟平均值。Spark离线分析历史数据生成报表。Flink示例代码：

DataStream<DeviceData> stream = env.addSource(kafkaSource);
stream.keyBy(DeviceData::getDeviceId)
      .timeWindow(Time.minutes(1))
      .process(new DeviceAlertProcessFunction());

数据服务与API

Spring Boot暴露RESTful API供前端调用，如/api/device/{id}/current获取实时状态，/api/analytics/daily查询日统计报表。Controller示例：

@GetMapping("/analytics/daily")
public ResponseEntity<DailyStats> getDailyStats(
    @RequestParam String deviceId, 
    @RequestParam LocalDate date) {
    // 查询时序数据库或Hive
}

可视化与监控

集成Grafana展示实时仪表盘，或通过ECharts自定义前端图表。配置告警规则（如Prometheus+Alertmanager）触发邮件/短信通知。

扩展性与优化

• 数据分片：按设备ID或时间范围分库分表
• 缓存：Redis缓存热点查询结果
• 压缩：时序数据采用Snappy压缩存储
• 资源隔离：Kubernetes部署实现微服务弹性扩缩容

通过分层设计（采集→存储→计算→服务），系统可支撑千万级设备数据接入，满足监控、分析、预警等核心场景需求。