EMQ X + ClickHouse 实现物联网数据接入与分析

物联网数据采集涉及到大量设备接入、海量的数据传输，EMQ X 物联网消息中间件 与 ClickHouse 联机分析 (OLAP) 数据库的组合技术栈完全能够胜任物联网数据采集传输与存储、分析处理业务。

数据入库后，往往需要其他方式如数据可视化系统将数据按照规则统计、展现出来，实现数据的监控、指标统计等业务需求，以便充分发挥数据的价值，ClickHouse 搭配开源软件 Grafana 可以快速搭建物联网数据分析可视化平台。

上述整套方案无需代码开发，涉及的产品均能提供开源软件、企业服务、云端 SaaS 服务不同层次的交付模式，能够根据项目需求实现免费版或企业版私有化落地以及云端部署。

方案介绍

EMQ X 简介

EMQ X 是基于高并发的 Erlang/OTP 语言平台开发，支持百万级连接和分布式集群架构，发布订阅模式的开源 MQTT 消息服务器。EMQ X 内置了大量开箱即用的功能，其企业版 EMQ X Enterprise 支持通过规则引擎将物联网消息数据存储到 ClickHouse。

ClickHouse 简介

ClickHouse 是一个用于数据分析（OLAP）的列式数据库管理系统（column-oriented DBMS），由俄罗斯搜索巨头 Yandex 公司开源。目前国内不少大厂在使用，包括腾讯、今日头条、携程、快手、虎牙等，集群规模多达数千节点。

• 今日头条 内部用 ClickHouse 来做用户行为分析，内部一共几千个 ClickHouse 节点，单集群最大 1200 节点，日增原始数据 300TB 左右。
• 腾讯 内部用 ClickHouse 做游戏数据分析，并且为之建立了一整套监控运维体系。
• 携程 内部从 18 年 7 月份开始接入试用，目前 80% 的业务都跑在 ClickHouse 上。每天数据增量十多亿，近百万次查询请求。
• 快手 内部也在使用 ClickHouse，存储总量大约 10PB， 每天新增 200TB， 90% 查询小于 3S。

在国外，Yandex 内部有数百节点用于做用户点击行为分析，优步、CloudFlare、Spotify 等头部公司也在使用，更多用户列表见 ClickHouse 官网-用户列表。

Grafana 简介

Grafana 是一个跨平台、开源的度量分析和可视化工具，可以查询处理各类数据源中的数据，进行可视化的展示。它可以快速灵活创建的客户端图表，面板插件有许多不同方式的可视化指标和日志，官方库中具有丰富的仪表盘插件，比如热图、折线图、图表等多种展示方式；支持 InfluxDB, OpenTSDB, Prometheus, Elasticsearch, CloudWatch 和 KairosDB 等数据源，支持数据项独立/混合查询展示；可以创建自定义告警规则并通知到其他消息处理服务或组件中。

Grafana 4.6+ 版本支持通过插件的形式安装 Clickhouse 数据源，使用前需要在 Grafana 上额外安装 ClickHouse 插件。

业务场景

本文模拟物联网环境数据采集场景，假设现有一定数据的环境数据采集点，所有采集点数据均通过 MQTT 协议 传输至采集平台（MQTT Publish），主题设计如下：

sensor/data

传感器发送的数据格式为 JSON，数据包括传感器采集的温度、湿度、噪声音量、PM10、PM2.5、二氧化硫、二氧化氮、一氧化碳、传感器 ID、区域、采集时间等数据。

{
   
   
    "temperature": 30,
    "humidity" : 20,
    "volume": 44.5,
    "PM10": 23,
    "pm25": 61,
    "SO2": 14,
    "NO2": 4,
    "CO": 5,
    "id": "10-c6-1f-1a-1f-47",
    "area": 1,
    "ts": 1596157444170
}

现在需要实时存储以便在后续任意时间查看数据，提出以下的需求：

• 每个设备按照每 5 秒钟一次的频率进行数据上报，数据库需存储每条数据以供后续回溯分析；
• 通过 ClickHouse 存储原始数据，配合 Grafana 进行数据分析并可视化展示。

环境准备

本文所用各个组件均有 Docker 镜像可以快速搭建运行，为方便开发，Grafana 使用 Docker 搭建，ClickHouse 使用文档推荐方式安装，EMQ X 采用安装包或在线云服务的形式集成使用。

相关资源与使用教程参照各自官网：

• EMQ X：EMQ 官网
• ClickHouse：ClickHouse 产品首页 https://clickhouse.tech/
• Grafana：Grafana 官网 https://grafana.com/

安装 EMQ X

方式一：使用 EMQ X Cloud

EMQ 提供了 全托管的物联网 MQTT 云服务 - EMQ X Cloud，在 EMQ X Cloud 上，用户仅需数分钟即可创建高可用、独享实例的 EMQ X 集群，立即开始原型设计与应用开发而无需关注后续的运维工作。产品上线后，集群可进行不停机扩容以应对业务增长带来的容量扩张，保证可用性的同时最大化节省使用成本。

EMQ X Cloud 为新注册用户提供 6 个月时长的免费试用，注册账号并登录创建试用部署后，点击部署详情中的 EMQ X Dashboard 即可打开 EMQ X 管理控制台。

使用 EMQ X Cloud 需要保证 ClickHouse 能够被通过公网地址访问。

方式二：私有部署安装

如果您是 EMQ X 新手用户，推荐通过 EMQ X 文档 快速上手

访问 EMQ 下载 页面下载适合您操作系统的安装包，本文截稿时 EMQ X 企业版本为 v4.1.2，下载 zip 包的启动步骤如下 ：

## 解压下载好的安装包
unzip emqx-macosx-v4.1.2.zip
cd emqx

## 以 console 模式启动 EMQ X 方便调试
./bin/emqx console

启动成功后浏览器访问 http://127.0.0.1:18083 访问 EMQ X 管理控制台 Dashboard，使用 admin public 默认用户名密码完成初次登录。

安装 ClickHouse

使用 ClickHouse 文档 推荐的安装方式安装，本文仅做 Demo 演示，采用华为云 2 核 4GB 规格的云服务器进行安装使用：

sudo yum install yum-utils
sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG
sudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/clickhouse.repo
sudo yum install clickhouse-server clickhouse-client

sudo /etc/init.d/clickhouse-server start
clickhouse-client

默认情况下 ClickHouse 只监听本地端口，如果需要远程访问需要修改配置文件：

<!-- /etc/clickhouse-server/config.xml -->
<!-- 找到这一行，取消注释 <listen_host>::</listen_host> 并修改为 -->
<listen_host>0.0.0.0</listen_host>

重新启动：

service clickhouse-server restart 

Grafana 安装

使用以下命令通过 Docker 安装并启动 Grafana：

docker run -d --name=grafana -p 3000:3000 grafana/grafana

启动成功后浏览器访问 http://127.0.0.1:30