比Spark更适合工业互联网的数据库——热门时序数据库介绍与核心文档汇总【施工中,欢迎留言加入】

本文介绍了时序数据库在工业互联网中的重要性,特别是针对其数据写入、查询、存储特点。文章讨论了关系型数据库在处理时序数据时的挑战,并详细介绍了Apache系的时序数据库Apache Druid和Apache IoTDB,包括它们的主要特性和应用场景。

最近开始接触到一些IoT相关的内容,国内也有不少公司与学校在关注相关内容,在目前平台互联网发展已经成熟的阶段,工业互联网则是一片蓝海,那么我们就需要一个更加适合工业互联网的数据库

1、什么是时序数据库

什么是时序数据(Time Series Data,TSD,以下简称时序),从定义上来说,是以时间标签为索引的数据。用更加贴近实际的语言来说,就是这类数据描述了某个被测量的单位在一个时间范围内的每个时间点上的测量值。它普遍存在于IT基础设施、运维监控系统和物联网中。

时序数据从时间维度上将孤立的观测值连成一条线,从而揭示软硬件系统的状态变化。孤立的观测值不能叫时序数据,但如果把大量的观测值用时间线串起来,我们就可以研究和分析观测值的趋势及规律。这也是我们在工业互联网中为什么要使用时序数据库的原因。

以国家级气象观测站为例,全国有近6万个气象观测站,每个气象观测站有70种气象物理量需要采集。某市地铁每列列车拥有3200个指标需要测量,全市列车数达300列。服务器运维监控中,一台服务器需要同时监测IOPS、CPU、网络等十余项指标。这些例子中展现出两个概念:设备与度量指标。所谓度量指标(又被称为工况、测点)是指用户关心的能反映目标的某种状况的数据项,例如CPU利用率、温度、湿度等等。设备是指一个拥有一系列度量指标的实体,例如一台服务器、一个进程、一列车、一个气象观测站等等。一个设备的一个度量指标形成了一条时序数据的唯一标识。

随着时间推移,这条时序数据会产生一系列(时间戳,值)的二元组数据点,构成了时间序列数据集。因此,我们定义一条时间序列是由一个时间序列标识(设备和度量指标),一系列时间戳和数据值对组成的无限集。一个时间序列数据库将管理百万甚至千万条这样的时间序列。

参考:

  1. Apache IoTDB 系列教程-1:数据模型
  2. 时序数据库介绍

2、为什么需要时序数据库

2.1、时序数据库的特点

2.1.1、数据写入的特点:

  1. 数据量大:相比于传统的互联网企业,例如滴滴、阿里等,时序数据的来源多为设备,包括车辆、服务器、生产设备等,这类设备与传统的商业活动访问量通常存在波峰波谷不同,其在整个运行周期的各个时间点几乎是均匀等量地产出大量的数据;
    时序数据是由每个个体独立生成,所以当个体数量众多时,通常写入的并发和吞吐量都是比较高的,特别是在物联网场景下。写入并发和吞吐量,可以简单的通过个体数量和数据生成频率来计算,例如若你有1000个个体以10秒的频率产生数据,则你平均每秒产生的并发和写入量就是100;
    例如车辆行驶过程中,可能需要以秒为单位采集车辆运行过程中的各个设备数据情况,再例如生产车间中需要实时记录设备的运行情况、生产环境的温度、湿度等信息,并且采集频率越高,数据量也就越大;
  2. 写多读少:时序数据上95%-99%的操作都是写操作,是典型的写多读少的数据。这与其数据特性相关,例如监控数据,你的监控项可能很多,但是你真正去读的可能比较少,通常只会关心几个特定的关键指标或者在特定的场景下才会去读数据。
  3. 实时写入最近生成的数据,无更新:时序数据的写入是实时的,且每次写入都是最近生成的数据,这与其数据生成的特点相关,因为其数据生成是随着时间推进的,而新生成的数据会实时的进行写入。数据写入无更新,在时间这个维度上,随着时间的推进,每次数据都是新数据,不会存在旧数据的更新,不过不排除人为的对数据做订正。

2.1.2、数据查询的特点

  1. 按时间范围读取:通常来说,你不会去关心某个特定点的数据,而是一段时间的数据。所以时序数据的读取,基本都是按时间范围的读取。
  2. 最近的数据被读取的概率高:最近的数据越有可能被读取,以监控数据为例,你通常只会关心最近几个小时或最近几天的监控数据,而极少关心一个月或一年前的数据。
  3. 多精度查询:按数据点的不同密集度来区分不同的精度,例如若相邻数据点的间隔周期是10秒,则该时序数据的精度就是10秒,若相邻数据点
最新工业互联网资料合集,共79份。 1_(1-199页)_2_(200-499页)_THE NEXT TSUNAMI 3_工业互联网平台标准体系框架(版本1.0)‰ 4-工业互联网平台 可信服务评估评测要求 5-阿里云物联网行业方案-智能硬件平台解决方案V1.0 6-工信部:2017工业物联网白皮书 7-工业互联网平台 通用要求 8-工业互联网中的标识解析技术_杨震 9-工业互联网成熟度评估白皮书 10_A 微软混合云及实现 11_阿里云物联网行业方案-智能硬件平台解决方案V1.0 12-智能边缘_边缘节点_IanBeavers 13-5G网络技术架构白皮书-中文版 14_云计算白皮书(2016年) 15-工业大数据技术应用白皮书 16_IoTOpenLabWhitePaper-zh 17_阿里云大数据平台-数据开发 17-阿里云大数据平台-平台介绍 18_郭朝晖-工业大数据的特征、方法价值创造 19_能源互联网_信息能源的基础设施一体化_曹军威 20_史扬 边缘计算参考架构20 21_《工业互联网安全框架白皮书》介绍 22_阿里云数据工场 23_智能电网大数据处理技术现状挑战_宋亚奇 24_能源互联网关键技术分析_查亚兵 25_HuaweiLiteOS 26-GE_Predix_Architecture_and_Services-20161128 27_智能电网智能广域机器人_卢强 28_阿里云业务实时监控服务 ARMS 29_阿里云物联网平台 30-IIC_Industrial_Analytics_Framework_Oct_2017 31-Connectivity Framework 32_电力系统云计算中心的研究实践 33-从工业4_0到能源5_0_智能能源系统的概念_内涵及体系框架_邓建玲 34_能源互联网能源路由器_曹军威 35-工业云安全防护参考方案 36-共享单车技术含量 37-Service Mesh解读 新一代微服务技术新秀 38-Why We Build Testbeds 39_阿里云命令行工具 40-Industrial_Analytics-the_engine_driving_IIoT_revolution_20170321_FINAL 41-Beyond_Digitization_An_IIC_Energy_Task_Group_White_Paper 42-工业互联网平台白皮书(2017) 43-工业物联网发展的挡路石_赵铁成 44_阿里云专有网络VPC 45_工业互联网网络优秀解决方案汇编 46_创新的智能能源管理_边缘节点_网关_云端的完整方案_9db1c003_aa86_ 47-工厂内网络 工业EPON系统技术要求 48-工业互联网 导则 设备智能化 49-工业互联网关键技术专利态势研究白皮书 50-工业互联网典型安全解决方案例汇编 51-2017车联网网络安全白皮书 52-工业互联网标准体系框架 53-基于个人计算机的智能家居边缘计算系统_宋朋涛 2017工业互联网优秀应用案例汇编 产品追溯体系发展白皮书 垂直行业工业互联网实施架构白皮书(讨论稿) 从智能电网到能源互联网_基本概念研究框架_董朝阳 大数据白皮书(2014年) 工业40进程中的工控系统信息安全 工业互联网安全框架(讨论稿) 工业互联网网络连接白皮书 工业互联网信息安全问题及防护技术研究_方波 能源互联网技术框架研究_周海明 网络大数据_现状展望_王元卓 未来网络工业互联网发展综述_吴文君 无线应用场景白皮书-汽车制造领域 物联网白皮书(2015) 物联网标识白皮书2013 物联网通讯协议 移动互联网白皮书(2015年) 云计算的1024种玩法 为求职加分 建个酷炫的简历网页 云计算发展白皮书(2018年) 智能电网大数据的特点_应用场景分析平台_刘广一 智能电网的技术组成和实现顺序_余贻鑫 智能制造标准 体系 研究 中国机车远程监测诊断系统_CMD系统_总体方案研究_申瑞源 中欧物联网标识白皮书 ICT制造业发展报告 SOA架构是否满足CPS网络架构
这是由美联储经济数据库(FRED)托管的美联储数据集。有关每个文件的多详细信息,请参见各个文件的说明。 industrial-production-business-equipment_metadata.json industrial-production-consumer-goods_metadata.json industrial-production-durable-consumer-goods_metadata.json industrial-production-durable-goods-raw-steel_metadata.json industrial-production-durable-manufacturing-motor-vehicles-and-parts_metadata.json industrial-production-durable-materials_metadata.json industrial-production-electric-and-gas-utilities_metadata.json industrial-production-electric-and-gas-utilities_metadata_1.json industrial-production-final-products-and-nonindustrial-supplies_metadata.json industrial-production-final-products-market-group_metadata.json industrial-production-fuels_metadata.json industrial-production-manufacturing-naics_metadata.json industrial-production-manufacturing-naics_metadata_1.json industrial-production-manufacturing-sic_metadata.json industrial-production-materials_metadata.json industrial-production-mining_metadata.json industrial-production-mining-crude-oil_metadata.json industrial-production-nondurable-consumer-goods_metadata.json industrial-production-nondurable-materials_metadata.json industrial-production-residential-utilities_metadata.json industrial-production-total-index_metadata.json IPB50001N.csv IPB51222S.csv IPBUSEQ.csv IPCONGD.csv IPDCONGD.csv IPDMAT.csv IPFINAL.csv IPFPNSS.csv IPFUELS.csv IPG2211A2N.csv IPG3361T3S.csv IPG211111CN.csv IPGMFN.csv IPMAN.csv IPMANSICS.csv IPMAT.csv IPMINE.csv IPN3311A2RN.csv IPNCONGD.csv IPNMAT.csv IPUTIL.csv
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值