IoTDB-Quality使用笔记：数据质量

IoTDB-Quality：时序数据的质量分析与评估
原创 已于 2024-04-10 08:48:06 修改 · 532 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #大数据 #数据分析 #python #机器学习

于 2021-04-29 14:13:45 首次发布
Apache IoTDB-Quality是针对时序数据的质量管理工具，提供数据画像、质量评估与修复等功能。1.0.0版本已发布，包括完整性、准确性等数据质量指标，通过对工程车辆数据的分析，揭示了数据缺失问题，帮助公司识别设备异常。

Apache IoTDB​​​​​​​ (Internet of Things Database) 是一个时序数据的数据管理系统，可以为用户提供数据收集、存储和分析等特定的服务。IoTDB-Quality基于IoTDB用户自定义函数(UDF)，实现了一系列关于数据质量的函数，包括数据画像、数据质量评估与修复等，有效满足了工业领域对数据质量的需求。

目前，IoTDB-Quality的1.0.0版本已经正式发布，欢迎大家下载使用。

1、时序数据的数据质量

    对时序数据而言，数据质量至关重要。比如，如果我们的数据分析基于低质量的时间序列，分析得到的结果就有可能存在问题，进一步地可能影响我们做出的决策。因此，我们需要有一套对时间序列的数据质量进行评估的机制，事先识别出低质量的时间序列，避免对后续的数据分析等产生不利影响。

    我们整理了常见的数据异常，并将它们归结为下面四个数据质量指标：

完整性

Completeness

一致性
最低0.47元/天 解锁文章
Apache IoTDB 通过大数据产业生态联盟认定并获“优秀大数据产品”称号
乔的博客
12-10 1033
2019年12月，“清华数为物联网数据库IoTDB”在由大数据产业生态联盟、联盟大数据与产品质量保障工作组、中国软件评测中心组织的专业评审活动中被评为“优秀大数据产品”，并获得大数据基础设施类产品认定证书。据悉，包括IoTDB在内，本次评审共选出6项优秀大数据产品。 清华数为物联网数据库 IoTDB Apache IoTDB 是由清华大学研制并捐赠于 Apache 基金会的时序数据库项目。...
快讯 | 清华数为物联网数据库IoTDB被评为“优秀大数据产品”
数据派THU
12-13 1592
2019年12月，由清华大学软件学院自主研发的“清华数为物联网数据库IoTDB”在由大数据产业生态联盟、联盟大数据与产品质量保障工作组、中国软件评测中心组织的专业评审活动中被评为“优秀大...
基于IoT全链路实时质量 - 魔洛哥
数据库技术
11-01 663
通过基于IoT的全链路实时质量，业务使用狄仁杰进行全链路埋点后，可一键接入魔洛哥平台，实现终端问题的实时感知和链路分析，以及智能终端系统业务场景的全链路实时质量。整体方案接入成本低（分钟级别接入），可实现全链路的实时质量分析，以及精准的终端预警能力。
Qualitis:Qualitis是一站式的数据质量管理平台，支持对各种数据源进行质量验证，通知和管理。 它用于解决由数据处理引起的各种数据质量问题。 https
05-02
English | 概述 Qualitis是一个数据质量管理平台，支持各种数据源的质量验证，通知和管理。 它用于解决由数据处理引起的各种数据质量问题。 基于Spring Boot，将质量模型任务提交给平台。 它提供诸如数据质量模型构建，数据质量模型执行，数据质量验证，数据质量生成报告等功能。 同时，Qualitis提供了企业级功能，例如财务级资源隔离，管理和访问控制。 它还保证了它在高并发，高性能和高可用性情况下的正常工作。 特征 定义数据质量模型支持以下数据质量模型： 1.单表型号。 2.多表模型。 3.自定义模型。 同时，Qualitis预设了多个数据质量验证模板，包括空检查，空白检查，数字检查，枚举检查等常用检查，从而简化了数据质量模型的定义。 数据质量模型调度支持数据质量模型调度。 数据质量报告支持生成数据质量报告。 日志管理支持数据质量任务的管理。 异常数据管理支持异
精选资源
Air-Quality-Web:ConnectedHumber空气质量监测项目的Web界面和JSON API
05-07
尽管它被称为“空气质量网” ，但它的设计目的是显示任何种类的传感器数据，而不仅仅是空气质量传感器的读数。 它由两部分组成： 由MariaDB服务器支持的基于PHP的JSON API服务器（入口点：api.php） 在浏览器中...
CVPR 2020---CentripetalNet: Pursuing High-quality Keypoint Pairs for Object Detection
热门推荐
何少的博客
04-04 1万+
Abstract 基于关键点的检测器具有良好的性能。然而，不正确的关键点匹配仍然普遍存在，严重影响了检测器的性能。在本文中，我们提出了 CentripetalNet，它利用向心偏移来对同一实例中的角点进行配对。CentripetalNet 预测角点（corner points）的位置和向心偏移（centripetal shift），并对偏移结果对齐（aligned）的角点进行匹配。结合位置信息，我...
联邦学习-区块链论文笔记：Blockchain and Federated Learning for Privacy-Preserved Data Sharing in Industrial IoT
飞奔的菜猪的博客
10-12 1万+
链接： IEEE Xplore Full-Text PDF:​ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8843900 作者：Yunlong Lu （北京邮电大学团队） Motivation： 1）构建一联邦学习模型，不分享本地数据； 2）提出了一种新的区块链授权协作架构，通过分布式多方共享数据，降低数据泄漏风险，数据所有者可以进一步控制共享数据的访问； 3）将差异化隐私融入到联邦学习中，进一步保护数据隐私。 Idea： 1）本文采
工业时序大数据质量管理
weixin_45585364的博客
02-10 2619
工业时序大数据质量管理丁小欧，王宏志，于晟健哈尔滨工业大学海量数据计算研究中心，黑龙江 哈尔滨 150001摘要：工业大数据已经成为我国制造业转型升级的重要战略资源，工业大数据分析问...
数据质量管理平台 Qualitis 安装部署
u011250186的博客
03-18 1162
数据质量管理平台 Qualitis 安装部署
Qualitis数据质量管理系统安装配置完全指南
gitblog_07032的博客
09-13 922
Qualitis数据质量管理系统安装配置完全指南 项目基础介绍与编程语言 Qualitis 是一个一站式的数据质量管理平台，它支持对不同数据源的质量验证、通知与管理，旨在解决因数据处理引发的各种数据质量问题。此项目采用Java作为主要编程语言，并且基于Spring Boot框架构建，确保了系统的高效性与易扩展性。它还集成了Linkis平台来提交数据质量模型任务，为用户提供数据质量模型构建、执行、验...
uml系统设计期末大作业_大数据数据治理之数据质量管理系统架构设计
weixin_39769228的博客
11-23 1306
架构设计文档一、引言1.1 项目背景数据质量监测是大数据处理中最重要的一个环节，是数据服务、数据分析、数据挖掘等活动的必备支持条件。1.2 项目概述提出了一个基于大数据平台的数据质量管理服务Qualitis，提供统一的流程来定义和检测数据集的质量并及时报告问题。1.3 术语表术语含义项目(project)一系列规则的集合，决定告警人和告警级别，是任务调度的单位之一。规则(rule)数据源...
如何确保数据完整性？
weixin_66107850的博客
01-27 4771
数据安全性与数据完整性有关，但它们并非同一个人。数据安全是指防止未经授权的用户访问数据。对于数据库，数据完整性的工作方式有所不同。即使这样，数据库仍然是组织的一部分。本文中的建议将帮助您的组织创建有关如何保持数据库完整的策略。数据完整性是策略和解决方案的更广泛应用，可保持数据纯净和未经修改。它可以包括数据安全性以防止未经授权的用户修改数据。但是，它也提供了措施以原始状态记录，维护和保存数据。数据完整性也可以应用于计算机世界之外的信息。无论是数字形式还是印刷形式，确保数据完整性都是良好业务决策的基础。
IOTDB-Benchmark使用记录
Genji_JX的博客
03-17 8419
1、IOTDB-Benchmark的安装 github链接：​​​​​​https://github.com/thulab/iotdb-benchmark 下载解压之后，进入项目的根目录使用命令进行编译： mvn clean package -Dmaven.test.skip=true 2、IOTDB-Benchmark的使用 启动iotdb-benchmark之前先启动iotdb服务(需要先安装iotdb数据库)，/apache-iotdb-0.12.4-all-bin/sbin，启动s
关于IoTDB学习的记录合集
weixin_45974176的博客
11-22 2177
关于iotdb学习的博客链接集合
数据治理-07-时序数据管理
weixin_50302010的博客
03-10 541
文章内容摘自《数据治理-工业企业数字化转型之道》
什么是时序数据？如何治理？有哪些应用场景？终于有人讲明白了
xljlckjolksl的博客
07-21 3100
这样看来，需要解决的关键技术问题如下。一个大的系统，其中采集的数据种类繁多，而且除采集的原始数据外，还有大量的衍生数据。这些数据各自有不同的特点，有的采集频次高，有的要求保留时间长，有的需要保存多个副本以保证更高的安全性，有的需要能快速访问。时序数据处理系统需要支持业界流行的标准，提供各种语言开发接口，包括C/C++、Java、Go、Python、RESTful等，也需要支持Spark、R、MATLAB等，方便集成各种机器学习、人工智能算法或其他应用，让大数据处理平台能够不断扩展，而不是成为一个数据孤岛。
【数据治理】一文读懂时序数据治理
最新发布
10-10 3556
时序数据（Time Series Data）是指按照时间顺序记录的一系列观测值或事件。每个观测值都与一个特定的时间点或时间段相关联，这些数据点通常以固定或不固定的间隔进行采集。时序数据在许多领域都有广泛的应用，尤其是在金融、气象、医疗、制造业和物联网（IoT）等领域。时序数据的定义时序数据可以被定义为一组按时间顺序排列的数据点，其中每个数据点包含以下两个主要部分：1. 时间戳：表示数据点被记录的具体时间。时间戳可以是秒、分钟、小时、天、周、月或年等不同的时间单位。
IoTDB 入门教程 企业篇④——安全控制 | 白名单、审计日志、登录日志和操作日志
08-02 3783
IoTDB 入门教程 企业篇④——安全控制 | 白名单、审计日志、登录日志和操作日志
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Apache IoTDB

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值