OpenMetadata 1.6.7版本发布:数据血缘与系统稳定性全面升级
OpenMetadata 开放标准的元数据。一个发现、协作并确保数据正确的单一地点。 项目地址: https://gitcode.com/gh_mirrors/op/OpenMetadata
OpenMetadata作为一个开源元数据管理平台,致力于帮助企业构建统一的数据资产目录,实现数据发现、血缘追踪、数据质量监控等核心功能。本次1.6.7版本的发布聚焦于数据血缘能力的增强和系统稳定性的提升,为数据治理提供了更强大的支持。
数据血缘功能全面增强
在数据血缘分析方面,1.6.7版本带来了多项重要改进。首先新增了对Tableau Custom SQL的完整血缘支持,这意味着用户现在可以完整追踪Tableau中自定义SQL查询的数据来源和流向,解决了以往这类复杂查询难以追踪的问题。
针对特殊字符和保留关键字处理,开发团队优化了FQN(完全限定名称)处理机制,现在能够正确处理包含引号等特殊字符的标识符。同时实现了保留关键字(如引号)到OpenMetadata兼容格式的自动转换,避免了因命名冲突导致的血缘解析失败。
在元数据存储结构上,新增了时间序列表的时间戳索引,显著提升了时间相关查询的性能。同时增加了表类型自定义属性的列数验证功能,确保元数据定义的准确性。
系统稳定性与功能修复
本次版本在系统稳定性方面做了大量工作。修复了Okta登录可能出现的状态问题,优化了身份认证流程。对于MariaDB用户,修复了时间数据类型在数据剖析中的处理问题,确保了数据质量检查的准确性。
数据处理方面,解决了非UTF-8字符在样本数据处理中的兼容性问题,同时优化了测试连接功能,避免了成功连接后仍显示超时的误导性提示。
在数据治理功能上,改进了DBT日志处理和错误提示机制,使数据转换过程的监控更加清晰。修复了测试套件中可能导致"NoneType"错误的场景,提升了测试可靠性。
数据管理与索引优化
针对数据管理功能,1.6.7版本修复了实体关系实时索引的删除问题,确保元数据变更能及时反映在搜索结果中。对于OpenSearch用户,修复了数据洞察数据流的删除功能,完善了数据生命周期管理。
团队管理功能中修正了组织结构的childrenCount计算问题,使团队层级关系展示更加准确。仪表板方面修复了术语类型数据的自定义展示问题,提升了用户体验。
值得一提的是,本次更新还优化了Collate异常检测模型的训练窗口参数,使异常检测更加灵敏和准确,为数据质量监控提供了更好的支持。
总结
OpenMetadata 1.6.7版本通过增强数据血缘能力和修复各类稳定性问题,进一步巩固了其作为企业级元数据管理解决方案的地位。这些改进使得数据资产的可追溯性更强,系统运行更加稳定可靠,为企业的数据治理工作提供了坚实基础。对于正在使用或考虑采用元数据管理平台的企业来说,这次升级值得关注和评估。
OpenMetadata 开放标准的元数据。一个发现、协作并确保数据正确的单一地点。 项目地址: https://gitcode.com/gh_mirrors/op/OpenMetadata
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考