OpenMetadata 1.6.3版本发布:元数据管理平台的全面优化与功能增强
OpenMetadata 开放标准的元数据。一个发现、协作并确保数据正确的单一地点。 项目地址: https://gitcode.com/gh_mirrors/op/OpenMetadata
OpenMetadata是一个开源的元数据管理平台,它帮助组织统一管理数据资产,提供数据发现、血缘追踪、数据质量监控等功能。作为数据治理的核心组件,OpenMetadata通过标准化的元数据模型和丰富的集成能力,使企业能够更好地理解和利用其数据资产。
核心功能改进
数据质量仪表板增强
1.6.3版本显著提升了数据质量监控能力,新增了专门的数据质量仪表板,整合了事件管理和数据质量指标。这一改进使得用户可以更直观地监控数据健康状况,及时发现潜在问题。仪表板中的饼图展示顺序经过优化,确保关键指标优先显示,提升了数据质量问题的识别效率。
血缘关系处理优化
血缘关系是元数据管理的关键功能,本次更新在多方面进行了增强:
- 改进了血缘传播机制,当实体缺少特定字段时仍能正确处理
- 优化了多线程处理逻辑,提升大规模血缘计算的性能
- 新增了对MaterializedView和DynamicTable等特殊表类型的支持
- 修复了MariaDB等数据库方言的兼容性问题
数据产品与继承所有权
数据产品功能得到完善,现在支持继承所有权机制。这意味着当数据产品中的组件更新所有权时,相关变更可以自动传播到整个产品层级,简化了大规模数据产品的管理流程。
技术架构优化
存储与查询性能
1.6.3版本包含多项底层性能优化:
- 重构了Snowflake存储过程查询,提高执行效率
- 避免在WHERE子句中使用CONCAT操作,优化查询性能
- 为搜索和数据库操作添加Prometheus计数器,便于监控
- 实现了异步测试用例结果删除,减少对主线程的影响
安全与权限管理
安全方面的重要更新包括:
- 增强Kafka SSL配置支持,新增consumerConfigSSL选项
- 修复IDP初始化调用的重定向问题
- 完善域所有者编辑描述的权限控制
- 在刷新尝试失败后自动注销用户,提升安全性
用户体验改进
界面与交互优化
前端体验得到多方面提升:
- 修复了浏览器标签页favicon更新问题
- 优化术语表列宽调整功能
- 改进富文本编辑器在无数据保存时的输出处理
- 修复了团队标签页中错误的团队计数显示
- 增强变更日志的本地化支持
数据导入导出
数据迁移功能更加稳定:
- 导出时仅包含未删除的实体
- 修复了术语表、团队和用户导入中的描述渲染问题
- 改进了异步CSV导出在血缘视图中的表现
连接器与集成增强
数据源支持扩展
连接器功能得到多项改进:
- 新增Percona Server for PostgreSQL支持
- 修复了BigQuery中Hive分区表的处理问题
- 解决了PowerBI表和数据模型元数据缺失问题
- 优化了Redash仪表板获取流程
- 修复了Salesforce列描述与切换API的兼容性
元数据提取优化
元数据采集过程更加可靠:
- 修正了dbt摄取错误修补服务的问题
- 修复了S3存储Parquet结构格式的摄取问题
- 优化了PostgreSQL JSON模式解析
- 改进了Looker血缘关系的准确性
数据治理与管理
保留策略管理
新增了基于管理员策略的数据保留机制:
- 自动清理change_events
- 管理活动线程的生命周期
- 控制版本历史保留
术语表与分类管理
术语表功能更加完善:
- 新增术语时自动更新相关表格
- 修复了术语表模态框中的描述渲染问题
- 优化了术语表列宽调整体验
部署与运维
1.6.3版本提供了更新的Docker Compose文件,包括:
- 标准部署配置
- 专用于摄取服务的配置
- PostgreSQL专用部署方案
这些配置文件帮助用户快速搭建不同规模的生产环境,满足各种部署需求。
OpenMetadata 1.6.3版本通过上述多项改进,进一步巩固了其作为企业级元数据管理解决方案的地位,为用户提供了更强大、更稳定的数据治理能力。
OpenMetadata 开放标准的元数据。一个发现、协作并确保数据正确的单一地点。 项目地址: https://gitcode.com/gh_mirrors/op/OpenMetadata
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考