SELECTDB doris Variant 使用困扰

       使用doris的时候发现variant是个好东西,赶紧使用了一下,但是实时上在一些场景下存在很多问题。

  • Variant 数据类型:灵活应对半结构化数据,JSON 查询提速超 8 倍,存储空间节省 65% 。 

  • 查询方式:

    select variant_col['xx']  from table 

    显示查询variant转换后的字段:

  • set describe_extend_variant_column = true;

  • 使用缺陷显现场景:我们物联IOT场景,接入厂商、设备大类多大上百种,每条设备字段数据几百上千字段,字段会非常多,综合字段数几万多个。当时想使用variant能够节约表大小,提高查询效率,后来发现使用后没多久,数据表写入巨慢,后发现variant 不适用与列数不固定,且非常松散的json。我们IOT设备使用variant后拆出几万个字段,导致表巨大无法维护。

  • 适用场景:比较固定、列数可控的场景

SelectDBDoris 都是基于 Apache Doris 的开源分布式数据库系统,主要用于实时分析和大规模数据处理场景。尽管两者有着共同的起源,但在产品定位、功能增强、使用场景和部署方式等方面存在显著差异。 ### 架构与内核 SelectDB 是基于 Apache Doris 的云原生数据库服务,其底层内核仍然基于 Doris 的 MPP(大规模并行处理)架构,支持高并发查询和实时分析能力。Doris 本身是一个开源的、支持高并发的分析型数据库,适用于实时报表、日志分析等场景[^1]。 SelectDBDoris 的基础上进行了云原生架构的改造,支持存算分离、弹性伸缩、多租户管理等特性,更适合云环境下的部署和管理。相比之下,Doris 作为开源项目,其部署和运维需要用户自行管理计算和存储资源[^1]。 ### 部署与运维 SelectDB 提供了完整的托管服务,用户无需关注底层的服务器管理、版本升级、故障恢复等运维工作,能够通过简单的界面或 API 进行集群的创建和管理。这种设计使其更适合企业级用户在云环境中快速构建实时分析系统。 Doris 作为一个开源项目,部署和运维需要用户自行配置和管理,包括节点的安装、集群的扩容、版本升级等。虽然提供了灵活的定制能力,但也对运维团队的技术能力提出了较高要求[^1]。 ### 功能增强与兼容性 SelectDB 在原生 Doris 的基础上增加了多项企业级功能,例如多租户支持、资源隔离、自动备份与恢复、安全性增强等。此外,SelectDB 还优化了查询性能,提升了在大规模数据集下的查询效率。 Doris 保持了与 MySQL 协议的高度兼容,支持标准 SQL,并提供了丰富的数据导入方式,如 Broker Load、Stream Load 等。SelectDB 在兼容原生 Doris 的基础上,进一步增强了对云平台的集成能力,例如与对象存储服务的深度整合、与数据湖的无缝对接等[^1]。 ### 使用场景 SelectDB 更适合需要云原生架构支持、弹性扩展能力的企业用户,尤其适用于数据湖分析、实时 BI、日志分析等场景。由于其托管服务的特性,适合希望减少运维负担、专注于数据分析的企业。 Doris 更适合具备一定技术能力的团队,能够在私有部署环境中自行管理集群,并希望在数据分析性能和灵活性之间取得平衡的用户。适用于实时报表、广告推荐、用户行为分析等场景[^1]。 ### 开源与商业支持 Doris 是 Apache 基金会下的开源项目,社区活跃,拥有广泛的用户群体和开发者支持。SelectDB 则是由 Apache Doris 社区核心成员主导的商业化产品,提供企业级的技术支持和定制服务。SelectDB 也积极回馈开源社区,推动 Doris 项目的持续发展[^1]。 ### 示例代码 以下是一个在 Doris 中创建表的 SQL 示例: ```sql CREATE TABLE example_table ( id INT, name VARCHAR(64), age INT ) DISTRIBUTED BY HASH(id) INTO 10 BUCKETS; ``` ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值