数据湖
文章平均质量分 81
镜舟科技
镜舟科技成立于2022年3月,致力于帮助中国企业建立卓越的数据分析系统,形成自己的“数据护城河”。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
如何利用 StarRocks 加速 Iceberg 数据湖的查询效率
镜舟科技作为 StarRocks 的商业化公司,其湖仓分析引擎进一步解决了企业在实际应用中遇到的问题,镜舟湖仓分析引擎在开源产品 StarRocks 的基础上,增加诸多企业级产品特性,如更精细的数据权限控制、更便捷的可视化数据管理工具等,保障数据安全。Iceberg 具备强大的功能和灵活性,不过在实际应用中,工程师在处理 Iceberg 表时经常会遇到查询性能瓶颈,对于持续增长的企业来说,这不仅是生产系统产生延迟的影响,更是对整体的业务交付和决策的影响,一旦出现问题,企业需要付出成倍的成本来解决。原创 2024-09-30 20:54:06 · 1713 阅读 · 0 评论 -
如何使用 StarRocks 管理和优化数据湖中的数据?
同时,StarRocks 支持物化视图(同步、异步物化视图)和索引优化,用户可以通过创建物化视图来预计算并存储查询结果,并支持如主键索引、二级索引等索引类型,加速查询过程中的数据定位与过滤,提高查询效率。StarRocks 可以通过并发控制来管理多个查询请求的执行,同时,StarRocks 支持细粒度的资源管理和调度,可以根据不同的业务需求将资源分配给不同的用户或查询任务,确保资源的合理分配和使用。通过合理的分区和分桶策略,可以将数据分散到不同的节点上,减少查询时的数据扫描量,以实现负载均衡以及查询优化。原创 2024-09-09 18:34:27 · 709 阅读 · 0 评论
分享