自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(279)
  • 收藏
  • 关注

原创 深入理解 Doris Variant:如何让 JSON 查询性能追平列存,还能承载万列索引字段?|Deep Dive

在大数据时代,JSON 已成为数据交换的事实标准。从日志、埋点到 IoT 设备数据,从用户画像到实时监控,JSON 凭借其灵活、可扩展、无需预定义 Schema 的特性,完美契合了快速迭代的现代业务需求。然而,JSON 的动态灵活性与传统数据库的静态处理模型存在根本矛盾,这直接导致了查询性能低下、Schema 管理复杂以及在超宽表场景下的扩展性危机。

2025-11-24 18:49:46 666

原创 【深入理解 Doris Variant:如何让 JSON 查询性能追平列存,还能承载万列索引字段?|Deep Dive】

在如 Snowflake、ElasticSearch、ClickHouse.... 等传统系统中,对于 JSON 的处理往往面临灵活性及性能无法兼得的困境,而 Apache Doris 的 VARIANT 类型,通过动态子列、稀疏列存储、延迟物化和路径索引等能力,实现了灵活结构 + 列存性能的平衡。本文将对该能力的实现一一讲解,全面展示其优势。

2025-11-24 18:44:41 684

原创 公开免费!Apache Doris & SelectDB 培训与认证课程正式上线

随着 Apache Doris 用户群体日益壮大,许多用户反馈在学习和掌握 Doris 的过程中缺乏系统性的指导。无论是初次接触 Doris 的新手,还是希望在特定场景下深度应用的用户,都渴望一套从 0 到 1、全面覆盖的学习路径。这套体系旨在为所有 Doris 用户提供完整的学习课程与实践路径,帮助用户从理论到实践,逐步成长为实时分析型数据库专家。掌握 Doris 的安装与部署,快速搭建你的第一个 Doris 环境。同时,我们也免费提供了与课程配套的认证考试 ——的初级课程与认证,所有课程将。

2025-11-19 20:24:00 247

原创 Doris MCP Server v0.6.0 正式发布

多租户 SaaS(customer_a_token → database_a 完全隔离)、高可用环境零停机配置更新、安全敏感组织的企业级权限管控。🚀 Doris MCP Server v0.6.0,开启企业级数据平台与认证管理新时代!本次升级完全向后兼容 v0.5.x,现有 API 和配置无需修改,可平滑升级。Doris MCP Server v0.6.0 正式发布!

2025-11-18 21:13:18 205

原创 Apache Doris 数据导入原理与性能优化 | Deep Dive

对于 Apache Doris 这样的高性能分析型数据库而言,高效、稳定的数据导入是保障实时分析能力的生命线。然而,在海量数据持续写入的场景下,如何平衡导入延迟与吞吐、如何避免性能瓶颈,是开发者面临的核心挑战。Apache Doris 本文将深入剖析 Doris 数据导入的核心原理,涵盖关键流程、组件、事务管理等,探讨影响导入性能的因素,并提供实用的优化方法和最佳实践,有助于用户选择合适的导入策略,优化导入性能。

2025-11-18 20:55:25 593

原创 Apache Doris AI 能力揭秘(三):AI_AGG 与 EMBED 函数深度解析

借助AI_AGG与EMBED函数,Apache Doris 拥有了了强大的智能分析能力,极大地拓展了数据分析与智能应用的边界。AI_AGG通过其动态预聚合机制,将非结构化文本的智能聚合分析带入数据库,轻松应对海量用户评论、日志分析等场景。而EMBED函数则与 Doris 的向量函数无缝集成,提供从文本到语义向量、再到相似度检索的一站式解决方案,极大简化了问答系统、内容推荐等应用的开发。

2025-11-18 18:58:44 924

原创 Apache Doris 自动分区:如何应对分布式环境下的复杂并发挑战|Deep Dive

在解决了自动分区各个维度的并发挑战后,我们有必要跳出具体实现,审视其中蕴含的更具普适性的设计哲学与并发范式。这些范式不仅适用于 Doris,也对其他分布式系统的并发设计具有参考价值。

2025-11-16 14:04:17 940

原创 替换 ClickHouse,查询并发提升 7 倍,高途教育基于阿里云 SelectDB 构建秒级实时报表

在续班场景,高途教育通过续班大屏实时整合全国区域及课程品类的续班数据,为管理层与一线人员提供实时、动态的续班数据洞察,以驱动资源精准调配与潜力课程识别。在行课场景,高途教育需将数据分析大屏嵌入至教师、运营、管理者等多角色工作台,为每个角色实时提供高度定制化的行课数据视图,支撑教学质量和全流程优化。

2025-11-12 20:08:47 848

原创 Apache Doris Summit 2025 圆满收官,一文速览峰会高光时刻!

2025 年 11 月 5 日至 6 日,由飞轮科技主办的 Apache Doris Summit 2025 技术峰会圆满落下帷幕。** 本次峰会以 “Powering Real-Time Analytics & Search in the AI Era” 为主题,通过线上直播的形式,成功吸引了全球的 10 万 + 开发者、架构师和数据技术专家的参与。** 大家齐聚云端,共探 AI 时代背景下,数据价值释放的全新路径与技术突破。

2025-11-11 12:06:48 719

原创 冷查第一,再登榜首!Apache Doris 3.1 全面刷新 JSONBench 性能纪录

JSONBench 是最具代表性的 JSON 数据分析性能基准,由 ClickHouse 社区发起。该基准测试采用真实场景 Bluesky 数据集( 10 亿级 JSON 数据),包含多层嵌套、键值不固定的 JSON 结构,对数据库的查询优化、列存设计、解析引擎都是严苛考验,是业内公认的半结构化性能试金石。

2025-11-03 19:21:25 842

原创 从 OpenSearch 到 Apache Doris:领创集团日志系统升级实践,降本 45%

本次日志系统迁移从 OpenSearch 到 Apache Doris,不仅达成了显著的成本节省目标,更为未来系统扩展、查询效率、可运维性打下了坚实基础。大幅减少服务器和对象存储支出,综合成本下降超 45%;查询响应时间缩短至原系统的 1/5 以下;日志写入几乎实时,支持更及时的业务反馈;系统架构更简单、可维护性更强,支持更灵活的运维策略。通过这次实践,我们验证了在日志系统中 "结构化 + 列式存储 + MPP 查询" 模式的巨大潜力。

2025-11-03 17:46:33 751

原创 货拉拉用户画像基于 Apache Doris 的数据模型设计与实践

业务查询效率提升近 30 倍,数据导入速度是 Impala+KUDU 的 3 倍,内存开销降低 30%-50%,系统稳定性大幅提升,满足了画像场景数千个标签的精细化运营需求,同时通过可视化标签筛选,降低业务分析的操作门槛。接入画像实时业务:当前货拉拉画像服务的实时标签/人群点查主要使用 Hbase 和 Redis,基于稳定性和迁移升级成本的考虑,Doris 主要承担人群圈选、人群洞察、行为分析等作业。未来规划使用 Doris 高版本的架构,承担大部分高并发的实时点查流量,提升人货匹配效率和体验。

2025-10-31 18:01:48 542

原创 Apache Doris 4.0 版本正式发布:全面升级 AI 与搜索能力,强化离线计算

当前版本支持的语法功能:与括号分组多字段搜索:在一个search()中对多个字段做布尔组合后续版本会持续迭代以支持以下语法功能:短语前缀通配符正则范围列表管道化组合:通过 char filter、tokenizer 与多个 token filter 的链式配置,构建自定义文本处理流程。组件复用:常用的 tokenizer 和 filter 可在多个 analyzer 中共享,减少重复定义,降低维护成本。

2025-10-30 14:59:29 938

原创 从 Snowflake 到 Apache Doris:Planet 实时分析成本直降 80%、查询加速 90 倍

标准 OLAP 查询:针对 2000 万行数据的过滤聚合(filter+agg)测试,Apache Doris 仅需0.9 秒完成响应,相较 Snowflake 的4.2 秒提升4.6 倍,充分验证其列式存储与向量化执行引擎的高效性。复杂多表 JOIN:在涉及多表关联的即席查询(2000 万行数据量)中,Apache Doris 以1.5 秒的平均耗时超越 Snowflake 的8 秒,性能提升达5.3 倍,凸显分布式计算架构对复杂查询的优化能力。超大规模数据处理。

2025-10-22 18:50:01 939

原创 Apache Doris 与 ClickHouse:运维与开源闭源对比

Doris 与 ClickHouse 各有优势,但在运维效率、集群自动化能力、故障恢复机制以及开源治理模型方面,Doris 展现出了更成熟、更开放、更面向云原生架构的产品能力。对于希望构建可控、弹性、高可用分析平台的团队而言,Doris 提供了一个更具确定性和长期价值的选择。而 ClickHouse 仍是极具性能优势的分析引擎,但其闭源方向的转变可能需要用户在技术与商业之间做出更谨慎的权衡。

2025-10-14 18:57:27 828

原创 Apache Doris 内部数据裁剪与过滤机制的实现原理 | Deep Dive

本文展示了 Apache Doris 中,谓词过滤、LIMIT 数据裁剪、TopK 数据裁剪、JOIN 数据裁剪四种数据裁剪方式的实现策略。目前,Apache Doris 通过这四类高效的数据裁剪策略极大提升了处理数据的效率。

2025-10-11 17:48:43 1151

原创 Apache Doris 4.0 AI 能力揭秘(二):为企业级应用而生的 AI 函数设计与实践

Apache Doris LLM Function 作为数据库技术与人工智能深度融合的创新实践,标志着数据分析领域向智能化方向演进的重要里程碑。通过将大语言模型能力原生集成到 SQL 执行引擎中,有效解决了传统数据分析架构中 AI 能力集成的技术挑战。从技术架构层面来看,LLM Function 采用资源池化管理和 SQL 原生集成的设计理念,实现了 AI 处理能力与数据查询的无缝融合。十大核心函数覆盖了文本分析、内容生成、数据处理等主要应用场景,为企业级智能化数据分析提供了完整的技术工具集。

2025-09-28 17:07:40 1155

原创 Apache Doris 3.1 正式发布:半结构化分析全面升级,湖仓一体能力再跃新高

推出自定义分词功能,方便用户根据自身分词需求,进行 DIY 组合,进一步提高文本检索召回率。自定义分词可以突破内置分词的局限,根据特定需求组合字符过滤器、分词器和词元过滤器,精细定义文本如何被切分成可搜索的词项,这直接决定了搜索结果的相关性与数据分析的准确性。使用场景举例问题使用默认 unicode 分词器时,电话号码 "13891972631" 被当作完整 token,无法支持前缀搜索如 "138"。

2025-09-24 18:38:23 990

原创 为什么实时更新场景下 Doris 查询性能是 ClickHouse 的 34 倍

在当今数据驱动的商业环境中,企业越来越依赖数据分析来驱动决策。无论是用户行为分析、业务报表还是运营监控,企业都需要具备快速、高效的数据处理能力。企业在数据分析能力上的演进,往往始于 TP(事务处理)系统,随着业务发展不断探索 TP 系统的扩展方案,最终走向构建独立的 AP(分析处理)系统。在企业信息系统建设的早期,主要存储在 OLTP(在线事务处理)系统中,比如 PostgreSQL、MySQL、SQL Server 等。因为数据 "就在那儿",最自然的方式就是直接从 TP 系统中执行 SQL 查询来获取所

2025-09-19 16:30:48 1112

原创 爱玛集团:All In SelectDB 构建极速统一数据平台,领航 AI 数智化实践

爱玛集团 All In SelectDB 的数据平台统一架构与 AI 数智化转型实践,已然成为传统制造业转型智能企业的典型案例。从 Hadoop 多组件复杂架构到统一平台重构的演进,凸显了团队在技术选型与架构设计的深度思考,以及在 AI 技术融合上的前瞻布局 —— 通过深度合作参与开源项目,既助力自身升级,也推动行业智能化发展。从技术发展的角度来看,SelectDB 在这个案例中展现出的优秀性能和易用性,以及其在 AI 生态建设中的积极作用,为其他企业的技术选型提供了有力的参考。

2025-09-10 15:05:02 1120

原创 Apache Doris 登顶 RTABench —— 实时分析领域的性能王者

近日,实时分析领域知名 Benchmark —— RTABench(Real-Time Analytics Benchmark)最新榜单公布,Apache Doris 以绝对领先的成绩登顶,结果表明,Apache Doris 在实时分析场景下性能是 ClickHouse 的 6 倍,PostgresSQL 的 30 倍,MongoDB 的 100 倍。

2025-08-28 11:04:43 1149

原创 湖仓一体:小米集团基于 Apache Doris + Apache Paimon 实现 6 倍性能飞跃

小米在 Apache Doris 和 Paimon 上的深度融合实践,是典型的数据库与数据湖的互补增效的体现。查询平均延迟从 60 秒降至 10 秒,性能提升 6 倍;高并发场景下(5 并发提高至 80 并发),查询延迟降低 25% 到 300%;整体查询并发能力达到 Presto 的 5 倍,有效减少了计算资源。目前,这些能力已经全部回馈到了 Apache Doris 社区。使用 Doris 全流量替换 Presto 集群实现降本增效。

2025-08-26 18:11:49 643

原创 2-5 倍性能提升,30% 成本降低,阿里云 SelectDB 存算分离架构助力波司登集团实现降本增效

波司登集团作为全球领先的羽绒服公司,每年的销售旺季集中在四个月间,需高效把握业务机遇以实现高营收。为满足集团销售旺季的实时数据分析需求,同时降低淡季数据分析成本,波司登决定升级大数据架构,

2025-08-26 18:10:29 1116

原创 谁才是多快好省的数据分析选择:SelectDB vs. ClickHouse vs. Snowflake

Apache Doris在多项性能测试中展现出显著优势:在Coffeeshop Benchmark中,Doris比ClickHouse快3倍、比Snowflake快6倍;在TPC-H测试中,性能分别领先Snowflake 6倍和ClickHouse 14倍;TPC-DS测试显示Doris比Snowflake快30%且成本仅1/4。综合来看,Apache Doris在OLAP场景下具有5-10倍的性价比优势,重新定义了性能标准。

2025-08-22 18:19:44 1224

原创 Apache Doris 4.0 AI 能力揭秘(一):AI 函数之 LLM 函数介绍

在即将发布的 Apache Doris 4.0 版本中,我们正式引入了一系列 LLM 函数,将前沿的 AI 能力与日常的数据分析相结合,无论是精准提取文本信息,还是对评论进行情感分类,亦或生成精炼的文本摘要,皆可在数据库内部无缝完成。

2025-08-19 20:43:30 830

原创 Apache Doris 在菜鸟的大规模湖仓业务场景落地实践

本文介绍了 Apache Doris 在菜鸟的大规模落地的实践经验,菜鸟为什么选择 Doris,以及 Doris 如何在菜鸟从 0 开始,一步步的验证、落地,到如今上万核的规模,服务于各个业务线,Doris 已然成为菜鸟 OLAP 数据分析的最优选型。

2025-08-19 19:17:38 1168

原创 5000+ 中大型企业首选的 Doris,在稳定性的提升上究竟花了多大的功夫?

稳定性是数据价值实现的根本保障。数据从采集、传输、存储到计算处理的每个环节都需要系统的稳定运行支撑。数据库作为数据生命周期的核心载体,其稳定性的构建一直是业界公认的最大挑战。一款数据库从技术架构落地到获得用户信任,通常需要经历数年的验证周期:既要在千万级并发请求中保持一致性响应,又要在长期运行中抵御内存泄漏等隐性风险,同时还要确保版本迭代时的数据兼容性和完整性。每次故障修复和测试完善都是为稳定性积累信任基础,这个过程需要经过反复锤炼才能让用户将核心业务数据托付给数据库系统。

2025-08-18 10:09:14 927

原创 SelectDB x 同辕开发:在 ARM 架构下实现 25% 分析性能提升

飞轮科技旗下数据仓库SelectDB完成同辕开发深度适配,获鲲鹏Native认证,实现25%性能提升。测试显示,SelectDB在鲲鹏ARM平台单机环境下分析效率显著提高,兼容性表现优异。作为Apache Doris开源社区重要贡献者,飞轮科技自主研发的SelectDB已服务全球5000余家企业。未来将继续深化与鲲鹏生态合作,优化实时数据分析能力,助力企业数字化转型。

2025-08-15 11:06:54 212

原创 天翼云与飞轮科技达成战略合作,共筑云数融合新生态

天翼云的大数据基础设施与飞轮科技的实时数据分析技术形成深度协同,天翼云翼 MR 为数据处理提供稳定、安全的 “数据底座”,飞轮科技则以 SelectDB 激活数据的实时价值,共同构建 “存、算、管、用” 一体化的云数融合解决方案。

2025-08-08 19:08:41 595

原创 ApacheCon Asia 2025 中国开源年度报告:Apache Doris 国内第一

ApacheCon Asia 2025 的成功举办,《中国开源年度报告》的权威发布,Apache Doris 的强势登顶,这些标志性事件汇聚在一起,构成了中国开源发展史上的一个重要节点。Apache Doris 的跃升,不是一个孤立的技术现象,而是中国开源力量崛起的缩影:从开源的技术积累,到飞轮科技的运营创新;从 Apache 基金会的国际平台,到中国市场的实际需求;从开源社区的协作文化,到商业化的价值实现。这正是属于我们这代人的开源使命,也是 "Apache Doris 第一" 给我们的最大启示。

2025-08-05 20:25:52 1007

原创 从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路

Flink-Doris-Connector 作为 Apache Flink 与 Doris 之间的桥梁,打通了实时数据同步、维表关联与高效写入的关键链路。本文将深入解析 Flink-Doris-Connector 三大典型场景中的设计与实现,并结合 Flink CDC 详细介绍了整库同步的解决方案,助力构建更加高效、稳定的实时数据处理体系。

2025-08-05 20:24:00 1193

原创 Doris MCP Server 0.5.1 版本发布

近日,Doris MCP Server 0.5.1 版本带来了多项企业级数据治理与分析能力的功能升级,进一步提升系统稳定性与易用性,欢迎下载体验。项目地址:https://github.com/apache/doris-mcp-server。

2025-07-26 16:34:04 488

原创 Apache Doris Data Agent 解决方案:开启智能运维与数据治理新纪元

本文基于 Apache Doris 数据运维治理 Agent 展开讨论,如何让 AI 成为 Doris 数据运维工程师和数据治理专家的智能助手,并在某些场景下实现对人工操作的全面替代。

2025-07-26 16:20:30 1551

原创 浩瀚深度:从 ClickHouse 到 Doris,支撑单表 13PB、534 万亿行的超大规模数据分析场景

浩瀚深度([SHA: 688292])旗下企业级大数据平台选择 Apache Doris 作为核心数据库解决方案,目前已在全国范围内十余个生产环境中稳步运行,其中最大规模集群部署于 117 个高性能服务器节点,单表原始数据量超 13PB,行数突破 534 万亿,日均导入数据约 145TB,节假日峰值达 158TB,是目前已知国内最大单表。

2025-07-22 12:56:57 1060

原创 Apache Doris 实时更新技术揭秘:为何在 OLAP 领域表现卓越?

Apache Doris 为何在 OLAP 领域表现卓越?凭借其主键模型、数据延迟、查询性能、并发处理、易用性等多方面特性的表现,在分析领域展现了独特的实时更新能力。

2025-07-22 12:54:31 1100

原创 森马服饰从 Elasticsearch 到阿里云 SelectDB 的架构演进之路

森马引入阿里云 SelectDB 替换原 Elasticsearch + 业务库混合架构,统一分析 16+ 核心业务,打通 BI 组件,大幅简化数据同步链路和分析系统架构。实现复杂查询 QPS 提升 400%,响应时间缩短至秒级,亿级库存流水聚合查询缩短至 8 秒内的显著收益,有效驱动森马全渠道运营效率持续增长与业务创新。

2025-07-11 16:15:53 630

原创 JSONBench 榜单排名第一,10 亿条数据秒级响应:Apache Doris vs. ClickHouse,Elasticsearch,PostgreSQL

JSONBench 是一个为 JSON 数据而生的数据分析 Benchmark,在默认设置下,Doris 的性能表现是 Elasticsearch 的 2 倍,是 PostgreSQL 的 80 倍。调优后,Doris 查询整体耗时降低了 74%,对比原榜单第一的 ClickHouse 产品实现了 39% 的领先优势。本文详细描述了调优思路与 Doris 调优前后的性能表现,欢迎阅读了解~

2025-07-10 18:16:42 1261

原创 SelectDB 在 AWS Graviton ARM 架构下相比 x86 实现 36% 性价比提升

在海量数据分析中,追求高性价比已成为各大企业的主流趋势。ARM 架构凭借其高能效和低成本的特点,逐渐在数据中心崛起,成为理想的高性价比选择。。Graviton 处理器不仅在计算性能上表现优异,同时显著降低了运行成本,尤其在数据密集型任务中展现出明显优势。与传统的 x86 架构处理器相比,Graviton 提供更高的每瓦性能,使其愈发成为极具吸引力的选择。,能够对大规模实时数据进行极速分析,满足报表分析、即席查询、统一数仓构建、湖仓一体等多种使用场景数据处理及分析需求,

2025-06-20 16:23:42 549

原创 Apache Doris 3.0.6 版本正式发布

亲爱的社区小伙伴们,该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。

2025-06-20 16:21:43 962

原创 网易云信 x Doris:降本70%、提速11倍, 统一 ES/InfluxDB/Hive 多技术栈的落地实践

网易云信引入 Apache Doris 统一了原有 Elasticsearch、InfluxDB 和 Hive 多技术栈系统。凭借其高性能和易扩展的特点,提供一站式的数据存储和分析服务。实现机器成本降低 70%、实时场景查询提速 11 倍、离线任务耗时缩短 80% 的显著收益。

2025-06-20 16:19:17 1158

《SelectDB 新一代日志存储与分析解决方案白皮书》

随着信息技术的飞速进步,企业面临着前所未有的系统复杂性和数据挑战。在此背景下,日志数据成为了企业洞察系统内部状态、监控网络安全以及分析业务动态的宝贵资源,构建高效的日志存储与分析平台至关重要。 作为基于 Apache Doris 打造的现代化数据仓库,SelectDB 不拘泥于传统数仓的限制,针对日志数据的特点引入了多项创新性技术,使用户可基于 SelectDB 构建开放、高性能、低成本、统一的日志存储分析平台,截止目前已在近百家行业内知名企业中落地。 本白皮书将深入解析 SelectDB 在日志存储与分析领域解决方案,包括: - 企业在日志存储与分析的应用场景与挑战 - SelectDB 如何突破传统方案局限性,构建新一代日志存储分析平台 - 全方位用户使用手册,从系统搭建、配置、优化到查询分析的详细操作指南 - SelectDB 核心技术揭秘,深度解析倒排索引与 Variant 数据类型 - 不同行业领域的真实案例,展示 SelectDB 在帮助企业解决日志存储分析难题、提升业务效率方面的显著成效

2024-06-19

Apache Doris 用户案例集

过去的一年势必是 Apache Doris 在发展历程中有着浓墨重彩的一年,凭借对技术创新的执着与用户体验的追求,Apache Doris 已俘获全球范围内超过 2000 家企业的认可,拥有了极为广泛的用户规模、在企业实时数据分析的多种场景中得到广泛应用,并在广大社区用户和开发者的支持下,一举成为全球数据库和大数据领域最为活跃的开源项目之一。 为了帮助更多人更好地使用 Apache Doris ,我们从过去一年间 Apache Doris 在互联网、金融、物流、零售等众多行业的用户应用实践中,精心挑选出更具代表性和更具启发意义的最佳实践,并收录在《Apache Doris 用户案例集》中。 20+ 万字技术干货,赋能企业构建高性能实时数据仓库,欢迎大家下载阅读!

2023-06-05

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除