从湖仓升级为 Agent 时代的数据控制面,Snowflake 和 Databricks 有哪些布局

ElasticStack-二进制安装部署(一) ElasticStack分布式搜索引擎:是Elastic公司开源的一套分布式系统,主要用于企业日志数据的 采集、存储、分析、可视化页面展示;ElasticStack提供四大核心组件;ElasticStack核心组件中文名作用价值分布式搜索引擎作用功能:【数据存储】【数据索引查询】;能力:支持【PB级别】的数据扩展,可扩展到上百台服务器架构;Beats轻量级数据采集器1️⃣【Filebeat】​日志采集器:​ 2️⃣【Metricbeat】指标采集器:Logstash。 阅读详情

作者: 吴炳锡,Databend Labs 联合创始人,腾讯 TVP 成员。长期关注数据库、湖仓和云原生数据基础设施,当前主要参与开源云原生湖仓 Databend 的产品与方案落地。

从 2026 年 Snowflake Summit 和 Databricks Data+AI Summit 看,两家公司都不再只讲传统湖仓了。大会关键词已经从 SQL 性能、存储成本、数据治理,扩展到 Agent、AI Gateway、Context、Ontology、MCP、Guardrails、Agent Identity、Cost Control 和 Real-time Serving。

这很容易让人产生一个问题: Snowflake 和 Databricks 是不是在“远离湖仓”?

我的判断相反:他们不是在放弃湖仓,而是在把湖仓从数据存算平台,升级为面向 AI Agent 的数据控制面布局。

过去湖仓解决的是:数据能不能被存、被算、被查。

Agent 时代还要回答:

  • AI 能不能理解数据?

  • Agent 能不能安全调用数据?

  • 业务动作能不能基于数据可靠执行?

这篇文章就从两家 2026 Summit 的产品路线、传统湖仓与 Agent 湖仓的需求变化及 Agent 智能湖仓三层架构实现做一个交流。

2026 Summit 两家路线对比

Snowflake 2026Databricks 2026
主题Agentic Enterprise / Making AI RealApps and agents that work
业务 AgentCoWorkGenie One
开发者 AgentCoCoGenie Code / Agent Bricks
上下文层Horizon Context / Cortex SenseGenie Ontology
语义指标Semantic Views / Semantic StudioUnity Catalog Metrics
AI 治理AI Agent Identity / Horizon GuardrailsUnity AI Gateway
Operational DBSnowflake Postgres / Crunchy DataLakebase
OLTP/OLAP 打通Postgres Mirroring / pg_lake / UnistoreLTAP
实时分析Interactive workloads / Dynamic Tables / Snowflake RTLakehouse RT / Reyden
开放性Iceberg + Polaris + OSI + MCPDelta + Iceberg + open agent frameworks
战略基因Enterprise data cloud + governed SaaS-like platformOpen lakehouse + ML/AI platform

从这张表可以对比上看出,两家公司虽然产品命名不同、技术基因不同,但战略方向已经非常接近:业务入口从 BI 变成 Agent,数据目录从 metadata catalog 变成 AI governance/control plane,湖仓底座开始向 operational data 和 real-time serving 延伸。Snowflake 更偏「受控的一体化企业平台」,Databricks 更偏「开放的开发者与 AI 平台」。它们竞争的核心,也从谁的 SQL 更快、谁的存储更便宜,转向谁能提供更完整的上下文、语义、权限、工具治理和 Agent 运行时控制。

传统湖仓和 Agent 需求对比

维度传统湖仓海量数据处理Agent 场景
核心对象数据集 / 表 / pipeline用户意图 / 业务任务
主要用户数据工程师、分析师、BI、数据科学家业务用户、运营、销售、财务、客服、开发者
输入数据源、SQL、任务调度自然语言、业务事件、上下文、目标
输出表、指标、报表、特征、模型数据答案、报告、解释、建议、自动动作
数据规模TB / PB 级大规模扫描和加工,同一租户下百万张表通常是相关数据切片 + 多源上下文
优化目标吞吐、成本、稳定性、查询性能准确率、可信度、低延迟、可解释、可控
系统边界湖仓内部为主跨湖仓、SaaS、文档、邮件、API、工具
关键资产表、分区、文件、作业、指标表semantic metrics、ontology、glossary、lineage、memory、policy
治理重点谁能看什么数据Agent 代表谁、能看什么、能调用什么工具、能执行什么动作
验收方式SLA、刷新时间、查询耗时、数据质量eval set、答对率、幻觉率、权限违规率、用户采纳率
失败形式pipeline 失败、数据延迟、查询慢答错、编造、用错口径、越权、错误执行动作
成本模型scan、compute、storage、job runtimetoken、retrieval、tool call、agent loop、data scan、real-time serving

可以说湖仓和 Agent 都是面向的数据,但两者的使用者不一样,以至于了出现各种不同的量化指标。

在传统湖仓解决什么:

  • 数据接入;

  • 存储;

  • 计算 & 数据加工;

  • 建模;

  • BI;

  • ML;

Agent 场景需要:

Agent 不只是查数据,而是要完成任务。

  • CFO 问毛利为什么下降;

  • 销售问帮我准备客户 QBR;

  • 数据平台问昨天哪些 pipeline 异常;

需要面对的是:

  • 基础的多模型接入(AI Gateway)

  • 上下文语义

  • Agent 权限,可以调用工具,可以执行什么动作

Agent 场景不只是把数据捞出来, 这个也问题也不只是Text 2 SQL,也是一个复杂的工程。在这里面两家公司都抛出了不同的解决方案。 整体看这个架构分为了三层,我们一起看看。

Agent 智能湖仓三层架构

Snowflake 和 Databricks 在 Agent 湖仓架构上基本是一样的: 数据面(Data Plane)、上下文面(Context Plane)、智能体控制面(Agent Control Plane)

第一层: Data Plane ,解决「数据能不能被存储和计算」

Data Plane 是传统湖仓的核心,也是 Snowflake 和 Databricks 起家的地方,目前集中在 SQL 为王的竞争中。

  • 数据存储;

  • 计算执行;

  • SQL 查询;

  • 批处理和流处理;

  • 表;

  • 基础 catalog;

  • 数据接入、清洗、建模;

  • 性能和成本优化;

过去十年,湖仓竞争大多发生在这一层:谁的 SQL 更快,谁的弹性更好,谁的存储成本更低,谁对开放格式支持更好。Snowflake 的传统优势是企业级数仓、弹性计算、数据共享、治理体验;Databricks 的传统优势是 Spark、Delta Lake、开放 Lakehouse、ML/AI 工作负载。

但到了 2026 年,只解决 Data Plane 已经不够了。原因是 Agent 并不是直接消费「表」和「文件」,而是要完成一个业务任务。它需要知道:该用哪个指标、哪个口径、哪个数据源可信、当前用户有没有权限。这就需要第二层

第二层: Context Plane , 解决「AI 能不能理解业务语义」

Context Plane 是 Agent 时代最关键的一层。传统湖仓里,数据虽然已经被存起来、算出来,但对于 AI 来说,这些表和字段仍然只是低语义的信息。比如一个表叫 fact_order,一个字段叫gmv,模型并不知道:

  • GMV 在这家公司到底怎么算;

  • 它是否含税;

  • 是否包含退款;

  • 是否包含取消订单;

  • 哪个表才是官方可信表;

  • 哪些字段有质量问题;

  • 这个指标和哪些 dashboard / 下游报表有关;

  • 销售口径和财务口径是否一致。

所以 Agent 要想给出可信答案,必须依赖 Context Plane。

Context Plane 包括:

  • 指标口径;

  • semantic metrics;

  • ontology;

  • 商业术语;

  • 表和字段描述;

  • 数据血缘;

  • data quality signals;

  • usage signals;

  • certified datasets;

  • user / role context;

  • agent memory;

这也是为什么 Snowflake 在讲 Horizon Context / Cortex Sense,Databricks 在讲 Genie Ontology / Unity Catalog Metrics。通过上述的技术,把原来工程师理解的: 业务语义,指标口径,数据血缘,质量信号和使用经验,变成 AI Agent 可以消费的上下文。 如果没有 Context Plane,Agent 就会退化成一个会写 SQL 的聊天框。它可能能查出一个数,但很难保证用的是正确表、正确口径和正确上下文。

第三层: Agent Control Plane ,解决「AI 能不能安全上生产」

有了数据和上下文,还不够。 Agent 一旦进入生产环境,就不只是回答问题,必须在权限、成本和审计边界内执行任务。。它可能会:

  • 访问敏感数据;

  • 跨系统查询;

  • 调用 CRM、Jira、Slack、邮件;

  • 生成报告;

  • 开工单;

  • 触发审批;

  • 甚至写回业务系统。

这时平台必须回答一组新问题:

  • 这个 Agent 是谁?

  • 它代表哪个用户?

  • 它能看哪些数据?

  • 它能调用哪些工具?

  • 它能不能把数据发出去?

  • 它调用模型花了多少钱?

  • 它是否被 prompt injection 攻击?

  • 它的每一步能否审计?

  • 它答错了,能不能被评估和纠正?

这就是 Agent Control Plane 要解决的问题。

Agent Control Plane 包括:

  • agent identity;

  • per-agent RBAC;

  • tool access control;

  • MCP governance;

  • model routing;

  • spend cap / budget;

  • guardrails;

  • prompt injection 防护;

  • data exfiltration detection;

  • audit log;

  • eval / benchmark;

  • human-in-the-loop approval。

Snowflake 对应推出 AI Agent Identity、Horizon Guardrails、Natoma MCP Gateway;Databricks 推 Unity AI Gateway、Agent Bricks、Omnigent。

依据三层对两家产品做一个映射参考

分层解决问题Snowflake 对应的产品/能力Databricks 对应的产品/能力
Data Plane数据能不能存、算、查Snowflake Warehouse、Dynamic Tables、Iceberg、Polaris、Datastream、OpenFlow、Snowflake PostgreSQLLakehouse、Delta Lake、Iceberg、Spark、Lakeflow、Lakebase、Lakehouse RT
Context PlaneAI 能不能理解数据Horizon Context、Cortex Sense、Semantic Views、Semantic Studio、Horizon CatalogGenie Ontology、Unity Catalog Metrics、Business Glossary、Domains、Unity Catalog
Agent Control PlaneAgent 能不能安全上生产AI Agent Identity、Horizon AI Guardrails、AI Security Posture Management、Natoma MCP Gateway、AI Cost Controls、CoWork / CoCo governanceUnity AI Gateway、Agent Bricks、Omnigent、Catalog
Federation、Automatic Identity Management、Genie governance

Snowflake 和 Databricks 都在从底层 Data Plane 向上补 Context Plane 和 Agent Control Plane。

为什么 Snowflake / Databricks 必须从湖仓上移到 Agent 智能湖仓

在 Snowflake 口号还是ONE PLATFORM THAT POWERS THE DATA CLOUD, Databricks 是 One open platform for data analytics 时,两者原来是一个 SQL 为切入,另一个以 spark 为切入。分别独占一部分,但后面两者基本是越来越近,也是直接开启 Benchmark 模式。

Databricks 直接的性能测试提出了: Cost Over Time ,SQL 更快更省钱

Snowflake 比稳的提出了: Costly Admin hour , 投入时间更少

但底层计算能力上限很容易达到,过分的 benchmark 产出的效益并不明显;

另外其它湖仓的产品的成熟,例如: Databend 从 Day One 就定义在 Snowflake like , 代码开源从性能测试上看也优于 Snowflake ,和 Snowflake 保持了90%+ 的兼容度,同期云数仓、开源分析引擎、Lakehouse 引擎、流处理和实时数据平台也在不断演进包括: Clickhouse,Databend, BigQuery, Redshift, DuckDB, Dremio, Athena, Trino, Spark, Flink, RisingWave , TiDB Lake 可以这些产品的展状态,也给两者带来非常大的压力,在单纯湖仓, SQL 性能和成本,这些方向很容易卷的就是给云厂家打工。

再次随着 AI 的出现,原来数据分析的行为也在发生着变化:

在当前 Agent 成为新的工作入口, 如何方便 Agent 接入到湖仓平台也变的更加重要,而通过系统的工程给 AI 能提供一套完整的语义,权限管理,上下文,成本控制和审计也成为产品更重要的一部分。

所以,Snowflake 和 Databricks 不是在放弃湖仓。它们真正看到的是:传统湖仓的 Data Plane 已经不够支撑下一代企业 AI。Agent 时代,湖仓必须向上长出 Context Plane 和 Agent Control Plane。过去,湖仓的核心 KPI 是: 数据能不能被统一存储、治理和分析。未来,Agent 湖仓的核心 KPI 会变成:业务问题能不能被准确回答,业务动作能不能被安全执行。这也是为什么两家公司都在密集发布 Agent、Ontology、AI Gateway、MCP、Guardrails、Identity、Cost Control 相关能力。它们不是偏离湖仓,而是在重定义湖仓的边界。

最后 对 Snowflake 和 Databricks 来说,目标是成为企业 AI Agent 的控制面。让 AI Agent 能够在可信数据、明确语义和可控权限之上,安全地完成业务任务。来快速抢占 AI Agent 入口。

对 Databend 机会不是复制 Snowflake CoWork 或 Databricks Genie,去做一个完整的企业 AI 工作台,而是把自己做成 Agent-ready data platform 的底层执行与上下文供给层。

这意味着,在外部 Agent、AI Gateway、BI Copilot 或开发者工具之下,Databend 可以承担三类角色:

第一,作为开放的数据执行层,让 Agent 以 SQL / API 的方式访问可信数据;

第二,作为低成本的上下文供给层,承载 JSON、trace、日志、文档、向量等多形态数据;

第三,作为 Snowflake-like 但更开放的替代底座,通过 S3-native、Parquet-native、开源内核和更透明的成本模型,降低企业把 Agent 接入数据平台的复杂度和成本。

最终,我依然相信湖仓还是星辰大海。也欢迎更多开发者、创业者和基础设施团队一起,创造更好用、更开放、更可信的数据基础架构。湖仓下一站不只是更快的 SQL,也不只是更便宜的存储,而是: 让 AI Agent 能够在可信数据、明确语义和可控权限之上,安全地完成业务任务。这会是下一代数据平台竞争的核心。

mall 电商项目完整部署---实战 mall 后端 SpringBoot,mall‑admin‑web 后台管理 Vue 前端,mall‑app‑sc 移动端 uni‑app 前端;修改数据库、redis、minio、logstash 地址,容器之间 link 别名:mysql 容器别名。🔔排坑:登录报跨域 / 接口报错,检查 prod.env.js 地址,确认 8080 后端服务正常运行。能打开页面,接口列表展示出来,后端部署完成。,所以打包的时候会自动构建镜像,很慢而且你暂时不需要。,容器数据持久化,删除容器数据不会丢失。 阅读详情

相关推荐

避坑指南:Docker部署PaddleOCR-VL服务时,关于flash-attn安装、端口映射和模型加载的那些坑

本文详细记录了Docker部署PaddleOCR-VL服务时遇到的常见问题及解决方案,包括flash-attn安装、GPU兼容性检查、容器生命周期管理、模型加载优化等关键环节。特别针对不同GPU架构提供了flash-attn的安装策略,并分享了端口映射、配置文件处理等实用技巧,帮助开发者高效避坑。

weixin_33686714的博客 464

2025 Snowflake峰会:AI Agents新发现,预示大模型未来两年惊艳突破

在2025年Snowflake峰会上,OpenAI CEO Sam Altman与Snowflake CEO Sridhar Ramaswamy探讨了AI发展与企业应用策略。他们指出,当前AI模型可靠性显著提升,建议企业"立即行动、快速迭代"。Altman强调,过去一年模型可用性迎来转折点,未来将能解决企业关键问题。两位CEO还讨论了AI系统的信息机制、AIAgent的能力边界及AGI前景,Altman认为定义AGI不重要,重要的是指数级的发展曲线。

2401_85375151的博客 1127

PySide6 vs PyQt6:新手如何根据Python版本选择GUI库?附版本兼容性测试

本文针对Python GUI开发新手,详细对比了PySide6与PyQt6的核心差异,并提供了基于Python 3.8至3.12等不同版本的兼容性实测数据与选择建议。文章重点分析了版本选择策略,帮助开发者根据自身Python环境、项目需求(如与matplotlib集成)及许可证考量,做出最合适的决策,并附有安装验证与避坑指南。

weixin_29094539的博客 704

2027数据开发工程师校招准备:SQL、数据仓库、项目与证书怎么排优先级?

数据库系统工程师可作为数据库知识的学习方向,云平台认证适合技术栈明确的目标岗位,数据分析类认证则属于补充,不替代工程实践。截至2026年11月12日,2027届通常对应的2026年9—10月秋招集中阶段已经过去。尚未拿到满意录用结果的同学,应同步关注秋招后续批次、补录及2027年春招,具体以企业公告为准。

cspttty的博客 214

双有源桥变换器(DAB)TPS控制:从理论建模到Simulink/PSIM仿真实践

本文深入探讨了双有源桥变换器(DAB)的三重移相(TPS)控制技术,从理论建模到仿真实现。文章详细分析了TPS相比SPS和DPS的优势,阐述了其12种工况的划分逻辑与电流应力最优调制策略,并提供了在Simulink和PSIM平台搭建仿真模型的详细步骤与实战经验,帮助工程师掌握这一高效控制方法。

white的博客 585

从零开始:H20服务器上DeepSeek R1 671B大模型部署与压力测试全攻略

最近,我有幸在工作中接触到了DeepSeek R1 671B模型,这是目前中文开源领域参数量最大的高质量模型之一。DeepSeek团队在2024年推出的这款模型,以其惊人的6710亿参数量和出色的推理性能,引起了业界广泛关注。作为一名AI基础设施工程师,我有机会在H20服务器上部署这个庞然大物,并对其进行了全面的压力测试。这篇文章将详细记录我的部署过程和性能测试方法,希望能为大家提供一些参考。💡为什么选择DeepSeek R1?超大规模参数量(671B)优秀的中英文理解能力开源可商用的许可证。

wangli的博客 1万+

ElasticSearch(一)API的使用

elasticsearch的API使用

qq_40358025的博客 228

802.1AS-2011_Gptp协议栈

GPTP(广义时钟同步协议,或IEEE 802.1AS)的基本功能是确保局域网中所有的时钟都同步,并提供时间信息。这种协议用于在局域网中进行同步和时间对齐,其目的是确保网络中各设备的时间一致性。

weixin_49041703的博客 2544

企业如何同时管理用电安全、电能质量和节能降碳?从异常溯源看施耐德电气EEO的协同管理价值

通过整合电力运行信息,并结合EEO资产健康模块、EEO电能质量模块与EEO能碳管理模块,企业可以围绕设备、回路和负荷建立更连续的分析流程,使不同专业人员能够基于相互关联的数据开展判断。企业需要进一步核对异常出现的时间、涉及的配电回路、生产负荷变化以及设备运行状态,才能判断问题来自正常的生产调整、设备运行异常,还是需要采取措施的电能质量问题。从关键回路的异常排查入手,逐步完善设备数据、专业分析和治理验证流程,企业可以让用电安全、电能质量与节能降碳从分散的管理任务,转变为相互关联的日常运营工作。

科技,技术,行业类博主 191

不写代码,Cursor 10分钟开发1个APP!保姆级教程喂饭来了

做出第一个能运行的app,那种成就感真的很棒。虽然过程可能有点折腾,但只要耐心一点,问题都能解决。记住,遇到问题不要慌,现在有AI帮忙,大部分问题都能快速解决。重要的是迈出第一步,开始动手实践。你的第一个app可能很简单,但这是一个很好的开始。随着经验积累,你能做出的东西会越来越酷。现在就开始行动吧,说不定下个月你就能向朋友炫耀你自己做的app了!

chenhong007的博客 1553

智能体开发套件(ADK)介绍

city } ---") city_normalized = city . lower() . replace(" " , "") # 模拟天气数据库 mock_weather_db = {

lpfasd123的博客 1414

机床CNC、工业机器人与包装物流需求带动:全球拖链以太网线缆市场2032年将达8.08亿美元

LP Information数据显示,2025年全球拖链以太网线缆市场规模约4.7亿美元,2026年预计5.07亿美元,2032年将达8.08亿美元,2026—2032年CAGR为8.1%,综合毛利率估算约36%。在工业设备通信接口从固定连接走向高速、实时和移动连接的背景下,机器人、数控机床、包装设备、机器视觉、物流搬运和自动化产线对高柔性、耐油耐磨、抗扭转、屏蔽性能和小弯曲半径线缆需求持续提升。

LPIHelen的博客 209

RDKit | 基于Pytorch和RDKit建立QSAR模型

QSAR 定量构效方法(quantitative structure-activity relationship, QSAR)是应用最为广泛的药物设计方法。所谓定量构效方法就是通过一些数理统计方法建立其一系列化合物的生理活性或某种性质与其物理化学性质之间的定量关系,通过这些定量关系。可以预测化合物的生理活性或某些性质,指导我们设计出具有更高活性的化合物。 早在...

DrugOne 5080

京东 Apache Doris 湖仓查询优化实践:从多引擎统一到百万级查询

京东基于 Apache Doris 构建统一湖仓查询引擎,支撑日均百万级查询与 PB 级数据扫描。深入解析 Presto、StarRocks 迁移、分区裁剪、Split 调度、向量化执行及 AI Agent 混合负载优化实践。

SelectDB 453

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

AI处理数据安全吗?

企业使用AI处理数据时,需划清高、中、低敏数据边界,将规则明确的清洗、关联等操作固化为本地脚本,仅将汇总指标交由模型生成报告,实现安全与成本双降。通过脚本复用、口径预定义、角色包导入,可减少90%以上重复调用,保障数据不出内网,输出可追溯。关键在“处理与生成分离”,以工具化设计替代临时对话,让效率与合规并行。

数据矿工-数据化运营博客 186

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Datawhale Hello-Agents入门篇 202611 task0

智能体 = 感知 + 自主决策 + 行动 + 循环反馈。LLM 把"决策"这一环从"人写规则"换成了"模型推理",于是智能体能处理模糊的自然语言目标。一个系统提示词定格式 + 一个工具字典 + 一个 while 循环 + 一段正则解析。

weixin_44811994的博客 82

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

最新大数据毕业设计选题推荐-基于大数据的快餐营养摄入与运动消耗关联性分析与可视化-大数据-Spark-Hadoop-Bigdata

本文介绍《基于大数据的快餐营养摄入与运动消耗关联性分析与可视化》系统,采用Hadoop+Spark框架实现数据存储与计算,结合Python+Django与Java+Spring Boot双后端,通过MySQL存储数据,前端使用Vue+ElementUI+Echarts完成可视化。系统涵盖营养摄入、消费画像、运动消耗等分析功能,实现快餐订单数据与运动消耗的关联分析,为计算机专业毕业设计提供技术完整、可落地的大数据项目参考。文末可获取源码。

IT研究室的博客 291

数据建模正面对比:国外时序数据库怎么组织设备数据,Apache IoTDB 的树表孪生模型又怎么组织

本文对比InfluxDB、TimescaleDB、OpenTSDB、Prometheus与Apache IoTDB的数据模型,从设备层级、查询写法、Schema演进、高基数处理及AI适配等维度剖析其差异。国外方案多采用扁平标签或关系表模型,易导致高基数问题或建模复杂;IoTDB则提出“树表孪生模型”,以路径自然表达设备层级,支持原生目录遍历查询,更契合工业物联网场景,提升建模效率与查询灵活性。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 1万+

大数据与审计专业哪些证书企业比较认可?

大数据与审计专业选证书,首先要明确就业方向:是进入会计师事务所做财务审计,还是进入企业从事内部审计、风险控制,或向数据审计、信息系统审计发展。不同岗位看重的专业能力不同,证书的价值也应放在具体招聘要求中判断。面向2027年的求职与备考规划,值得重点考虑的有六类:初级会计专业技术资格、注册会计师、审计专业技术资格、CDA数据分析师、国际注册内部审计师和国际注册信息系统审计师。选择时,宜采用“财审基础+数据能力+岗位专长”的组合,而不是单纯追求持证数量。

YangYang9YangYan的博客 325

CentOS7-Elasticsearch8.15.3-Kibana8.15.3-安装部署笔记

Token 有效期只有 30 分钟,请保存好输出的 base64 字符串并尽快完成 Kibana 对接;本文整理自单机离线部署实践,适用于 CentOS 7 + Elasticsearch/Kibana 8.15.3 场景。只对新登录的会话生效,修改后需重新连接 SSH。结尾,其中包含 elastic 用户初始密码、HTTP 层证书等信息。等字段的集群 JSON 信息,即说明账号、HTTPS、证书均正常。安装成功后,终端会打印安全自动配置结果,以。按交互提示输入两次自定义密码。,保存后重启服务器生效。

遇见bug的博客 202

数据科学与大数据技术大一到大三考证顺序怎么排?

数据科学与大数据技术专业的考证安排,适合跟着课程和求职方向走,而不是跟着证书数量走。大一还在学高等数学、程序设计,大二逐步接触概率统计、数据库,大三开始进入机器学习、大数据平台和专业实习。证书与这些课程衔接起来,备考才容易转化为实际能力。下文推荐6项证书,其中既有基础性考试,也有职业方向认证,不需要全部考完。安排考证顺序的关键,是让每次备考都留下两项成果:一张能够说明学习经历的证书,以及一份能够展示实际能力的作品。

2501_93367079的博客 85

大数据与会计专业考哪些证书对就业有帮助?

大数据与会计专业的学生,选证时容易遇到一个问题:会计类证书强调核算、税法与审计,数据类证书强调处理、分析与表达,究竟应该先考哪一种?

2601_96296664的博客 163

【一次 Elasticsearch 高基数聚合慢查询的定位与优化】

当Elasticsearch聚合查询首次执行慢、后续迅速恢复正常时,问题往往不在数据量本身,而在于全局词典构建开销。通过Profile分析发现,虽聚合耗时仅几十毫秒,但首次请求整体耗时达1秒以上,表明瓶颈在初始化阶段。结合keyword字段使用Doc Values的特性,可推断为首次访问时需加载全局词典(global ordinals),导致延迟。开启eager_global_ordinals可将词典预加载至内存,显著降低首次查询延迟,尤其适用于高基数聚合场景。此案例揭示了“首次慢、后续快”问题的典型根因及

大雪冬至的博客 389

用 Dinky 管理 Flink SQL,用 Paimon 构建实时数仓

Dinky、Flink 和 Paimon 分工不同:Dinky 管理作业,Flink 执行计算,Paimon 保存实时变化的表数据。把 MySQL CDC 连接到 Flink,再把结果写入 Paimon,就可以构建一条从业务数据库到实时数仓的处理链路。理解这套流程时,重点记住三件事:CDC 需要可靠主键,流式写入依赖 checkpoint 和提交,Catalog 决定计算引擎怎样发现表。后续再从 Paimon ODS 表清洗到 DWD,并在批处理或流式模式下计算指标,整个实时数仓的思路就串起来了。

2302_80153299的博客 309

业务系统为什么需要数据透视表?

在销售管理系统中,业务人员常需从不同维度分析数据,如按地区、产品或时间查看销售额。传统方式依赖导出Excel手动汇总,效率低且重复开发报表负担重。数据透视表可基于同一份明细数据,灵活按字段分类、汇总,支持多角度动态分析,实现“一源多看”。通过集成SpreadJS等前端表格控件的透视功能,系统可提供类似Excel的操作体验,让业务人员自主调整布局、筛选条件,快速获得所需洞察。既减少开发重复工作,又提升数据分析效率,适用于销售、采购、费用管理等多种场景。

葡萄城技术团队博客 136

过程与答案

36岁,曾在北京996驻场做大数据,靠一碗牛肉面和回西安的五天“虚度光阴”撑起生活。如今AI给出答案,却藏起思考过程。孩子长大,我却停滞。终于明白:真正证明我活过的,不是结果,而是那些无用却真实的瞬间——咸汤里的满足,飞行中的空茫,从“不知道”到“知道”的笨拙旅程。答案可被替代,唯有过程,是人之为人的证据。

shiter编写程序的艺术 184
上一篇: Agent 轨迹分析与归因的数据工程实践
下一篇: 2KB histogram 背后:Databend 如何低成本追踪长尾延迟
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值