云原生数据库 | Data Infra 第 10 期

从 Data Infra(数据基础设施)到 AI Infra(人工智能基础设施)的华丽跃迁 摘要:从数据基础设施(Data Infra)到人工智能基础设施(AI Infra)的转变不仅是技术升级,更是理念和架构的跃迁。Data Infra关注数据治理,强调稳定性和吞吐量,而AI Infra聚焦智能创造,需要高效调度算力、优化性能并管理实验。技术栈从CPU转向GPU/TPU,调度层从Hadoop YARN转向Kubernetes,数据层新增向量数据库。成功实现跃迁需统一认识、融合平台、构建特征平台、自动化工具链及培养复合型团队。这一变革让企业从"拥有数据"升级为"运用数 阅读详情

时隔3个月,Databend 将于本周六上午10:00 在线上开启 【Data infra 研究社】第10期 的活动!,欢迎各位小伙伴扫码报名参与。

本期我们特别邀请了 Databend SQL 优化器研发负责人雷宇老师和 Greptime 联合创始人冯家纯老师,将与大家分享关于《云原生数据库》的相关知识。内容丰富,干货满满!

⏰ 时间:北京时间 04 月 01 日上午 10:00 - 12:00(周六)

扫描上方二维码或点击文末「阅读原文」即可报名

直播最后还会抽取幸运儿送出我们的独家礼品:

Databend **限量周边 T-shir*t*!**(名额 3)

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

👨‍💻‍ Databend Cloud:https://databend.cn

📖 Databend 文档:Databend - The Future of Cloud Data Analytics. | Databend

💻 Wechat:Databend

✨ GitHub:GitHub - datafuselabs/databend: A modern cloud data warehouse focusing on reducing cost and complexity for your massive-scale analytics needs. Open source alternative to Snowflake. Also available in the cloud: https://app.databend.com

Linux C++进阶:从系统视角到AI Infra与高性能服务器实战 C++作为一门系统级编程语言,其核心价值在于对计算机底层资源的精细控制和高性能计算能力。其原理在于通过直接操作内存、管理硬件资源,实现极致的执行效率。这一技术价值在当今云计算、人工智能和实时音视频处理等对性能有严苛要求的领域尤为凸显。在这些应用场景中,系统编程能力是构建基础设施的关键。本文聚焦于Linux C++开发者的进阶之路,深入探讨了内存管理、并发模型与IO优化等核心系统概念,并提供了构建高性能HTTP服务器和集成ONNX Runtime进行模型推理的实战项目。通过剖析AI Infra和音视频处理等热 阅读详情

相关推荐

data-infra-notes:我记下的笔记有关有关数据基础设施的文章,书籍和其他资源

数据注释 我在笔记中提到了有关数据基础结构的文章,书籍和其他资源。 灵感来源: : 文件SYS: 亚马逊S3 S3存储类: 一般用途 很少访问 档案 生命周期策略可以迁移黑白存储类->无需更改应用程序代码 S3既不是块存储也不是文件存储。 例如,您不能在S3上进行远程挂载,因为它不是文件系统 无需容量规划 默认情况下,每个帐户只有100个存储桶 对象最多可达到5TB S3是文件类型的激动人心:在S3眼中,一切都是字节流 S3操作: 创建/删除存储桶 写一个对象 读取对象 删除对象超级用户可以为此启用MFA 列出存储桶中的键支持前缀和定界符 S3具有99.999999999%的耐用性和99.99%的可用性S3最终是一致的S3操作是原子的 访问控制列表(ACL): 允许细粒度的访问控制(读取,写入,完全控制) 使用S3的静态虚拟主机: 名称与所需网站主机名相同的存储桶 将静

【亲测免费】 探索前沿数据基础设施:data-infra/infrastructure

探索前沿数据基础设施:data-infra/infrastructure 项目简介 是一个开源项目,它专注于构建和维护高效、可靠的数据处理和分析基础设施。该项目旨在提供一套工具和技术栈,帮助数据工程师、科学家和分析师更便捷地管理和操作大数据。 技术分析 容器化部署:项目采用Docker和Kubernetes进行服务容器化和集群管理,保证了环境的一致性和资源的高效利用。 流式处理:使用Apa...

gitblog_00073的博客 921

data_infra_repo:POCdev数据基础结构的集合。 | #DE

data_infra_repo 在Data infra build “ Daas(数据即服务)存储库”的一部分时,该项目展示了如何从头开始通过Docker构建DS / DE环境。 将侧重于:1)通过实际使用案例进行系统设计2)Docker,程序包和库的环境设置3)测试,登台以及产品开发/部署工作流开发(可能是CI / CD风格) Daas(数据即服务)存储库:-> -> Airflow Heroku演示: Mlflow Heroku演示: 档案结构 # ├── README.md # ├── build.sh # ├── celery_redis_flower_infra # ├──

面向 Data+AI 的统一数据目录探索 | Data Infra NO.22 回顾(含资料发布)

随着生成式人工智能(Generative AI)的崛起,从图像生成、自然语言处理到个性化推荐系统,生成式 AI 技术正迅速改变着各行各业的面貌。而在这场变革背后,数据的管理和治理显得尤为重要。对于企业来说,数据不仅是基础资源,更是构建 AI 应用和增强业务能力的关键。Apache Gravitino(incubating) 与 Databend 作为数据领域两个知名的开源项目,正通过各自的创新技术和实践,为数据管理和 AI 应用的深度融合开辟了新的路径。

Databend的博客 1158

CMU动作捕捉数据集实战:从AMC文件到Python可视化的完整流程

本文提供了CMU动作捕捉数据集的完整实战指南,详细解析了AMC文件格式,并对比了MATLAB转换、Python原生解析及转换为BVH格式三种数据解析策略。重点介绍了如何构建Python数据处理与可视化管道,包括将数据转换为Pandas DataFrame、绘制时间序列与相关性热力图,以及实现3D骨架动画,帮助开发者高效利用这一经典动作捕获数据集进行运动分析与模型训练。

android的专栏 716

手把手教你用ObjectCRX进行Caxa二次开发:从零开始的环境搭建教程

本文是一份面向零基础初学者的Caxa二次开发实战指南,重点讲解如何使用ObjectCRX框架从零开始搭建开发环境。内容涵盖Visual Studio 2015版本锁定、ObjectCRX向导集成、项目创建、典型错误解决,并最终实现一个可在Caxa中运行的HelloWorld程序,帮助开发者快速入门并避开常见陷阱。

w3x4y的博客 514

传统Data Infra已失灵?共探Gen-AI时代下Data Infra的破局点

摘要:在外滩大会"Gen-AI时代下DataInfra重构与机遇"圆桌中,专家指出AI时代数据基础设施面临三大变革:从结构化到非结构化数据处理(90%数据)、计算范式从SQL转向智能检索、使用方式从专业工具转向自然语言交互。新一代Lakehouse架构需具备双引擎协同、非结构化存储和智能检索能力。平台方应构建"数据神经中枢",实现元数据统一管理与可插拔引擎。实践建议包括:聚焦细分领域价值、投资核心数据资产、快速落地应用场景。AI时代数据平台将催生百倍增长机遇,成为连接

yunqitech的博客 756

大规模SoC芯片Hierarchical Flow Calibre LVS教程

大规模SoC芯片Hierarchical Flow Calibre物理验证LVS实现教程

weixin_37584728的博客 1201

【上海】Data Infra Meetup(12/22)

数据创造价值!数据深刻改变了许多传统行业的盈利和营销模式,其背后基础架构技术的演进,也深刻决定了我们的处理数据的效率与洞察数据本质的能力。 PingCAP和示说网(SlidesTalk)发起的Data Infra Meetup,邀请了来自宝尊电商,阿里云,PingCAP的资深工程师同行,一起来探讨大数据开源框架TiDB和Apache Spark在SQL层面的执行原理,优化方案,以及电商数据的技术解...

weixin_42852136的博客 394

FPGA中的CMAC硬核与Interlaken硬核

CMAC硬核和Interlaken硬核是FPGA中两种重要的内置功能模块,它们分别在CNN推理和高带宽芯片到芯片接口方面发挥着关键作用。FPGA(Field Programmable Gate Array,现场可编程逻辑门阵列)中的CMAC硬核与Interlaken硬核是两种重要的内置功能模块,它们在FPGA设计中扮演着关键角色。需要注意的是,FPGA设计中的硬核选择不仅取决于硬核本身的性能,还需要考虑硬核与FPGA芯片其他部分的兼容性、功耗、成本等因素。Interlaken硬核。

weixin_41230430的博客 1488

Python 爬虫实战:Steam 游戏数据爬取与游戏市场分析

本文介绍了一个基于Python的Steam游戏数据分析项目。通过爬取Steam公开API和游戏详情页,获取游戏列表、价格、评价、标签等数据,结合SteamSpy统计销量和在线人数。项目使用requests、BeautifulSoup4进行数据采集,pandas处理数据,pyecharts和seaborn进行可视化。核心步骤包括:1)获取全量游戏列表并过滤;2)异步请求游戏详情处理限速;3)提取关键字段如价格、评分、标签;4)多维分析价格分布、标签热度等。技术栈涵盖API请求、HTML解析、数据存储与可视化,

u014481728的博客 310

探索 Snowflake 与 Databend 的云原生数仓技术与应用实践 | Data Infra NO.21 回顾

首先从架构图来简单了解一下 Snowflake。Snowflake 非常充分地利用了公有云本身的一些能力,总体上分为三层:最下层是数据存储层。Snowflake 的数据存储是基于 S3 对象存储实现的,所有数据摄入到 Snowflake 后,会以 Snowflake 自己的方式对数据进行优化、存储。比如说一张大表,有很多数据,Snowflake 会按照一种叫 micro partition 的方式做一个列式、压缩的存储。第二层是运算的执行层。

Databend的博客 1478

8155源码编译DSP(ubuntu环境下)

一.设置环境变量 -users:/$ sudo gedit ~/.bashrc #set adsp cdsp tools path #export ARMLMD_LICENSE_FILE=<LICENSE FILE INFO> #export ARMTOOLS=RVCT221 #export ARMROOT=/pkg/asw/compilers/arm/ADS1.2 #export ARM_COMPILER_PATH=/pkg/qct/software/arm/RVDS/2.2BLD593

Johnny2004的专栏 1679

Meetup 回顾|Data Infra 研究社第十期(含资料发布)

Greptime 联合创始人-冯家纯以《漫谈时序数据库的设计》为主题给大家带来了深入的分析。他分享了业界常见时序数据库的技术选型,各自的优缺点,以及他们在使用 Rust 研发 GreptimeDB 时的设计抉择和最终的经验教训。Databend 优化器负责人-雷宇以《云原生数仓产品》为主题给大家介绍了一款云原生数仓产品-Databend,分析了 Databend 的应用场景,并且讲解了 Databend 的架构设计和内部实现。此次直播活动的两大主题分别是《漫谈时序数据库的设计》和《云原生数仓产品》。

Databend的博客 488

Android 13 RK3588 编译烧写实录全程

本文详细记录了RK3588主板在Android 13系统下的各项功能测试与编译过程。主要内容包括:1)网络功能测试(以太网、WiFi、蓝牙连接);2)外设接口测试(耳机、麦克风、USB、TF卡);3)硬件功能验证(RTC时钟、ADC采样、MIPI摄像头);4)系统设置(手势导航、开发者选项);5)Android 13 SDK编译环境搭建与源码获取方法。通过图文并茂的方式展示了各功能的配置方法、操作步骤和测试结果,为开发者提供了全面的参考指南。

hnjzfwy的博客 241

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

解密云原生数据库|Data Infra 研究社第一期

随着科技的进步,大数据已经作为一种重要的战略资产,从科学前沿逐渐渗透到各行各业,其深度应用对于企业经营活动有巨大的帮助。直接结果就是这几年市场上大数据人才供不应求。 【Data Infra 研究社】创办的初衷就是希望通过业界大佬们的知识共享来打造一个良好的学习氛围,期待更多人能关注到数据架构,并加入其中共同探讨,深入研究,一起推动行业的发展。每一期我们都会邀请到不同的讲师来针对性的输出各方知识,帮助大家深入研究数据架构成就高薪职业! 第一期的议题我们将和大家分享关于【云原生数据库】的相关知识,感兴...

Databend的博客 478

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

【金猿CIO展】莱商银行信息科技部总经理张勇:AI Infra与Data Agent驱动金融数据价值新十年

二是无缝的数据与模型协同,让数据管道能直接喂养模型,模型产出能无缝回流,成为新的数据资产,进而形成闭环;站在新十年的起点,AI大模型的爆发式增长为行业带来新变量,AI Infra与Data Agent的协同进化,正重塑大数据产业的发展格局,也为金融数据应用开辟了全新赛道。作为金融科技领域的从业者,我将继续带领团队深耕AI Infra与Data Agent技术在金融领域的应用实践,推动莱商银行在数据驱动的数字化转型中持续前行,同时与行业同仁携手,共同应对挑战,让数据技术更好赋能金融、服务民生。

数据猿 1088

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

SHAREit X Databend | 跨多云 Data Mesh 大数据平台: Why, What and How

2022 年 10 月 22日,在 Data Infa 研究社第 5 期中,我们邀请到张韶全老师分享了《跨多云 Data Mesh 大数据平台:Why, What and How 》受到大家的一致好评。以下是此次精彩的分享总结,让我们一起回顾一下吧。

Databend的博客 782

⾯向现代分层存储的 Caching 技术漫谈|Data Infra 研究社第十九期(含资料发布)

上周六(7月13日),第 19 期 Data Infra 研究社直播活动与大家见面了。本次活动我们邀请到了 Databend 研发工程师-尚卓燃,为大家带来了一场主题为《面向现代分层存储的 Caching 技术漫谈》的分享。通过卓燃的分享,我们深入理解了面向现代分层存储的 Caching 技术,并学习了机器学习如何影响缓存的设计与应用。本次活动回放可在 B 站上找到: 🔗《 面向现代分层存储的 Caching 技术漫谈》

Databend的博客 830

多点《基于 Databend 的 TiDB 数据归档实践》 | Data Infra 分享第 4 期总结

在归档场景下 Databend 优势:降本显著:基于对象存储,冷数据存储成本除低 98%,如果你是 SSD 到对象存储,基可以达到 99% 以上的降本。云中立:支持 AWS, Azure,GCP,阿里云,腾讯云,华为云,青云,火山引擎,minio,ceph 等研发友好:MySQL 协议兼容,可在线查询,统计分析性能好运维无忧:无限空间,高可靠性,免维护,迁移便捷。

Databend的博客 790

一张图看懂2400+云原生项目:CNCF landscape终极入门指南(附交互式地图使用技巧)

🌄 **CNCF Landscape(云原生全景图)** 是一张由云原生计算基金会(CNCF)官方维护的交互式地图,它将 **2400+ 个云原生项目与商业产品** 按类别分类、排序展示,并可查看每个项目的 GitHub Stars、融资情况、首次/最近提交时间、贡献者数量和总部所在地等细节。无论你是刚接触 Kubernetes 生态的初学者,还是需要快速调研云原生技术栈的架构师,这份终极入门指

gitblog_00823的博客 425

如何使用 Databend Cloud 化简大数据架构?| Data Infra NO.24 回顾

随着数据量的爆炸式增长和业务需求的多样化,许多企业的大数据平台在多年的演进中堆积了 Hadoop、Hive、Spark、Flink、Kafka 等数十种组件,复杂度的累积使架构演变为”难以维护的黑盒",企业用户不得不承受着传统数据架构的慢性疼痛。亚舟将在本次分享中,以用户行为分析场景为例,介绍 Databend Cloud 如何化繁为简,帮助企业摆脱复杂技术栈的束缚,快速构建端到端的数据管道,从而实现一套可扩展、灵活、低成本的用户行为数据分析架构。在 Data Infra 第 24 期活动中,我们邀请到。

Databend的博客 1029

亚马逊云科技2022热招岗位

亚马逊云科技2022热招岗位

Jinyujy的博客 584

数据网格落地难?Kubernetes才是承载Data Mesh的最佳底座

容器编排平台正在从应用部署工具演变为分布式数据基础设施的核心底座。Kubernetes通过命名空间、声明式API、Operator与策略引擎,将Data Mesh的领域自治、数据即产品、自助式基础设施和联邦治理四大原则映射为可执行的平台能力。基于这种架构,数据产品可像微服务一样完成版本发布、弹性伸缩与SLO监控;多集群联邦和可观测性体系则让数据血缘与基础设施监控打通。对于从传统湖仓向分布式数据架构迁移的团队,以Kubernetes为底座的云原生数据网格提供了从批量调度、实时计算到数据治理的渐进式落地路径,正

weixin_32183107的博客 284

justmine:云原生大数据最小可行实践架构

现代数据基础设施正从重型Hadoop栈转向轻量、可交付、端到端可控的云原生范式。其核心原理在于将数据摄取、流式计算与服务化交付三大关键环节,通过Kubernetes声明式编排、Flink原生流处理和Avro Schema契约进行深度整合,实现Exactly-Once语义保障与GitOps全链路治理。该架构的技术价值在于降低中型团队的数据平台运维复杂度,提升实时场景(如风控、大屏)的端到端确定性与调试效率。典型应用场景包括事件驱动的实时指标计算、低延迟API数据服务,以及跨职能团队协同维护的生产级数据管道。本

SailingAptech的专栏 484
上一篇: 使用 Metabase 连接 Databend Cloud 实现大屏展示
下一篇: Databend 开源周报第 86 期
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值