OpenPie的博客

为帮助大家逐步探索 PieCloudDB 的强大功能，PieCloudDB 社区特别制作了《快速入门 PieCloudDB 社区版》系列课程，本文为该系列的第三期内容，将详细介绍 PieCloudDB 虚拟数仓的管理过程。

拓数派云原生虚拟数仓 PieCloudDB 与国产操作系统 openEuler 完成相互兼容性测试，并获得 openEuler 技术测评证书，在国产信创生态布局上再次迈出坚实一步，证明了其在国产操作系统上的稳定性和可靠性。

拓数派旗下云原生虚拟数仓 PieCloudDB 通过突破性数仓虚拟化技术实现元数据，数据资产和计算资源的三重解耦，在处理复杂的 OLAP 场景时表现出色，同时也支持轻量级的 TP 场景，具备 HTAP 能力和湖仓一体化能力，一款产品满足企业多方位的业务需求。

PieCloudDB 社区版于近期完成改版，在产品形态上进行大量改进，提供了 PieCloudDB 内核搭载集群管理器（PieCloudDB Cluster Controller，PDBCC）的全容器化一键式部署方案，简化了安装部署过程，让用户能够更加便捷的体验领先的数仓虚拟化技术。

PieCloudDB 通过元数据管理系统 MUNDO 的缓存预取技术，优化存储引擎 JANM 的统一存储架构，显著提升并行扫描的性能，来提高磁盘 I/O 和网络带宽的利用率。

本次更新中，PieCloudDB 新增动态配置查询簇功能，可实现可伸缩的并行化查询，加快查询响应速度；PieCloudDB 可视化云原生平台新增定时任务、数据加载、批量授权、数据预览等多项迭代升级，进一步提升用户体验。

作为云上数据库和数据计算领域的领先者，拓数派受邀参与创作墨天轮《中国数据库年度行业分析报告》，联合编写了《AI 时代下新一代数据仓库的演进》《从数据库到数据计算系统》、《传统数仓的痛点》等多个章节，本文为精华内容节选。

PieCloudDB Flink Connector 是拓数派团队自研的一款 Flink 连接器，可用于将来自 Flink 系统中的数据高效地写入 PieCloudDB，配合 Flink 的 checkpoint 机制来保证数据导入结果的精准一次语义。本文将详细介绍 PieCloudDB Flink Connector 的功能和原理，并结合实例进行演示。

第11届 GIAC 全球互联网架构大会上，拓数派向量数据库负责人邱培峰受邀参与并发表了《大模型时代下向量数据库的设计与应用》的主题演讲，详细介绍了云原生向量数据库 PieCloudVector 的设计与实践。

社区贡献是学习和提升技术能力的有效途径之一。如何有效地参与到技术社区的贡献，是许多社区小伙伴感兴趣和关心的话题。受 PostgreSQL 中文社区邀请，拓数派资深技术专家王刚将围绕《如何从零开始参与技术社区？》话题在直播间为大家答疑解惑。

PieCloudDB 不仅支持 x86 架构，还具备全链路 ARM 兼容的能力，支持国内主流的 ARM 芯片，可充分发挥 ARM 架构的优势，全面拥抱基础软件信创国产化，为用户提供卓越的性能和可靠性。

AI 的进化速度远超预期，我们可以轻易预见到，现有的产业格局，包括短视频、游戏、影视、广告等将在不久的将来迎来重塑。Sora 的出现补齐了内容创作的最后一块拼图，爆火的它，背后到底有什么秘密？

4月17日，Postgres Conference 2024 在美国 San Jose 隆重举行，本届大会邀请了来自谷歌、AWS、EDB、Yugabyte、DBeaver 等企业的资深讲师出席大会。拓数派凭借其强大的国际技术社区影响力，受邀作为会议赞助商参与本次盛会，并发表技术演讲。

云原生虚拟数仓 PieCloudDB 4月动态，增强本地缓存文件生命周期、新增 Interconnect Proxy 多进程支持、全链路 ARM 支持、Flink Connector 组件支持、云上云版订阅服务等多种功能优化。

由于其简单易学、完整安全、灵活且具备高可扩展性，SQL 如今已经成为标准的关系型数据库管理语言。那你知道 SQL 语句在数据库中是如何执行的吗？让我们用一条简单的查询语句，一起在 PieCloudDB 数据库中进行一次旅行！

拓数派向量计算引擎 PieCloudVector 实现大模型和私域数据的无缝结合，提供垂直领域的个性化解决方案。

近日，拓数派云原生虚拟数仓 PieCloudDB 与开源操作系统 OpenCloudOS 以及腾讯云旗下操作系统 TencentOS Server 完成了产品兼容性互认证。

PieCloudDB 内核技术持续突破，进行再一次升级，正式发布 3.0 版本。在这一新版本中，PieCloudDB 在存储、元数据、执行器等各个模块均进行了大量升级。

3月14日，拓数派2024年度战略暨新产品发布会在上海国际会议中心圆满落幕。本次大会以「数仓虚拟化 流转数据要素」为主题，众多业内资深专家、合作伙伴济济一堂，共同探讨数据要素流转和数字技术创新等热点话题。 拓数派创始人兼CEO冯雷（Ray Von）携产品团队重磅发布云原生虚拟数仓PieCloudDB 3.0版本，并分享了数仓虚拟化技术的最新成果与其在数据要素产业的最佳实践。

PostgreSQL 国际社区于3月3日正式公布了新加入的 PostgreSQL Contributor 名单，以认可为 PostgreSQL 开源项目做出实质性、长期贡献的人员。拓数派技术专家 Richard Guo 本次荣获 PostgreSQL 官方认可，正式成为一名 PostgreSQL Contributor。

PieCloudDB 实现元数据 MetaCache 缓存服务，大幅度提升了获取快照操作的性能；LocalCache 功能升级，粒度更加精细化；云上云版新增 mTLS 安全机制，有效提高安全性。

为促进基础软件在中国高校的传播，进一步提高在校研究生对基础软件的学习和开发实践能力，培养数据库研发人才，拓数派联手开源联盟 PG 分会，走进北京大学，进行了研究生公选课的打造与授课。

又是一年元宵时，火树银花人团圆。PieCloudDB 社区准备了几道特别的灯谜，听说只有“IT人”才能答对全部哦~快带上你的小伙伴来挑战一下吧！

本文整理自 2023 龙蜥操作系统大会的演讲内容，主要介绍拓数派大模型数据计算系统 πDataCS 的整体架构、核心优势、技术突破以及产品生态。

拓数派长期以来一直以强大的技术能力，用高质量、高数量的代码贡献力参与到 PostgreSQL 社区的产品和生态建设中。在 2023 年 PostgreSQL 代码主要贡献数据统计中，拓数派以强大的技术实力再次上榜！

在计算机科学领域，CPU 和 GPU 作为计算机的核心组件，虽然名字只有“一字之差”，但其结构和功能却大不相同。本文将介绍 CPU&GPU 的基本概念、主要区别、适用场景以及 GPU 加速在大模型与向量数据库领域的应用。

快速了解 PieCloudDB 产品最新动态与数据库行业热点。PieCloudDB 新增元数据跟踪日志及缓存功能；增加配置参数；新增 COMPACTION 功能；云上云版平台界面全面升级。

PieCloudDB 在数据压缩上做了许多优化，打造自适应压缩方案，显著减少存储空间的需求，从而降低硬件成本。本文将主要介绍 PieCloudDB 是如何在保证性能的前提下，采用多种自适应压缩与编码技术，为企业降本增效。

12月22日，ITPUB 携手各领域专家，举办「国产化软硬件升级替换之路」系列线上主题沙龙，与大家共同探讨国产化软硬件替换的关键问题和解决方案。拓数派作为国产云原生数据库领域的佼佼者，也受邀参与了本次活动，拓数派产品社区总监吴疆于活动中发表了演讲《πDataCS 赋能工业软件创新与实践》。

拓数派始终持「开放互信，合作共赢」的理念，致力于打造活跃的社区，构筑完备的数据生态体系。2023年12月17-18日，由开放原子开源基金会指导，龙蜥社区主办的2023 龙蜥操作系统大会于北京嘉瑞文化中心隆重召开。受生态合作伙伴龙蜥社区的邀请，拓数派也受邀参与本次大会并发表演讲。

随着圣诞节的到来，很多城市也都张灯结彩，处处充满了节日气息。 圣诞节当然离不开圣诞树啦！今天，我们将教你在 PieCloudDB 中“种”下今年的圣诞树！

12月16日，受上海科技大学创业与管理学院张瑞洁教授邀请，「校园 Pie」第二场活动来到张教授的「决策理论与方法」课堂。在本次活动中，缪思好作为拓数派 Data Science Lab 负责人，与上科大的同学们分享了《大模型时代下大数据智能决策》主题演讲。

作为 πDataCS 支持的第二款计算引擎，云原生向量计算引擎 PieCloudVector 支持海量向量数据存储、向量数据高效查询，是大模型时代的分析型数据库升维，目标是助力多模态大模型 AI 应用。

PieCloudDB 为了助力企业建立以数据资产为核心的竞争壁垒，为客户提供卓越性能和高效的数据处理能力，颠覆原有执行器设计，自研了高效的全新向量化执行器。向量化计算技术的引入使得 PieCloudDB 能够充分利用现代处理器的并行计算能力，实现数据的快速并行处理。

最底层的是简墨的存储访问抽象层，简墨利用抽象 API 与任何类型的存储进行交互，包括云对象存储（例如 S3）、HDFS 等。通过这种方式，简墨确保了所有存储引擎的兼容性。此外，简墨对文件系统进行了包装，以进一步优化存储功能，例如提供监控和各种读写策略等。简墨会在这一层支持多种文件格式，并具备统一的访问接口来简化对数据的访问操作，从而让用户的数据可自由的选择不同的文件格式来存储，用户数据。

有效的内存管理可以确保系统的稳定性和安全性，提高系统运行效率，帮助我们最大限度地利用有效的内存资源，合理分配和回收内存，预防各类内存错误。为了保持对 PieCloudDB 软件质量的严格控制，PieCloudDB 打造了全新的内存管理器 ASanAlloc。

一文带你快速了解 PieCloudDB & 拓数派的近期动态与行业热点。PieCloudDB Database 压缩效率得到升级；费用中心、权限管理升级优化；新增审计日志功能

随着 AIGC 的时代到来，以 GPT 为首的大型语言模型（Large Language Model，LLM）已经成为当今人工智能领域最热门的话题之一。这些强大的模型不仅在内容创意生成、语言翻译和代码辅助等任务中表现出色，还对数据库的发展带来了革命性的影响。

无论 ETL 还是 CDC 都是把数据复制作为目标的，因此不可避免的会造成一定程度的数据冗余，也存在造成数据不一致的风险；PieCloudDB Formatter 会先对 Foreign Table 中获得的原始数据进行解析，根据数据的格式（如 CSV，JSON，XML 等），将原始数据分解成可操作的数据单元（字段、行、列等）。在步骤 3 中，会对步骤 2 中解析出的列执行数据转换操作，以确保数据的准确性和一致性，使数据能够顺利插入 PieCloudDB 表中，为后续的分析和应用提供可靠的数据基础。

为了更好地适应云原生和分析型场景的要求，PieCloudDB 必须使用合理的存储架构及技术，打造一款全新的存储引擎，并实现高效的云上索引技术，满足用户查询需求。PieCloudDB 全新存储引擎「简墨」是一款专为云原生和分析型场景设计的高效存储引擎，旨在提供优异的查询性能和灵活的索引技术，以满足用户在云上的数据查询需求。其命名源自「竹简墨书」。因此，PieCloudDB 在 update/delete 删除时，会生成新的文件，在新文件中将包含未修改的数据和新增的修改后的数据，并将保留旧的数据文件。