Meetup 回顾:存算引擎一体化建设

【存算一体架构实战】一、存算一体:打破“内存墙”的革命性架构深度解析 摘要:随着AI大模型、自动驾驶等技术的爆发式发展,数据计算需求呈指数级增长,传统冯·诺依曼架构下的“内存墙”问题愈发成为行业痛点。本文从特斯拉自动驾驶芯片的实测数据切入,揭示GPU推理时90%功耗消耗于数据搬运的行业困境,通过量化分析计算速度与内存带宽的增长剪刀差,阐明内存墙效应的加剧趋势。深入拆解存算一体的三大技术路线(近存计算、数字存内计算、模拟存内计算),对比其计算位置、核心器件与能效比差异,重点解析模拟存内计算基于欧姆定律的矩阵乘加机制。 阅读详情

在大数据与人工智能时代,数据的生成和存储量呈指数级增长。企业面临着如何高效处理和分析海量数据的巨大挑战。在面对如此规模的数据时,数据库究竟该选择存算一体,还是存算分离架构?如何才能提升资源利用率、扩展性,降低运维成本,这是数据从业者都在思考的问题。

在第 20 期 Data Infra 研究社直播活动中,我们邀请到 Databend Labs 联合创始人-吴炳锡、OPPO 存储团队文件系统负责人, CubeFS Maintainer -常亮、OPPO 对象存储研发工程师, CubeFS ObjectStore 主要负责人-唐德义,围绕“存算引擎一体化建设”这一主题与大家分享相关知识。通过三位专家的分享,帮助大家深入理解了大数据时代的存算引擎设计与实践,以及 CubeFS 的架构、特性与实践,Databend 和 CubeFS 的应用等。*

内容大纲:

🙋 CubeFS 文件系统架构设计及应用

  • CubeFS 的架构及特性

  • CubeFS 在 OPPO 的机器学习等业务场景的落地情况

  • 展望 CubeFS 后续的发展方向

🙋 CubeFS **对象存储**关键设计及应用

  • CubeFS 的对象存储服务架构及关键特性

  • S3 与 POSIX 语义兼容实现高效数据共享

  • 对象存储的关键应用和 S3 新特性演进

🙋 存算引擎架构实践:Databend + CubeFS

  • 理解存算一体架构的实构及应用,理解日志观测的场景

  • 理解 vector 日志收集&加载到 Databend 的流程

  • 演示 TPCH-100-SF 在 Databend + CubeFS 运行情况

  • 存算分离和存算一体的一些思考

随着数据的爆炸性增长,云存储成为了企业和个人的首选。然而,选择一个安全、可靠、高效的云存储解决方案并非易事。在这个背景下,开源对象存储 CubeFS 应运而生,它以独特的优势和特点,正在重塑云存储的未来。

常亮:CubeFS 文件系统架构设计及应用

CubeFS 最初名为储宝 FS,是国内首个开源分布式存储系统。2019 年由京东捐赠给云原生计算基金会(CNCF)开源,并在 SIGMOD 上发表工业界论文。该论文核心观点是提出了分布式的元数据缓存,解决了当时文件系统的一些痛点,例如元数据的海量存储,查询性能,以及集中式存储带来的锁问题等等。

2021 年,OPPO 开始参与到 CubeFS 社区中,主导和推进了社区运营和版本迭代,并在内部做了大量的应用。2022 年,CubeFS 正式进入 CNCF 的孵化阶段。在此期间,CubeFS 一直在持续不断地进行迭代,补充了大量产品特性,例如对 S3、HDFS 等接口协议的补充,纠删码存储子系统,稳定性提升等等。直到 2023 年底,CubeFS 认为产品已经比较成熟,向 CNCF 提出了毕业申请。目前,CubeFS 已经进入社区资质审查的最后阶段。

CubeFS 架构

添加图片注释,不超过 140 字(可选)

CubeFS 架构中模块非常多,整体上由元数据子系统(Meta Node)、数据子系统(Data Node)和资源管理节点(Master)以及对象网关(Object Node)组成,可以通过 POSIX/HDFS/S3 等接口访问存储数据。其中,数据子系统分为两部分,一个是子系统副本,另一个是纠删码 EC 存储。

今年,CubeFS 还计划推出一个分布式缓存系统,以满足公有云的加速需求,预计未来会在 CubeFS 架构中发挥比较大的作用。

添加图片注释,不超过 140 字(可选)

上图是在论文中 CubeFS 和 Ceph 做的性能对比,去年 OPPO 内部也做过一个类似的对比,基本可以保持类似的水平。大家总会有疑问,文件系统为什么没有本地磁盘快?其实这是因为文件系统、块存储都有网络开销,并且它还有元数据的管理,鱼与熊掌不可兼得。但 CubeFS 在随机写和顺序写上都有一定优势,并且在小文件写性能方面更明显一些。

CubeFS 特性

CubeFS 具有众多特性,特别重要的有以下几个方面:

**多协议。**CubeFS 原生的是 POSIX 接口,大家一般以挂载的形式,像本地盘一样去使用,无需额外的文件系统。它本身是一套共享系统,与块存储有一定区别。可以多客户端共享文件,同时也支持海量元数据存储。此外,CubeFS 还支持 S3 和 HDFS 等多种访问协议,这些协议间访问可互通。例如你在 POSIX 写入数据,可以在 S3 读取, 或在一些其他的内部业务场景读取,这样会更方便些。

**双引擎。**CubeFS 支持多副本及纠删码两种引擎,用户可以根据业务场景灵活选择。

  • 多副本存储引擎:副本之间的数据为镜像关系,通过强一致的复制协议来保证副本之间的数据一致性,用户可以根据应用场景灵活的配置不同副本数。

  • 纠删码存储引擎:纠删码引擎具备高可靠、高可用、低成本、支持超大规模(EB)的特性,根据不同 AZ 模型可以灵活选择纠删码模式。如前面所讲,纠删码子系统是一个独立的存储子系统,具备完备的接入,内部调度存储,以及数据管理。它不仅仅可以接受 CubeFS 的数据写入,也可以应用到其他系统的接入。它可以以多 AZ 的形式进行部署,能够节省一定的成本。相对多副本子系统,虽然它是基于 CPU 计算,数据流的读取性能跟多副本相比有些差异,但是它的成本有更大的优势,更多用的是 HDD 磁盘存储。

混合云场景下 AI 业务加速

添加图片注释,不超过 140 字(可选)

AI 是目前比较火的场景,CubeFS 可以为混合云场景下的 AI 业务加速。其实像 OPPO 这样的大型企业,在 GPU 资源紧张的情况下,也会使用一些公有云存储。通常算法比较容易迁移,但数据出于保密需要往往存储到大后方,这样就带来一个问题,公有云到私有云之间存在网络延迟。效率比较低下的情况就造成了计算资源的浪费,基于这种情况,需要考虑做一些数据的迁移,但消耗还是非常大。在这种情况下,OPPO 给 CubeFS 做了一个一级加速,将热点数据和元数据都缓存到客户端,客户端用 GPU 做相应的训练,读取这个节点。在第一次读取的时候,数据会相应加载上来。后续这样反复的读取场景,就可以直接从本地读取,不需要跨网络。未来,公有云肯定是一个比较重要的场景,CubeFS 推出分布式缓存可以解决单节点的存储限制。有一些 AI 模型的语料可能需要更大的空间,单节点需要不断地扩展空间,分布式缓存利用多节点可以有效解决这样的限制。

QoS 流控

添加图片注释,不超过 140 字(可选)

OPPO 在内部部署 CubeFS 时,多业务客户端请求可能存在 LPS 突发的情况,这会影响到其他业务。所以在多业务场景中需要一个中央流控管理机制,上图右侧管理节点中的 QoS manager 就是这样的方案。那么如何与端侧的 QoS manager SDK 进行通讯及流量分发?首先它是一个自适应的流控系统,当你起了一个多线程多任务,这个流控系统可以给相应的多任务节点分配更多的流量。有时系统中会存在网络抖动,流控系统可以把 Master 节点分配的流量给到客户端节点。如果客户端消耗不了,就需要 master 节点动态获取客户端的数据情况,适当调大流量的上限,这样就能够满足整个业务的带宽需求。这套系统也可以外接其他存储系统,为后面的混合云做准备,形成一套自适应的,能够控制多种存储介质的流控系统。

POSIX 接口原子性

添加图片注释,不超过 140 字(可选)

接口原子性是解决分布式环境下,数据分布不同节点操作时出现异常的场景。有人可能会觉得原子性和事物很像,但原子性与事物并不完全相同,事物需要一个快照形式,需要不同的数据存储,CubeFS 的原子性可以做到以最小的代价恢复数据。

回收站

添加图片注释,不超过 140 字(可选)

回收站是今年推出的一个新特性,解决了很多用户误删误操作的痛点。CubeFS 对数据有比较好的恢复支持,通过把数据放到子目录下的 trash 文件夹存储一定时间来保障数据安全,在这个时间范围内的误删除数据都可以找回。

添加图片注释,不超过 140 字(可选)

上图是 CubeFS 正在开发中的一些重点特性。短期内会推出的 3.40 版本有两大特性,一个是自动化迁移,包括磁盘的外盘自动迁移,副本异常的自动修复。第二个特性是快照的卷目录级别的快照,这会以一个开发实验版本的形式推出。

唐德义:CubeFS 对象存储关键设计及应用

添加图片注释,不超过 140 字(可选)

对象存储是 CubeFS 的一个子系统,它对外提供兼容 S3 的协议,其他业务接入时可以直接用 S3 的 SDK 访问对象系统 object node。对象存储的 Bucket 相当于文件系统中的 volume 概念,它会定期从 master 资源管理节点拉卷的状态信息。同时,CubeFS 在读写时支持冷卷和热卷,热卷是写三副本,直接写到 data node 中;冷卷通过 blob stor SDK 的方式写到子系统,写完还会把元数据记录下来,存到 Meta node 中。

CubeFS 对象存储服务的基础能力

添加图片注释,不超过 140 字(可选)

前面说到 Bucket 等同于 volume,那 object 就对应着存储的文件。基于语义转换,CubeFS 天然可以做到 POSIX 和 S3 接口协议的数据共享。CubeFS 对象存储服务保留了文件系统中原有的 dentry/inode 概念,将文件系统中的目录结构呈现为对象的元数据的平铺结构,天然同时支持“扁平”和“层次”命名空间管理的设计。

添加图片注释,不超过 140 字(可选)

使用对象存储服务,人们会比较多地用到分段对象管理功能。相对于普通上传,分段对象管理可能要更复杂一点。它重点分为三个步骤,第一步是初始化分片,第二步是上传具体的每一个分片,最后一步是分段对象的合并。

添加图片注释,不超过 140 字(可选)

QoS 刚才在文件系统中讲过,S3 中其实也支持这样的能力。在存储引擎看来,无论是 data node 还是 Blob store,都没有租户的概念。但对象存储是基于 Bucket 和租户概念对外提供服务的,可能会出现租户或者 Bucket 资源抢占问题,这就需要做到访问资源的隔离。

首先是对外接入节点的单机流控。Object node 会限制单节点的连接数,避免连接数过多,S3 过载;第二个是多租户之间的隔离,不同租户之间的流控策略可以是不一样的;第三是租户内部。租户内部又可分为多种流控类型,比如某些业务 IOPS 比较高,QoS 流控就可以适当放宽一点。有些流业务可能是大对象,对于这种流量型的,业务可以用带宽流控,避免影响到其他业务。

CubeFS 对象存储服务的高级特性

添加图片注释,不超过 140 字(可选)

上图是目前 CubeFS 对象存储服务支持的 S3 高级特性:

**权限管控:**支持 Bucket Policy。该特性主要用在多用户之间的桶授权,或是桶公共读。比如某一个桶的一些对象,希望在互联网上的业务可以直接共享,这里就可以考虑 Bucket Policy。或者这个 Bucket 授权公共后可以有一些 CDN 缓存加速的,也可以用 Bucket Policy 公共授权。此外,该特性还支持 Bucket/Object ACL。其实 AWS S3 目前已经不太推荐用 Bucket ACL,因为它权限管控的策略某种程度上可以转化为 policy。但如果某些业务需要更细粒度的权限管控,比如桶里不同对象的权限管控粒度不一样,就可以用到 object ACL。

授权访问: 服务端生成好预签名,下载或者将上传链接下发给客户端,然后拿着链接上传或者下载就可以了。这样客户端不会感知你的 AK/SK,你也不会暴露 AK/SK。还有一种情况,手机端用的比较多的叫 STS token,可以基于你owner 的 AK/SK 和过期时间去生成一个临时的 STS token。 这个 STS token 权限非常小,只可以上传和下载特定的对象,并且是有效时间内的。

**Web浏览器:**如果希望在 Web 浏览器端访问 CubeFS,就会涉及到一个 CORS 跨域的访问问题。S3 本身就支持这种能力。

**数据保护:**去年 CubeFS 推出了对象锁定的功能,可以支持桶里面的某些对象在一定时间内不能被覆盖或者删除。对于需要归档的一些数据或一些合规数据可以用此功能。

通知机制:事件通知功能是正在做的,还没有正式发布的一项功能。你可以制定一些事件,比如上传事件,下载事件,分片上传,分片合并等,制定一些消息队列投递到里面,然后通过消息队列结果的方式,拿到这个事件。

**生命周期管理:**你可以配置这个桶某些目录的对象。比如希望 CubeFS S3 帮忙把这部分对象管理起来,某一段时间后清理掉。

**跨区域复制:**主要用在多集群的数据迁移,或是容灾备份的场景。CubeFS 部署架构是多数据中心,多 AZ 的,用户有些业务的数据要求特别高,觉得多地域,多 AZ 可靠性也达不到要求,可能就会通过跨区域复制的方式,给两个地域之间的数据做同步容灾。

添加图片注释,不超过 140 字(可选)

这是 CubeFS 对象存储的未来规划。S3 重点功能的演进包括数据、磁盘缓存、对象多版本能力、混合云管理和数据处理能力。

吴炳锡:存算引擎架构实践,Databend + CubeFS

添加图片注释,不超过 140 字(可选)

AI 时代,数据是新质生产力,也是 AI 的第一战场。而海量数据意味着海量存储与海量计算。Databend 遇到的很多用户都是因为需要大量的计算, 需要用到几万个核心,成本非常高。在海量数据下,如果只是单纯把它存起来,Data node 用量会非常大,但 CPU 和内存并不会打满。如果想做海量计算,其实是非常有挑战的。

而另一方面,现在 x86 服务器 CPU 和内存都非常便宜,很多国产服务器内存 1T 都很正常,NVME 3T 起步,SATA 盘几十 TB 也比较常见,单机容量轻松可以达到几百 TB。

在私有化部署场景中,我们发现很多部署 S3 对象存储的公司,有着大量空闲的计算和内存资源。而 Databend 的计算存储分离架构可以充分地利用这些计算资源,如果客户本身有容器化的建设能力和规模化管理能力,就可以部署 Databend 来支撑整个计算任务。

添加图片注释,不超过 140 字(可选)

Databend 的定位是一个云原生数仓,在创立之初就将对象存储作为存储层 ,这样带来的好处是可以做到按需付费,同时也不用考虑副本的概念。你只要付出普通盘八分之一的价格,就可以享受到云上多 AZ 的容灾能力,基本上不用再担心数据会挂掉。此外,它也提供数据加密功能,所有数据都是直接加密的。

在对象存储支撑方面,Databend 支持了包括 S3、Blob、MiniIO、HDFS、IPFS 在内的 20 多种对象存储协议,并且将这种能力开源了一个 OpenDAL 项目,捐给了 Apache 基金会,现在已经成为 Apache 毕业项目。很多金融公司、大企业都在使用 OpenDAL 做对象存储的访问。

在 Databend 的架构中放弃了分区理念,基于微分区,一个 block 100 到 200 M,并且在压缩之后,可以达到 10M 左右大小的文件,一份数据可以被多个集群访问。

添加图片注释,不超过 140 字(可选)

在与很多客户的交流中,我们发现客户经常遇到一些问题。比如有的客户环境中有十几个网关,遇到问题想查日志非常困难,用 ES 搞的话最多能查 15 天内的,想回溯基本不可能。还有做审计的客户,MySQL 日志动不动一天上百TB,如果遇到问题想要查询基本很困难。

Databend 解决问题的方式是通过 Databend 加对象存储,去处理海量的数据计算,可以轻松完成上亿或者百亿级别数据的计算。目前,Databend 用户中已经有单表过到万亿级别,压缩后还能达到 PB 级别,没压缩的话可能有十几 PB。在这样的存算分离架构下,你基本不用担心容量的问题,而且现在对象存储价格非常便宜,只需要付出普通盘八分之一的价格。

用 Vector 收集网关日志

添加图片注释,不超过 140 字(可选)

上图是我们近期遇到的一个用户场景,一个 S3 的网关应用,大概十几台机器,每天大概 2亿+的访问量。用户反馈现在慢了,一个具体的访问异常也要在 10多台机器上找日志, 很难了解资源的现状。我们就想知道哪个 Bucket 访问 大,都有什么在访问它。虽然对象存储本身有每个桶的访问量统计,但是想拿出一个整体视图级别的统计就做不到。我们当时建议用户把日志直接加载到 Databend 里分析,整个过程可以达到秒级,可以查出来哪些 Bucket 每天的访问量多少,每个小时的访问量多少,每五分钟的情况是什么样子。很快就定位到有哪些不该出现的访问。

这是一个蛮常见的场景,通常的架构包括数据收集获取,收集完进入 Kafka,再做数据清洗,清洗后再进 ES 或者 ClickHouse,后面再接 Kibana 进行数据分析。这个流程需要画一个非常复杂的架构图,

但现在利用 Databend+CubeFS 以一个简单化的架构就可以搞定。

添加图片注释,不超过 140 字(可选)

Vector 从前端采集完数据后,把数据转写到一个 Bucket 里面,Databend 从这个 Bucke 里面把数据加载过来,加载完就可以做一些 SQL 方面的请求和分析报表的过程。Vector 是 Data Dog 公开的一个高性能、灵活、易于配置的开源日志收集组件,用于收集、处理和传输日志、指标和事件数据。它也是基于 Rust 写的,并且也使用了 OpenDAL 来访问对象存储 。利用这套方案,亿级别或者几十亿级别的日志数据分析,基本都是秒级完成。

添加图片注释,不超过 140 字(可选)

关于存算一体的思考,推荐大家阅读上图中链接的文章。这篇文章时间很早,当时正处于互联网的 web2.0 阶段,我经常有个疑惑,架构师到底要做什么?如何把一个程序能够做到更健康、更健壮?看到这篇文章后茅塞顿开,文中提出了七个观点:按功能分割,按水平切分,避免分布式事务,异步策略解耦程序,将过程转变为异步的流,虚拟化所有层,适当使用缓存。

现在的存算分离,其实还是在虚拟化所有的层, 它可以把你的功能层化虚拟化更好地拆分,更好地扩容,甚至做功能拆分, 做到不同的服务访问不同的集群,这都属于存算分离中的一些点。当你把这些东西理解透后,你会发现存算分离是存算一体的基础。

frontend-design skills 立即下载

相关推荐

用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计研究(Matlab代码实现)

内容概要:本文围绕用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计展开研究,深入探讨了卡尔曼滤波在动态系统状态估计中的核心作用。文章系统阐述了卡尔曼滤波的数学基础,包括状态空间模型的建立、先验与后验状态估计、协方差矩阵的递推更新,以及最优增益矩阵的推导过程,确保在高斯白噪声环境下实现对系统状态的最小均方误差估计。结合Matlab代码实现,完整展示了算法从理论建模到仿真实验的全流程,涵盖系统建模、噪声设置、滤波迭代、状态更新与误差分析等环节,并通过仿真实验验证了算法在噪声干扰下对系统真实状态的高精度跟踪能力。该研究为控制工程、导航系统、信号处理及自动化领域中的状态估计问题提供了坚实的理论依据与高效的数值实现方案。; 适合人群:具备一定控制理论、概率统计基础和Matlab编程能力,从事自动化、电子信息、航空航天、机器人、导航定位等相关领域的科研人员、工程技术人员及高校研究生。; 使用场景及目标:①掌握卡尔曼滤波的基本原理及其在状态估计中的数学推导过程;②学习如何利用Matlab实现卡尔曼滤波算法并进行系统仿真与性能评估;③应用于目标跟踪、传感器融合、惯性导航、故障诊断、时间序列预测等实际工程中的动态状态估计问题。; 阅读建议:建议读者结合文中提供的Matlab代码进行动手实践,通过调整系统模型参数、过程噪声与观测噪声强度,观察滤波效果的变化,深入理解卡尔曼增益的自适应调节机制与MMSE估计的收敛特性。同时可进一步拓展学习扩展卡尔曼滤波(EKF)、无迹卡尔曼滤波(UKF)等非线性滤波方法,以应对更复杂的非线性系统状态估计挑战。

存算一体:架构创新,打破算力极限

在全球数据量呈指数级暴涨,算力相对于AI运算供不应求的现状下,存算一体技术主要解决高算力带来的高能耗成本矛盾问题,有望实现降低一个数量级的单位算力能耗,在功耗敏感的高能耗数据中心、自动驾驶等领域有望发挥其低功耗、低时延、高算力密度等优势。

渡江客涂鸦板 7876

ROG幻16Air新机避坑:Ubuntu 22.04下NVIDIA驱动、CUDA与Isaac Gym的兼容性实战

本文详细记录了在ROG幻16Air新机上安装Ubuntu 22.04,并成功配置NVIDIA驱动、CUDA与Isaac Gym强化学习开发环境的完整实战过程。针对官方文档未明确支持Ubuntu 22.04的挑战,文章提供了从驱动安装、CUDA版本选择、Python虚拟环境搭建到Isaac Gym兼容性调试的一站式解决方案,帮助开发者在新硬件上高效部署机器人仿真与训练平台。

weixin_28419039的博客 222

【硬核科普】存算一体化系统(Processing-in-Memory, PIM)深入解析

存算一体化系统PIM介绍

使者大牙ℂypher的博客 1万+

Python爬虫之爬取并下载哔哩哔哩视频

它可以爬取并下载视频文件和音频文件!亲自使用过,太好用了。

2301_80124151的博客 3万+

zynq 7010/020 AMP双核通信-Vitis2023/2024

在platform cpu1设置中添加;注意value中使用空格分开程序思路:比较简单。

weixin_43310175的博客 919

存算一体化(PIM)技术解析:从原理到AI应用实践

本文深入解析了存算一体化(PIM)技术的核心原理,探讨了其作为突破AI计算“冯·诺依曼瓶颈”的关键路径。文章详细对比了基于SRAM、DRAM和RRAM等不同存储介质的技术实现方案,并分析了PIM在终端侧AI与云端大算力场景下的具体应用实践与挑战,为开发者提供了清晰的技术选型与上手思路。

tensorflowjs6的博客 633

Cadence Sigrity

目录 一、PowerSI 1、PowerSI仿真前设置 2、PowerSI提取S参数 (1)检查叠层 (2)选择需要提取的走线和GND (3)设置端口 (4)设置提取频率和提取方式 (5)运行仿真 一、PowerSI PowerSI是一个交流分析工具,适用于频域仿真。 S参数提取 电源阻抗提取 全波参数提取 阻抗、耦合检查 谐振分析 1、PowerSI仿真前设置 打开PCB文件: 打开后如图: 设置为单色后: 仿真前的设置:

fang_yang_wa的博客 3万+

全国一体化算力网构建与智能算力多场景应用实践

“全国一体化算力网构建与智能算力多场景应用实践”聚焦算力作为数字经济核心驱动力,以政策引领推动跨地域算力资源调度与绿色低碳发展,融合异构计算、量子计算等前沿技术创新,覆盖工业互联网、元宇宙、医疗影像等多元场景,通过边缘计算、超算中心及数据中心优化算力供给,强化安全标准与能效管理,赋能智能制造、高频交易及科学计算,支撑数字化转型与高质量发展。

tiangang2024的博客 1374

C#上位机项目实战(32)——如何防止winform程序因为误操作被关闭

我们在开发的上位机软件运行起来以后,一般在右上角都有一个关闭按钮,正常情况下点击关闭按钮就能关闭软件,但是不排除我们不想关闭软件,但是因为不小心把鼠标点到了关闭按钮,如果这是一个正在生产的机器,突然关闭软件可能会导致产品损坏,那么我们如何去解决这个误操作的问题呢,本文就来讲解解决方案!

qq_34059233的博客 683

以 Cloud 为核心的设备 mTLS 证书体系:从产品需求到 OP-TEE 安全落地

本文探讨了以云端为核心的物联网设备mTLS证书体系构建方案。文章从产品需求出发,分析了云端必须采用mTLS+证书体系管理设备身份的原因,指出静态Token方案的三大缺陷:身份不可控、运营不可控和审计不可控。重点阐述了mTLS在产品中的核心功能是加密传输和双向认证,并详细列出了云端PKI、设备注册中心等必备组件。在设备侧,强调必须通过OP-TEE技术保护私钥安全,提出了一个包含密钥生成、CSR导出等功能的TA设计方案。最后,文章给出了云端端到端流程示例,说明如何将证书生命周期管理转化为可运营的产品能力,包括自

Interview_TC的博客 642

MoonBit 大型软件合成挑战赛决赛暨 Meetup 0.9 版本专场回顾

本次活动通过挑战赛决赛与技术分享的结合,系统呈现了 MoonBit 在 AI 原生开发方向上的阶段性成果。从具体项目实践到语言与工具链设计,软件合成正在逐步从单点能力走向工程化体系。随着 AI 在开发流程中的参与不断加深,编程语言与工具链正在成为支撑人机协作的重要基础设施。MoonBit 也将持续围绕 AI 原生语言设计、工程自动化与 Agent 工具链等方向推进探索,与社区共同构建面向未来的软件工程体系。

m0_74743788的博客 434

国产FPGA高云GW1NSR-4C,集成ARM Cortex-M3硬核

从板子整体角度来看,这是一款国产化程度很高的板子,从主控FPGA,到JTAG芯片,存储芯片、电源芯片等,都是使用的国产半导体公司的产品。板子整体尺寸也比较迷你,属于小而美类型的,可以认为是一款FPGA核心板,当然也预留了排针接口,给用户足够的扩展空间。对于想了解高云小蜜蜂SoC软硬件开发,以及对云源软件、MCU开发环境做个深度评测来说足够了。JTAG调试器固件可以增加虚拟串口功能,对于板子本来来说面积不会有改动,只需要添加两根信号线即可。

whik1194的博客 6409

Serverless Developer Meetup 杭州站精彩回顾!【附赠PPT】

Serverless Devs 是一个开源开放的 Serverless 开发者平台,也是业内首个支持主流 Serverless 服务/框架的云原生全生命周期管理的平台,致力于为开发者打造 Serverless 应用开发一站式服务, 帮助解决目前的工具链之困,让开发者一键体验多云产品,极速部署 Serverless 项目。

阿里巴巴云原生的博客 374

从后端角度浅谈抗辐射设计----三模冗余(TMR)

三模冗余设计(TMR),是最常用的一种容错技术,三个模块采取相同的操作,以多数相同的输出作为表决系统的正确输出,即3取2,因为三个模块是相互独立的,而其中两个模块同时出错的概率是极小的,因此便可保证系统输出的可信度。然而这个设计也会存在面积浪费,功耗的增加,而且由于是冗余的设计,在后续进行综合或者pr的时候会被工具优化,因此需要对模块进行don’t touch设置;通过增值表得到,逻辑关系表达式为:Q=(Q1&Q2)|(Q1&Q3)|(Q2&Q3),通过工艺库的stdcell进行搭建,得到如下电路。

芯冰乐 331

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

HAMi Meetup 回顾 - 清程极智|Bagualu 智能计算软件栈与性能交付

国产算力在实际落地中面临的主要问题并非仅仅是硬件供给,不能忽略的还有使用复杂度。不同厂商的软件栈和工具链差异较大,使模型适配在工程上演变为 M × N 的组合问题:模型类型多、硬件种类多、版本组合复杂,交付周期难以预测。与此同时,不同业务场景对性能指标的关注点并不一致,有的更侧重并发与吞吐,有的更关注端到端延迟或成本。当硬件精度与显存受限时,如何在精度损失可控的前提下提升吞吐、降低成本,也成为推理与训练场景中需要解决的问题。图一 bagualu 智能计算软件栈网页版运行示意。

guaguaRethink的博客 804

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

精彩回顾 | 码动泉城 · AI Meetup 济南站圆满落幕

AtomGit 坚持「开放、中立、公益」,致力于构建面向全球开发者的 AI 原生开源社区,通过代码托管、模型共享、数据集托管、智能体开发以及算力服务等能力,为开发者提供从开发、训练到部署的一站式体验。作为多次斩获 HarmonyOS 赛事奖项的移动应用开发者,他结合自身实战经验,直指当前 AI 工具的五大差距:理解是模糊的、执行是黑盒的、记忆是静态的、对中文生态不敏感、只做被要求的。许多开发者表示,通过此次 Meetup,不仅获得了 AI 开发工具和实践方法上的启发,也认识了更多志同道合的技术伙伴。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 263

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

AI 驱动下的一体化分布式数据库:滴滴、快手、中国恩菲、好未来、翼鸥教育共话创新应用实践|OceanBase Meetup 精彩回顾

经过一段时期对不同方案在稳定性、降本增效及未来发展潜力方面的严格考察与评估,最终在 2024 年做出了转向 OceanBase 的重要决策,以应对业务增长带来的压力挑战,借助 OceanBase 进一步强化了滴滴的系统支撑能力,确保为全球用户提供更加流畅、稳定的出行服务体验。随着 OceanBase 数据库的成功接入,大数据平台正不断升级优化,苟琳老师在分享中表示:未来恩菲的目标是建立一个以 OceanBase 为基础的统一数据底座,实现数据的全面治理和统一管理,以适应更广泛、更复杂的业务场景。

OceanBase分布式数据库的博客 1720

精彩回顾 | 大数据+AI Meetup 2020 第二季 ·上海站(附PPT下载)

11月1日,大数据+AI Meetup 第二季·上海站成功举办!来自阿里巴巴、DellEMC、Databricks、滴滴、bilibili、StreamNative、上海力萌的9位技术专...

weixin_45906054的博客 315

共建智能汽车数据管理方案 | 4.15 IoTDB X EMQ 主题 Meetup 回顾

4 月 15 日,IoTDB X EMQ 智能汽车主题 Meetup 在上海成功举办。工业物联网时序数据库研发商天谋科技、物联网数据基础设施软件供应商 EMQ 的两位技术大牛,深度分享了企业如何应对智能汽车制造、智慧汽车联网平台普遍面临的海量车况、车产数据“采、存、取、用”难题,与线下和线上直播中上万人次的智能汽车行业从业者与关注者,共同探讨如何让汽车生产与车联网场景下的数据“赋能”智能车辆的生产...

qin_DB的博客 538

spark 数据框 删除列_精彩回顾 | 大数据+AI Meetup 2020 第二季 ·上海站(附PPT下载)...

简介:开源届前浪后浪全员凶猛,合体也成为主流。此次 Meetup 分享了 Flink 和 Iceberg,Flink 和 Hologres,Flink 和 Pulsar 的深度融合探索实践、Spark 高性能向量化查询引擎解析、热度冲天的数据湖存储架构选型、bilibili 和滴滴的 kafka 平台优化方案;还 有Elasticsearch、开源流式存储系统 Pravega 的企业级实践。11月...

weixin_39550410的博客 150

活动回顾 | AutoMQ 联合 GreptimeDB 共同探讨新能源汽车数据基础设施

7 月 13 日,AutoMQ 携手 GreptimeDB**“新能源汽车数据基础设施”** 主题 meetup 在上海圆满落幕。本次论坛多角度探讨如何通过创新的数据管理和存储架构,提升汽车系统的性能、安全性和可靠性,从而驱动行业的持续发展和创新,涵盖 AutoMQ 多模态共享存储架构、长城汽车多云多活架构的实践与探索、G...

weixin_41390006的博客 103

[Recap] Apache Pulsar Meetup | 深圳站

转载自 StreamNative 微信公众号 [Recap] Apache Pulsar Meetup | 深圳站 作者:Susan 编辑:Susan + Anonymitaet 2019 年 6 月 29 日, Apache Pulsar 开启中国之旅第四站,在深圳成功举办了第一场 Apache Pulsar Meetup。本次分享的主要内容为: Apache Pulsar 简介和...

Apache Pulsar 799

洛雪音乐音源新手指南:3 个免费音源,快速配出完整 FLAC 无损方案

洛雪音乐音源合集是持续更新的免费音源仓库,适合不想续费会员、想在 LX Music 里听 FLAC 无损的用户。新手音源推荐组合直接给出:全豆要聚合音源 v9.7 打底,长青SVIP音源 v1.2.0 补全平台无损,念心音源 v1.0.1 兜底备用。 ## 一、快速上手:30 秒内先把歌放出来 洛雪音乐客户端自身不存歌,你输入歌名后,由已启用的音源去酷我、酷狗、QQ音乐、网易云、咪咕拉回播放地

gitblog_00643的博客 436

数据架构新篇章:存算一体与存算分离的协同演进

数据架构新篇章:存算一体与存算分离的协同演进

ith321的博客 5634
上一篇: 在 Confluent Cloud 上使用 Databend Kafka Connect 构建实时数据流同步
下一篇: 解析云上实时数仓的挑战与实践 | Databend @DTCC 2024 演讲回顾
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值