⾯向现代分层存储的 Caching 技术漫谈|Data Infra 研究社第十九期(含资料发布)

从 Data Infra(数据基础设施)到 AI Infra(人工智能基础设施)的华丽跃迁 摘要:从数据基础设施(Data Infra)到人工智能基础设施(AI Infra)的转变不仅是技术升级,更是理念和架构的跃迁。Data Infra关注数据治理,强调稳定性和吞吐量,而AI Infra聚焦智能创造,需要高效调度算力、优化性能并管理实验。技术栈从CPU转向GPU/TPU,调度层从Hadoop YARN转向Kubernetes,数据层新增向量数据库。成功实现跃迁需统一认识、融合平台、构建特征平台、自动化工具链及培养复合型团队。这一变革让企业从"拥有数据"升级为"运用数 阅读详情

上周六(7月13日),第 19 期 Data Infra 研究社直播活动与大家见面了。本次活动我们邀请到了 Databend 研发工程师-尚卓燃,为大家带来了一场主题为《面向现代分层存储的 Caching 技术漫谈》的分享。通过卓燃的分享,我们深入理解了面向现代分层存储的 Caching 技术,并学习了机器学习如何影响缓存的设计与应用。

本次活动回放可在 B 站上找到: 🔗 面向现代分层存储的 Caching 技术漫谈 | Data Infra 第 19 期_哔哩哔哩_bilibili 《 面向现代分层存储的 Caching 技术漫谈》

此次活动的讲稿和相关资料都可以在 Data Infra 第 19 期的 PDF 文件中找到: 🔗 https://github.com/databendcn/data-infra/tree/main/第19期-20240709

以下为全文回顾:

大家好,我是 Databend 研发工程师尚卓燃,很长时间没有在 Data Infra 和大家见面了,今天给大家带来的分享是《面向现代分层存储的 Caching 技术漫谈》。 Caching 其实就是缓存,在像 Databend 这样的大数据处理系统中是非常常见的一项技术。但在最近几年的研究中,出现了一些新的 Caching 设计趋势,包括一些和机器学习结合的方案,本次分享会围绕一些相关论文进行展开。

Part 1 Caching vs. Tiering

在复杂的分层存储模型中,不同层级的存储设备(如内存、闪存、机械硬盘、远程存储、磁带机等)共同构成一个金字塔式结构。每一层的设计和算法需要考虑不同层级带来的性能影响和数据移动策略。 为了简化讨论,我们可以将分层存储模型抽象为两层:

  1. 容量层:容量大、速度慢、价格低廉,适用于大量数据的存储。
  2. 性能层:容量小、速度快、价格高,适用于存放热数据来优化数据访问路径的性能。 分层存储的目标可以看成是通过少量的高性能存储设备提升整体性能,并且控制存储系统的整体拥有成本。 

缓存(Caching)和分层(Tiering)是两种优化数据存储和访问性能的重要技术,在过去几十年来被广泛应用在各种数据处理系统之中,它们都需要在高性能存储设备上保存高频访问的数据,以提高系统的整体性能。 Caching 是将数据从容量层复制到性能层,并逐出最不常用的对象。数据移动粒度较细,在性能层保留热数据的副本。Tiering 将数据从容量层移动到性能层,通常以较长周期运作,数据移动粒度较粗。容量层和性能层共同组成完整的数据集。 那缓存和分层到底有哪些区别?

  1. 数据移动方式:
    • 缓存:数据从容量层复制到性能层,容量层保留完整的数据副本。
    • 分层存储:数据从容量层移动到性能层,容量层加性能层共同构成完整的数据集。
  2. 数据移动频率:
    • 缓存:数据移动频率较高,粒度较细,能够及时响应动态工作负载。
    • 分层存储:数据移动频率较低,粒度较粗,通常以几天或几个小时为一个周期。
  3. 应用场景:
    • 缓存:适用于需要快速响应的系统,如高频访问的Web应用、实时数据处理等。
    • 分层存储:适用于需要优化存储成本和性能的系统,如大规模数据存储、数据湖等。 

经典数仓和现代云数仓都可以简化为「本地-远程」的分层存储模型,不管是 Caching 还是Tiering,都有几率取得最大化的性能效益。 在过去基于 HDFS 的一些经典数仓相关的论文中,基于 Tiering 的技术已经得到广泛讨论。但是现代基于对象存储设计的云数仓,Caching 比 Tiering 得到了更为广泛的应用。 现代云数据仓库(如 Databend 和 Snowflake)的分层存储结构中,通常包括内存、SSD、远程对象存储三层。常规做法是在内存中缓存元数据和计算结果,在 SSD 上缓存当前处理的数据副本,在远程对象存储上长期存放所有数据(比如归档数据)。此外,部分结果集也可能会被放置在对象存储之中,由于计算花费的时间远远超过数据存取的时间,这部分也可以视作是 Caching 技术的应用。

Tiering 采用固定周期移动数据,可能某种程度上比 Caching 更经济。那么,为什么现代云数仓,在设计决策上广泛采用 Caching,而不是 Tiering?

  1. 经济性:
    • 使用云厂商提供的对象存储和 EBS 等服务,不需要更多的人力,不需要采购硬件,也不需要定期更新硬件,结合云上灵活的按需按量的计费机制,整体维护成本可能更低。
  2. 云原生环境的弹性实例:
    • 弹性实例的临时唤起和关闭使得决定分层存储的时机变得复杂。而 Caching 技术则无需考虑复杂的分层时机,每次未命中时直接缓存数据,机会成本比 Tiering 更低。
    • 由于 Tiering 相当于数据发生移动,在实例的生命周期终止以后,数据管理和完整性的保障会成为新的挑战;而 Caching 允许直接将对应的性能层空间释放,运维更加方便。
  3. 多租户和动态工作负载:
    • 不同业务场景和不同租户之间的工作负载差异大,缓存技术能更灵活地应对动态和多变的工作负载,而针对不同的特征去制定分层存储的策略实施难度较大。
  4. 存储层次化结构的变化:
    • 现代快速存储硬件缩小了存储层之间的性能差异,从过去的百倍到现在可能不足十倍。缓存由于在容量层会保持全部数据,可以在性能瓶颈时直接将请求转发到容量层,能够更加充分利用容量层的硬件性能。而 Tiering 技术中,对性能层的请求无法直接转发给容量层,造成系统整体资源的浪费。 所以说 Caching 比 Tiering 可能会是一个更好的方式。

Part 2 范式迁移:LRU-like vs. FIFO-like

近年来,缓存逐出算法经历了一次范式迁移,从传统的 LRU-like(最近最少使用)算法向 FIFO-like(先进先出)算法转变。这些算法各有优劣,本文将探讨它们的评价标准、表现及应用场景。 通常情况下我们会从五个维度去评价缓存算法:

  • 高效性:高效性是指缓存的未命中率越低,这个缓存设计越高效。未命中率反映的是最后向存储后端发起请求的比例。向容量层发起的请求越少,就说明绝大多数热数据都在性能层里面,有利于优化系统整体性能。此外,考虑到缓存设计目标的不同,有时也会考虑对象大小对缓存的影响,此时可能会使用字节未命中率作为指标。
  • 吞吐量:每秒钟能够处理的请求数量越多,说明缓存的设计越有效。
  • 可扩展性:现在除了一些嵌入式环境外,现代处理器大多具备多核多线程能力。缓存性能应随着 CPU 核心和线程数的增加而提高或者至少不衰退;如果性能反而下降,则可能不适合高并发的环境。
  • 闪存友好性:尽管大多数围绕缓存的讨论都使用内存作为介质(性能层),但是很多现代的数据中心和应用都使用闪存作为缓存层的介质,包括像谷歌的对象存储,Facebook 的 CacheLib。由于闪存寿命有限,要尽可能减少对闪存的写入次数和写放大效应,设计对闪存更友好的缓存算法。
  • 简单性:影响缓存技术应用的重要因素之一是缓存设计的简单性,尽管针对不同系统已经设计了大量的高级缓存算法,但是难以实现和迁移到其他系统之中。简单的算法(如 LRU 和 FIFO)易于设计和实现,得到了最为广泛的应用;而复杂的机器学习算法可能面临实施动力不足的情况。 

     LRU-like 是最常见的缓存逐出算法,Databend 现在使用的也是非常经典的 LRU 优化实现。LRU-like 被广泛使用是因为数据的访问会呈现出一定的局部性和访问特征,最近使用或者最频繁使用的数据可能会具有更高的重用机会。研究表明,LRU-like 算法在高并发访问下的性能是有缺陷的,可以采用一些优化的设计去弥补这一缺陷,比如对冷热数据再进行二次分区,或者添加 FIFO 结构。 FIFO-like 常见于闪存上的缓存,因为这类算法写入顺序和逐出顺序是一致的。相比 LRU-like 算法,写放大更少,对闪存寿命比较友好。为了改善可扩展性,也有一部分系统(如 RocksDB)选择将内存层上的缓存迁移到 FIFO-like 算法上。这里比较经典的是 FIFO-Reinsertion,将访问过的对象重新插入缓存。这个算法和 CLOCK 时钟替换算法是同一个算法的两种不同的描述形式。 近年来也提出了像 S3-FIFO 这样比较先进的 FIFO-like 算法,设计时应用了一些对工作负载和访问模式的关键洞察,取得了比较好的效果。 

那么怎么区分 LRU-like 和 FIFO-like?

通常情况下我们认为 LRU-like 算法,会在缓存命中时候去执行一个解链操作。当命中率变得很高的时候,解链操作发生地越来越频繁,会对性能造成比较大的损害。从而呈现出一种反直觉的模式,即缓存命中率升高,但是系统性能反而下降了。像 LeCaR 是基于强化学习的算法,因为它使用 LRU 和 LFU 作为基本构建块,所以它会自然地被分类到 LRU-like 算法。 FIFO-like 的算法在缓存命中时,不需要更新全局的数据结构。如果应用排队模型去看的话,增加命中率不会影响瓶颈设备上面的队列的长度,对性能释放友好。FIFO-like 算法可以归纳成下面两类:

  • 第一种类型的算法使用 FIFO 作为基本构建块,例如 CLOCK 变体,S3-FIFO,QDLP 和 SIEVE。

  • 第二种类型的算法没有全局数据结构,而是使用随机抽样来选择驱逐候选者。例如 LHD,LRB 和 Hyperbolic。因为这些算法不维护全局数据结构,所以它们永远不会受到缓存命中的限制,因此吞吐量总是随着命中率的增加而增加。 

     上面的图中总结了范式从 LRU-like 到 FIFO-like 迁移的原因,可以看作是对前面内容的一个简单总结。 既然 FIFO-like 算法这么好,为什么过去在内存缓存中没有得到广泛应用? 我们考察算法的时候,往往使用命中率作为关键指标。FIFO-like 在很多场景下表现不佳,但是近年来的一些对工作负载的大规模研究表明,像 FIFO-Reinsertion 这样采用 Lazy promotion 设计的 Weak LRU ,在整体上可能比 LRU 更具优势。像 Lazy promotion 和 Quick Demotion 这种缓存设计范式的引入,可以指导我们设计更加高效和高性能的 LRU-like 和 FIFO-like 算法。现代的 FIFO-like 算法的命中率在一些工作负载上,也能够达到最先进的水平。比如像 S3FIFO 在对象存储或者 CDN 之类的场景,SIEVE 在 Web 相关的缓存上。 

     那什么是 Lazy promotion 和 Quick Demotion?从上图可以比较清晰和直观地感受到几种不同范式的区别。 Lazy Promotion 是对象仅在驱逐时进行 Promotion。比较典型的技术就是重新插入:如果对象自上次插入缓存以来被请求过,那么在逐出时考虑将其重新插入缓存。具有懒惰促进的 FIFO 可以看作是 LRU 的近似。 Quick Demotion 考虑到等待新对象通过队列的机会成本可能很高,因此在插入后将大多数访问机会不大的对象快速移除会更为实际和有效。典型的 Quick Demotion 实现会在主体算法前添加一个小的 FIFO 队列,如果说在这个小队列中没有被访问过,就将该对象逐出。常用的准入算法也可以被视作是更激进的 Quick Demotion。但由于它们更激进,表现往往会显得更差一点。 

     这张图里是两个非常接近的算法,一个是 SIEVE,一个是 FIFO-Reinsertion。SIEVE 和 FIFO-Reinsertion 其实很类似,如果说它在这个期间内对象被访问过,那么我们就考虑将它保留在缓存中。 二者的不同在于:

  • SIEVE 中的对象保留在原位置,指针不断前移处理较新的对象,幸存对象聚合。

  • FIFO-Reinsertion 对象重新插入队列头部,新老对象会混合在一起。 这样一来,SIEVE 其实提供了类似 Quick Demotion 的机制,使它在寻找新的受欢迎对象和保留旧的受欢迎对象之间,取得一个比较好的平衡。 通过对缓存算法的优化和范式迁移,现代数据处理系统能够更高效地应对动态工作负载,提升整体性能。

    Part 3 缓存与机器学习

    在过去的研究中,缓存系统与机器学习模型的结合已经得到了广泛讨论。比较典型的方式是使用监督学习,采用回归的方式来预测某个效用函数,将效用最小的对象逐出。 基于机器学习的缓存系统面临两个主要挑战:

  • 机器学习模型的开销:引入机器学习模型需要频繁训练和更新,以适应最近的访问模式。预测操作也可能带来显著的开销。

  • 元数据管理的开销:无论是用于推测工作模式,还是选择最优策略,均需要维护大量元数据。 

     机器学习与缓存的结合主要有两种形式:

  • 一种是使用机器学习来改进缓存算法的设计,即帮助选择缓存中需要保留或者逐出的对象。

  • 一种是使用机器学习来选择更加适合当前工作负载的缓存算法。 

     例如,LRB(Learning-based Replacement)利用多个对象特征来预测对象的下一次访问时间,并逐出预测中预计请求时间最远的对象。引入更多特征(超过40个)可以提高预测的准确性,但也增加了内存和计算开销,限制了其在资源有限、需要高吞吐量环境中的应用。 改善性能的简单方法包括攒批处理(batch processing),即将多个对象统一处理,但性能仍受机器学习干扰较大。使用提升树模型的方式本身计算开销就比较大,攒批后,每次训练和预测可能需要几毫秒甚至几十毫秒,因此在关键访问路径上进行预测并不现实。 

     策略选择上,使用多臂赌博机模型(Multi-Armed Bandit)的强化学习方法比较流行,如 LeCar 和 CACHEUS。这些方法的缺点包括:

    • 适应性依赖:算法表现依赖于维护的简单方法对工作负载的适应情况。如果适应情况不佳,算法表现就会较差。LeCaR 只能覆盖两种组合(LRU 和 LFU),而 CACHEUS 通过设计新算法对抗扫描和循环工作负载,扩展了适应范围。

    • 延迟奖励问题:使用强化学习时可能遇到延迟奖励问题,导致对工作负载的实时适应性差,从而降低命中率。 基于监督学习的方法,如 FTRL 和提升树,在 CDN 缓存相关研究中被广泛应用。针对这个场景,性能不再是关键问题,因此更适合策略选择。但不管是哪种方式,都对元数据的采集和维护带来了一定的挑战。 机器学习在缓存系统中的应用展示了其潜在的性能提升能力,但也面临显著的开销和管理挑战。通过优化特征选择、批处理和策略选择等方法,可以在一定程度上克服这些挑战。然而,机器学习模型的复杂性和资源需求仍然限制了其在某些环境中的应用。未来的研究需要继续探索如何在高效性和可扩展性之间取得平衡,以实现更优的缓存性能。

      Part 4 学习型缓存: 迈向轻量级和低开销

      在现代高并发、高吞吐量的内存环境中,学习型缓存系统的研究正在向轻量级和低开销方向发展。为了适应实时工作负载的变化,我们需要减少元数据的维护量,并提升机器学习模型的效率。 近年来,学习型缓存研究的重点从单纯追求命中率转向了吞吐量和扩展性。研究者们在特征维护上更加注重内存资源的高效使用,努力在轻量级和低开销的前提下实现学习型缓存。 

       首先比较值得学习的一个方式是 group level learning,之前在 Databend 公众号推送过关于 GL-Cache 的一篇解读。缓存系统可以按组积累学习信号,将学习和预测成本分摊到组内各个对象上。这种方法的优点是减少了计算和存储开销,但其实现非常复杂,且吞吐量受训练和预测频率的影响。 论文中提到的实现方式是每天训练和预测一次,每次耗时几十毫秒。这种频率虽然避开了关键路径,但实时性较差,适用于相对稳定的缓存工作负载。尽管如此,该设计展示了 group level learning 在减少开销方面的潜力。 在 GL-Cache 之后,可以看到很多相似的研究把 group level learning 的理念融合进去,做 block 级别的分组分帧的方式,然后应用到缓存系统中。 

       另一种有趣的方法是结合启发式算法来减少训练和预测的样本数。例如,MAT(Machine Learning At Tail)算法在启发式算法的尾部引入机器学习,将启发式算法作为过滤器。只有在最终逐出对象时才进行预测和决策,减少了模型的频繁调用。 MAT 算法的一个特点是,当机器学习模块成为瓶颈时,可以仅使用启发式算法以保证系统整体性能。然而,由于 MAT 主要依赖 LRU 或 LRU-like 算法,其可扩展性受到一定限制。 

       利用 Sketch 进行特征管理是另一个有潜力的方向。Sketch 技术在缓存中并不罕见,如 Tiny LFU 和 Bloom 相关算法已经有所应用。在学习型缓存中,利用 Sketch 可以有效减少元数据的维护开销,提升系统效率。上图中的例子来自 ALPS ,它首先将访问流分割成帧,并使用 Sketch 作为先前识别到的启发式缓存模式的简明结构化表示(包括频率、最近性等),再应用机器学习来预测后续帧最适合的启发式缓存策略。在每个帧结束时,压缩和结构化信息被输入ALPS中,然后ALPS将预测的最优策略应用于下一个帧。ALPS 在理论上具有低计算开销和高吞吐量,但其实验是在高性能DGX服务器上进行的。 现代学习型缓存系统正在向着轻量级和低开销方向发展,以适应高并发、高吞吐量的需求。通过引入 group level learning、结合启发式算法和利用 Sketch 管理特征,研究者们在减少计算和存储开销的同时,努力提升缓存系统的实时性和扩展性。这些创新方法展示了在复杂环境中,学习型缓存系统的广阔应用前景。

      Part 5 遗珠之憾

在最后一个部分,我们将会尝试涵盖一些在前面的部分中没有得到讨论的一些内容。 

 缓存系统中,逐出算法往往被视为关键,但准入算法同样重要。准入算法决定哪些数据应该进入缓存,尤其在数据量达到一定规模时显得尤为重要。准入算法可以是主动式或被动式。在大型数据库系统中,主动式准入策略允许我们选择特定的表进行缓存,从而显著改善系统性能并减少写入磁盘的请求。准入算法通常可以被视作更加激进的 Quick Demotion 。 启发式算法中有两个高效的准入算法:Tiny LFU 和基于窗口的 Tiny LFU,比如 Rust 实现的 Moka 和 Java 实现的 Caffeine 。这些算法在许多场景中被视为通用且优越的替换算法,展示了准入算法的潜力。然而,一直以来都比较缺乏明智的准入策略,现有的准入算法可能无法达到最佳未命中率。 例如,在 LRU 前加一个 Bloom 过滤器可以在第一次请求时拒绝对象,直到第二次请求时才考虑将其准入缓存。这种方法对抵抗扫描——过滤仅访问一次的数据有较好的效果,但忽略了访问的局部性,即对象的下一次请求可能很快发生。因此,使用 Bloom 过滤器的 LRU 未命中率通常不如 LRU。 

 跨层缓存算法的设计是一个值得探讨的方向。FIFO-like 算法趋势可能导致同一种算法在内存和磁盘中同时使用,这简化了系统中缓存算法的维护。然而,不同介质之间的数据交互和特征差异需要进一步整合。例如,在三层缓存系统中(内存、磁盘等),我们需要一种方法同时管理热数据和温数据,使其更好地跨不同介质工作。 目前,跨层数据交互的研究较少,但这是未来设计和实现缓存系统时必须考虑的方向。如何优化不同缓存层之间的数据交互,将是提升系统性能的重要途径。 准入算法和跨层缓存算法是缓存系统中重要但常被忽视的部分。通过优化准入策略和设计高效的跨层缓存算法,可以显著提升系统性能和资源利用率。未来的研究应继续关注这些方向,以实现更智能、更高效的缓存系统。

关于 Databend

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

👨‍💻‍ Databend Cloud:https://databend.cn

📖 Databend 文档:Databend

💻 Wechat:Databend

✨ GitHub:GitHub - datafuselabs/databend: 𝗗𝗮𝘁𝗮, 𝗔𝗻𝗮𝗹𝘆𝘁𝗶𝗰𝘀 & 𝗔𝗜. Modern alternative to Snowflake. Cost-effective and simple for massive-scale analytics. https://databend.com

data-infra-notes:我记下的笔记有关有关数据基础设施的文章,书籍和其他资源 数据注释 我在笔记中提到了有关数据基础结构的文章,书籍和其他资源。 灵感来源: : 文件SYS: 亚马逊S3 S3存储类: 一般用途 很少访问 档案 生命周期策略可以迁移黑白存储类->无需更改应用程序代码 S3既不是块存储也不是文件存储。 例如,您不能在S3上进行远程挂载,因为它不是文件系统 无需容量规划 默认情况下,每个帐户只有100个存储桶 对象最多可达到5TB S3是文件类型的激动人心:在S3眼中,一切都是字节流 S3操作: 创建/删除存储桶 写一个对象 读取对象 删除对象超级用户可以为此启用MFA 列出存储桶中的键支持前缀和定界符 S3具有99.999999999%的耐用性和99.99%的可用性S3最终是一致的S3操作是原子的 访问控制列表(ACL): 允许细粒度的访问控制(读取,写入,完全控制) 使用S3的静态虚拟主机: 名称与所需网站主机名相同的存储桶 将静 立即下载

相关推荐

data_infra_repo:POCdev数据基础结构的集合。 | #DE

data_infra_repo 在Data infra build “ Daas(数据即服务)存储库”的一部分时,该项目展示了如何从头开始通过Docker构建DS / DE环境。 将侧重于:1)通过实际使用案例进行系统设计2)Docker,程序包和库的环境设置3)测试,登台以及产品开发/部署工作流开发(可能是CI / CD风格) Daas(数据即服务)存储库:-> -> Airflow Heroku演示: Mlflow Heroku演示: 档案结构 # ├── README.md # ├── build.sh # ├── celery_redis_flower_infra # ├──

【亲测免费】 探索前沿数据基础设施:data-infra/infrastructure

探索前沿数据基础设施:data-infra/infrastructure 项目简介 是一个开源项目,它专注于构建和维护高效、可靠的数据处理和分析基础设施。该项目旨在提供一套工具和技术栈,帮助数据工程师、科学家和分析师更便捷地管理和操作大数据。 技术分析 容器化部署:项目采用Docker和Kubernetes进行服务容器化和集群管理,保证了环境的一致性和资源的高效利用。 流式处理:使用Apa...

gitblog_00073的博客 921

使用GDScript(godot)生成仿杀戮尖塔地图

使用GDScript(godot)生成仿杀戮尖塔地图 extends Node2D export (PackedScene) var Ball var 被连接数 = {} # 每个怪物被下层怪物连接的数量 最多为2 var 连接1 = {} # 第一次连接的上层怪物位置 var 连接2 = {} # 第二次连接的上层怪物位置 var 怪物数量 = [0,0,0,0,0,0,0,0,0,0,0,0,0,0] # 每层怪物的数量 var 总层数 =8 # 总层数 var 怪物坐标行 = {} #

weixin_45038716的博客 3015

云原生数据库 | Data Infra 第 10 期

时隔3个月,Databend 将于在线上开启的活动!,欢迎各位小伙伴扫码报名参与。本期我们特别邀请了和,将与大家分享关于《云原生数据库》的相关知识。内容丰富,干货满满!扫描上方二维码或点击文末「阅读原文」即可报名直播最后还会抽取幸运儿送出我们的独家礼品:Databend **限量周边 T-shir*t*!**(名额 3)

Databend的博客 205

【2025年五一数学建模竞赛】A题 完整论文 模型建立与求解

2025年五一数学建模竞赛 A题:基于历史数据与模式识别的道路车流量推测模型研究

Magnolia_He的博客 3784

Dinic算法的复杂度分析及证明

一般图 复杂度主要取决于dfs增广的过程。 将dfs部分的复杂度分成两部分来分析:1)修改增广路上边的流量。至多会增广mmm次,一条增广路的长度至多是nnn,所以这一部分的复杂度是O(nm)O(nm)O(nm)。2)dfs遍历时找增广路失败时经过的边。由于一旦从某条边出发找最短路失败了,我们就不会再走那条边(当前弧优化),所以这一部分的复杂度是O(m)O(m)O(m)的。故而dfs增广的复杂度是O...

这个博客已经搬到了:zhongyuwei.github.io 4393

面向 Data+AI 的统一数据目录探索 | Data Infra NO.22 回顾(含资料发布)

随着生成式人工智能(Generative AI)的崛起,从图像生成、自然语言处理到个性化推荐系统,生成式 AI 技术正迅速改变着各行各业的面貌。而在这场变革背后,数据的管理和治理显得尤为重要。对于企业来说,数据不仅是基础资源,更是构建 AI 应用和增强业务能力的关键。Apache Gravitino(incubating) 与 Databend 作为数据领域两个知名的开源项目,正通过各自的创新技术和实践,为数据管理和 AI 应用的深度融合开辟了新的路径。

Databend的博客 1158

别再手动找触点了!EPLAN线圈触点映像的3种显示方式与F键/Ctrl+B快捷键实战

本文详细解析EPLAN线圈触点映像的3种显示方式与F键/Ctrl+B快捷键实战技巧,帮助电气设计工程师提升图纸操作效率。通过精简编号、路径栏显示和元件旁可视化三种模式的应用场景对比,结合快捷键肌肉记忆训练法,实现触点快速定位与管理,大幅减少手动查找时间。

weixin_42522964的博客 481

传统Data Infra已失灵?共探Gen-AI时代下Data Infra的破局点

摘要:在外滩大会"Gen-AI时代下DataInfra重构与机遇"圆桌中,专家指出AI时代数据基础设施面临三大变革:从结构化到非结构化数据处理(90%数据)、计算范式从SQL转向智能检索、使用方式从专业工具转向自然语言交互。新一代Lakehouse架构需具备双引擎协同、非结构化存储和智能检索能力。平台方应构建"数据神经中枢",实现元数据统一管理与可插拔引擎。实践建议包括:聚焦细分领域价值、投资核心数据资产、快速落地应用场景。AI时代数据平台将催生百倍增长机遇,成为连接

yunqitech的博客 756

HarmonyOS应用开发者基础认证

B. 自定义组件:可复用的 UI 单元,可组合其它组件。D. 内置组件:ArkTS中默认内置的基本组件和布局组件,开发者可以直接调用,如Column、Text、Divider、Button等。E. 属性方法:用于组件属性的配置,统一通过属性方法进行设置,如fontSize()、width()、height()、color() 等。在Column和Row容器组件中,justifyContent用于设置子组件在主轴方向上的对齐格式,alignItems用于设置子组件在交叉轴方向上的对齐格式。

牛肉胡辣汤 3824

从零开始学习AI人工智能本体论:概念与实战

本文旨在为初学者提供一个全面而易于理解的人工智能本体论入门指南。我们将覆盖从基本概念到实际应用的全过程,帮助读者理解本体论在AI系统中的核心作用。核心概念与联系:介绍本体论的基本概念和原理核心算法与操作步骤:详细讲解本体构建和推理方法项目实战:通过实际案例展示本体论的应用实际应用场景:探讨本体论在不同领域的应用未来发展趋势:展望本体论在AI领域的前景本体论(Ontology): 在AI中,指对特定领域概念及其关系的明确形式化描述。

AI智能探索者的博客 870

【上海】Data Infra Meetup(12/22)

数据创造价值!数据深刻改变了许多传统行业的盈利和营销模式,其背后基础架构技术的演进,也深刻决定了我们的处理数据的效率与洞察数据本质的能力。 PingCAP和示说网(SlidesTalk)发起的Data Infra Meetup,邀请了来自宝尊电商,阿里云,PingCAP的资深工程师同行,一起来探讨大数据开源框架TiDB和Apache Spark在SQL层面的执行原理,优化方案,以及电商数据的技术解...

weixin_42852136的博客 394

多角度模板匹配的模板创建技巧

基于形状的模板匹配多角度创建技巧

manuoo的专栏 3403

突破 2048×2048 限制:开源豆包无水印下载插件深度解析

本文剖析了当前主流开源工具如何绕过豆包AI生成图片的水印限制,通过API逆向解析、网络请求劫持与页面元素重叠等技术,实现2048×2048高清无水印原图一键下载。重点推荐doubao-nomark等活跃项目,强调其支持图片视频批量下载、本地部署安全可控。同时提醒用户:工具依赖平台接口稳定性,存在失效风险,且仅限个人使用,商业用途需授权。建议优先自托管以保障隐私安全。

下载资源或查看教程前,请务必阅读置顶的《免责声明》 445

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

python开源好项目

优先看 cszmzh/taobao-data-analyze:它的 SpringBoot + Vue 架构与你最契合,可以帮你快速理解如何将 Python 的分析结果嵌入到你熟悉的全栈体系中。值得一看的点:它的 advisor.py 模块实现了具体的调价规则,比如“竞品价 < 本店售价 × 0.90 时建议降价”,你可以直接参考或修改这些业务逻辑。分析内容:使用百万级的淘宝用户行为数据集,进行 AARRR 模型分析、RFM 分析以及各个环节转化流失分析,正好对应了你提到的“看看用户在哪个环节流失了”。

在技术领域里形成深刻,全面的认识,知道来龙去脉,深入浅出的讲到实用点。 338

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

DeepSeek 把官方聊天前端开源了,零后端纯静态还兼容 Anthropic API

最近想给手头的 agent 工作流配一个能自己改的对话界面,DeepSeek 官方这次直接把自家 App 的壳开源了,协议细节全是现成答案。本周 Top5:astryx(+13,501)、sherlock(+10,412)、skills(+6,077)、OpenMausBot(+5,463)、elephant-goldfish-model(+5,060)。

Kaiji1126的博客 309

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

优雅草2026年10个开源鸿蒙工业软件项目五详解:鸿蒙星闪旋转设备振动监测节点

本项目聚焦旋转设备振动监测“最后一米”难题,基于开源鸿蒙与星闪技术,打造低功耗无线振动节点。采用ADXL355高精度传感器,5分钟周期采集3.2kHz原始波形,通过星闪上传至网关,由网关侧完成FFT分析、特征提取与基线对比,实现故障早期预警。打样目标包括16位采样、≥2周续航、丢包率可测,交付2个磁吸/螺栓节点及网关分析固件。未来将拓展至“振动+电流”双维监测,推动工业预测性维护在水运、排污等场景的低成本普及。

一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8 215

openEuler 汇聚开源力量,深化系统级创新,构筑 Agentic Infra 坚实底座

11月14日,openEuler Summit 2026(以下简称“大会”)在北京中关村国际创新中心圆满落幕。大会由开放原子开源欧拉(OpenAtom openEuler,简称“开源欧拉”或“openEuler”)社区协同产业伙伴共同主办,集中展示openEuler在超节点与Agentic Infra领域的技术创新、社区建设和生态合作,吸引社区开发者、企业代表和学术界专家共同参与。

GZZN2019的博客 175

为什么需要软件制品库,以及开源制品数据有什么用

构建失败、版本不一致等问题,根源常在于忽视软件制品的管理。虽代码受控,但依赖包、镜像等制品缺乏统一存储与追踪,导致重复下载、环境差异、漏洞难查。建设制品库可缓存依赖、保障构建一致性,结合SBOM、PURL、OSV等数据,实现组件身份、依赖关系、许可证与漏洞信息的全链路追溯。通过关联代码提交与构建记录,支持长期维护、安全审计与快速排查。从统一依赖入口起步,逐步完善制品治理,才能真正实现可复现、可信赖的交付体系。

啊不行了,要长脑子了 201

开源AI桌面助手哪个好?5类项目的能力、许可证与部署选型

从开源范围、产品定位、任务执行、模型接入、部署方式与许可证六个维度做一次横向梳理如果你正在寻找一款开源 AI 桌面助手,可能已经在 GitHub 上看到过不少项目。有些项目能够连接多个大模型,有些能够读取本地文件、执行命令,还有些可以调用浏览器、操作电脑,甚至让多个智能体协同完成工作。但这些项目并不完全属于同一类产品。例如,有的只是一个多模型聊天客户端,有的是能够直接执行任务的 AI Agent,还有的属于本地部署的 AI 管理平台。

sykdjs的博客 268

让 Electron、Windows 桌面应用也能直接调用 uniCloud:unicloud-sdk 开源发布

摘要(148字): 为解决 Electron、Vue/React 项目及 Node.js 环境无法直接调用 uniCloud 的问题,开发者开源了 @yungot/unicloud-sdk。该 SDK 支持云对象、云函数、存储与登录态管理,兼容 Windows 桌面应用,通过设备身份签名与宿主桥机制保障安全,实现与 uni-app 一致的调用体验。已通过真实项目验证,支持 TypeScript、零依赖,适用于非 uni-app 场景的 uniCloud 接入。

IT开发 261

Windows 本地部署 Nexent 全流程实录:3 个坑的成因与解法,50 分钟跑通 13 个容器

最近,华为把零代码智能体平台 Nexent 开源到了 AtomGit 上,归在魔擎社区(ModelEngine)名下。它的口号是"一个提示词,无限种可能",在工作台用自然语言描述需求,平台直接产出可运行的智能体,不用画流程图,也不用写代码。看到这个定位,我决定在自己的 Windows 机器上完整跑一遍部署。

鸽芷咕的博客 1万+

开源虚拟机与桌面虚拟化工具离线镜像合集

本集合汇总等开源虚拟机与桌面虚拟化相关离线包。不重分发 Oracle VirtualBox 专有二进制(PUEL),侧重 FOSS 生态与文档说明包。

243

关于优雅草科技十大开源工业软件实验验证与中试报备的流程说明

优雅草科技将于2026年11月发布10款基于鸿蒙+星闪+海思的国产工业开源软件,计划12月至1月完成样机打样与实验室验证。项目涉及高精仪器测试,需依托成都五家实验室分阶段开展结构打样、产线模拟及专项测试(如视觉同步、EMC干扰、配电柜环境等)。完成后,将向“工业软件中试验证平台(成都)”提交材料,进行中试报备与产品上架,推动软件从“能用”迈向“好用”。

一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8 201

【字节拥抱开源】Cola2:用连续隐变量重构语言模型,346B Token 跑出 60.10 八任务均分

Cola2 是一款基于连续隐变量的自适应语言模型,通过动态语义压缩与块因果扩散 Transformer(DiT)实现高效生成。它在346.03B token上训练,八项评测平均得分60.10,性能超越部分更大规模模型。其核心创新在于联合优化隐变量压缩与离散解码,支持受控扩展与稳定推理。项目提供完整权重、工具链及评测数据,适用于研究与应用。

weixin_41446370的博客 351
上一篇: Databend 完美适配 KubeSphere 企业版 4.1.1,让云原生技术更普及
下一篇: Databend 开源周报第 154 期
Databend
博客等级 码龄5年 1458粉丝 363原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值