OrangeFS : Advancing PVFS

最新推荐文章于 2025-10-12 07:06:35 发布
原创 最新推荐文章于 2025-10-12 07:06:35 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接指向了 FAST '11 会议的海报展示文件，该会议聚焦于存储和输入输出系统领域的最新研究进展。
人工智能时代，滴滴 OrangeFS 数据湖存储的探索与实践
DiDi_Tech的博客
09-05 2227
项目背景随着人工智能技术的飞速发展，机器学习训练已成为推动行业智能化转型的关键力量。这些大模型以其强大的语言理解和生成能力，在自然语言处理、图像识别、智能推荐等多个领域展现出极大的潜力。然而，机器学习的训练与部署对存储系统提出了前所未有的挑战。海量的训练数据、复杂的模型结构以及高频的数据读写需求，使得传统的非结构化存储方案难以胜任。滴滴不断致力于提升用户体验，积极拥抱人工智能技术，在探索过程中，也...
滴滴 OrangeFS 数据湖存储关键技术揭秘！
DiDi_Tech的博客
09-19 3480
2015年，滴滴为解决小文件和图片的存储，成立 GIFT 小对象存储项目。伴随着业务不断成长，我们面临的挑战也越来越多，经历多次非结构化存储架构演进，具体如下图所示：随着公司不断发展，滴滴的业务有两个发展的趋势：云原生技术战略和新业务涌现，都给存储系统带来了新的挑战。在云原生战略中，业务的极致弹性是提高资源利用率降低成本的一个目标。保障极致弹性的基础是容器的轻量化，而要实现容器的轻量化就必须实现存...
OrangeFS系统搭建基础
weixin_34413357的博客
08-03 557
About OrangeFSOrangeFS is a next-generation parallel file system for compute and storage clusters of the future. OrangeFS data resides on multiple servers instead of just one. IO performanc...
OrangeFS：开源并行文件系统全解析
最新发布
2501_93700528的博客
10-12 1034
《高性能并行文件系统OrangeFS解析》摘要 OrangeFS是一款开源的并行文件系统，专为高性能计算环境设计。作为PVFS的下一代版本，它通过将文件数据分布到多台服务器并支持并行访问，能够高效处理PB级数据。核心特性包括基于对象的架构、统一命名空间、多协议支持和模块化设计，使其在可扩展性(支持数千节点)和性能方面表现突出。与Lustre等系统相比，OrangeFS完全开源且安装简便，已集成到Linux内核。该系统广泛应用于学术研究、生物信息学和大数据处理等领域，特别适合需要高性能I/O的场景。最新版本持
linux4.6 usb架构,Linux 4.6 内核发布，引入 OrangeFS 和 USB 3.1 SSP 支持
weixin_39692253的博客
05-13 227
今天，美国时间 5 月 15 日， Linus Torvalds 宣布了Linux 4.6 内核的正式发布。经过了两个月的开发，历经了 7 个 RC 版本，Linux 4.6 内核终于发布了最终产品版本，带来了一些引人关注的新功能、更新的驱动程序以及一些安全改进。“好在我不用中断 RC 周期，上周我们如预期的收到了几个修复，但是没有什么出乎意料的事情。所以， 4.6 就按照正常的计划发布了，这也...
Linux 4.6促进了容器的安全性，添加对OrangeFS的支持
博客
05-24 214
如预期一样，Linux的核心任务Linux Torvalds周日发布了Linux Kernel 4.6。新版本支持一个新型的分布式文件系统OrangeFS，采用更加稳定的耗尽内存时的处理，支持802.1AE MACsec（MAC-level encryption），支持英特尔的内存保护密钥。“上周末修复和优化的东西很多，没有非常奇怪的事情发生。”Torvalds在邮件列表中写到。Linux 4.6...
【论文阅读】BlendFilter: Advancing Retrieval-Augmented Large Language Models via Query Generation
qq_41502855的博客
10-02 995
这篇论文的研究背景主要聚焦于中的两个关键问题：在处理复杂任务输入时，传统的检索方法往往难以捕捉到所有相关信息，从而导致不完整的检索结果。这是因为复杂查询可能缺少一些关键词，限制了检索文档的质量。检索到的知识常常包含无关或误导性信息，这会降低大语言模型（LLM）的生成性能，导致不准确的输出。为了解决这些问题，作者提出了一个新框架，通过结合内部和外部知识的查询生成增强技术，改善复杂查询的检索质量，并通过一个新的知识过滤模块来剔除不相关的知识，从而提升模型性能。
【多模态视觉大模型】Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks
weixin_43148969的博客
02-23 1212
通过数据引擎，我们构建了一个大规模的训练集（FLD-5B），其中包含1.26亿张图像、超过5亿条文本注释、13亿条区域-文本注释，以及36亿条文本-短语-区域注释。每张图像都有文本、区域-文本对以及文本-短语-区域三元组的注释，并且每种注释类型都有多个实例，这些实例在不同的粒度上有所变化。一张图像及其相应注释的示例可见图4。我们在表1中对我们的数据集与常用于训练基础模型的现有数据集进行了比较。与之前的数据集相比，我们的数据集有几个优势，例如总注释数量更多，并且每张图像的平均注释数量也更多。
Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks
qq_46060468的博客
01-15 885
Florence-2的创新点主要体现在其采用的统一序列到序列学习范式、综合多任务学习策略以及大规模的FLD-5B数据集。通过这些创新，Florence-2实现了多种视觉任务的统一表示和高效处理。它在零样本性能上表现卓越，能够在无需专门训练的情况下处理多种任务，为实际应用提供了极大的便利。在微调性能方面，Florence-2在各种下游任务中都能取得显著的性能提升，展现出了强大的适应性和泛化能力。而且，相对较小的模型规模使得它在计算资源有限的设备上也能高效运行。
论文阅读：WHEN LLM MEETS DRL: ADVANCING JAILBREAKING EFFICIENCY VIA DRL-GUIDED SEARCH
weixin_57128596的博客
01-12 500
首先在训练阶段，强化学习代理会将越狱提示作为输入，通过MLP映射出一个状态，这个状态决定使用哪个策略，即突变器。以往的越狱科学研究都集中在 Random Search 这块，而 Random Search 会限制大模型本身的泛化能力，如：AutoDAN，GCG 等，他们没有适当策略情况下就随机选择突变体，会导致输入无语义，很容易被大模型检测到。作者设置了一个n^2的矩阵，引导式搜索的时间复杂度最差为 0(n2)，通过公式证明 Random Search 的时间耗时至少为 0(3n2)，为前者的3倍。
UI-S1: ADVANCING GUI AUTOMATION VIA SEMIONLINE REINFORCEMENT LEARNING
weixin_53318684的博客
09-17 797
论文遵循了机器学习的标准做法：使用名为 "AndroidControl-
linux文件系统简介
wq3028的博客
07-27 634
最近剪裁linux kernel，发现文件系统部分占用挺大的，下面列出linux下大部分文件系统，以及各个文件系统的简介。http://www.wq3028.top/technology/kernel/fs/20180727108/ 进入linux kernel网站下载linux kernel包 https://www.kernel.org/ 实验kernel版本为linux-4.17.10...
文件存储服务系统（File Storage Service System）-02-SFTP 协议介绍
08-03 1050
SFTP 是基于 SSH 协议的文件传输协议，通过加密的 SSH 连接提供文件传输服务。它不同于传统的 FTP 和 FTPS 协议，不使用独立的传输通道，而是完全依赖于 SSH 通道。
Linux-5.10源代码之文件系统简介
01-01 1761
vfs : VFS（Virtual Filesystem Switch）称为虚拟文件系统或虚拟文件系统转换，是一个内核软件层，在具体的文件系统之上抽象的一 层，用来处理与Posix文件系统相关的所有调用，表现为能够给各种文件系统提供一个通用的接口，使上层的应用程序能够使用通用的接口访 问不同文件系统，同时也为不同文件系统的通信提供了媒介。 9p : 9P(Plan 9 File System Protocol) 是一套轻量级的远程文件系统，经常用于虚拟机与外界的文件共享。WSL2(Windows ...
Linux 知：文件系统
canpool
02-19 3611
“一切皆是文件” 是 Unix/Linux 的基本哲学之一。这句话中的 “文件” 不仅仅是指我们通常所说的文件，而是指 Linux 世界中的所有、任意、一切东西都可以通过文件的方式访问和管理。它是一个抽象的概念，这才符合哲学意味。linux 中有 7 种文件类型：普通文件、目录文件、块设备文件、字符设备、套接字文件、管道文件、链接文件。这些文件都可以用一套相同的API（如：open/read/write/close等）进行操作。这正好又符合 Unix/Linux 的另一个哲学思想“简单原则”，即著名的 KI
File Systems Unfit as Distributed Storage Backends 开发十年Ceph的经验：文件系统不适合作为分布式存储后端
fxsun_cug的博客
03-04 973
本文是SOSP2019: File Systems Unfit as Distributed Storage Backends: Lessons from 10 Years of Ceph Evolution的全文翻译 作者首先总结了在分布式文件系统Ceph多年开发过程中的经验教训，然后介绍了团队开发的新型用户态存储后端BlueStore，并将元数据储存在Key-Value Store中。目前，Ceph已经使用BlueStore作为默认的存储后端，并且相较于使用传统的POSIX文件系统有着显著的性能提升。
3.4.1 HDFS（分布式文件系统） - 概念、架构、运行机制、配置文件与命令
Orange_Spotty_Cat的博客
03-29 855
简介 作为Hadoop生态中核心的组件，HDFS在Hadoop项目最初就已经存在。HDFS始于 Google 在2003年10月份发表的GFS（Google File System）论文。 它其实就是 GFS 的一个克隆版本。但是经过这些年的发展，HDFS的架构和功能基本固化，并成为一个完善的核心组件。 在如下HDFS的官网中，有对HDFS的详细描述，针对我装的版本（Hadoop 2.7.7）...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值