Jacksqh的博客

淘宝分布式文件系统，核心部分大文件结构的实现之内存映射部分

文章目录哈希链表结构内存映射应用场景进程间通信 - 文件映射原理（mmap函数）文件映射 - mmap实现内存映射之msync内存映射之mremap哈希链表结构哈希表 - 散列表它是基于快速存取的角度设计的，也是一种典型的“空间换时间”的做法关键点： 键(key)： 文件的编号 如， 1 、 5 、 19 。 。 。值(value)： 文件的索引信息（包含 文件大小、位置）索引: 数组的下标(0,1,2,3,4)

文章目录什么是大文件设计思路块的关键数据结构什么是大文件其实就是小文件的升级版，存储空间更大，里面有多个部分有:索引文件，一个主块文件和扩展块组成设计思路以block文件的形式存放数据文件(一般64M一个block),以下简称为“块”，每个块都有唯一的一个整数编号，块在使用之前所用到的存储空间都会预先分配和初始化（磁盘插进去执行初始化脚本时就会进行块的初始化以及分配（劈块????））。每一个块由一个索引文件、一个主块文件和若干个扩展块组成，“小文件”主要存放在主块中，扩展块主要用来存放溢出

文章目录淘宝不用小文件存取数据的原因(一)淘宝不用小文件存取数据的原因(二)淘宝不用小文件存取数据的原因(三)淘宝不用小文件存取数据的原因(一)大规模的小文件存取，磁头需要频繁的寻道和换道，因此在读取上容易带来较长的延时。下面我们就用一些数据来说明频繁换道和一些数据传输时间消耗的对比吧！！如果对于“目录”，”Inode信息“还有“块”不了解的同学可以点击这个链接寻道一次的时间就等于千兆网络发送1MB的数据,磁头寻址换道两次就等于从磁盘上读取1MB的数据，而且我们还要记得磁头的换道和数据的读

前言因为最近在学习以及手写淘宝分布式文件系统引擎，在这记录一下学习的整个过程，也把淘宝分布式文件系统引擎这一内容做一个模块持续更新直到把这个内容完成，在这过程中会涉及到文件系统，存储，哈希映射等等一些概念，希望这些总结也能对你有所帮助，同样的如果文中有出现一些错误或者是有不同理解的地方也欢迎提出来，谢谢！！！文件系统的基本概念文件系统: 是一种把数据组织成文件和目录的一种存储方式，提供一些接口对于文件进行各种操作，还有对于文件权限进行控制访问，对于程序员来说就可以简单地把它看成提供各种接口的一种东西