Eucalyptus分析一 storage

最新推荐文章于 2014-02-23 11:04:00 发布

原创最新推荐文章于 2014-02-23 11:04:00 发布 · 1.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#cache #struct #path #null #file #存储系统

Eucalyptus 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了Eucalyptus开源云计算平台中的存储组件，详细分析了其存储管理机制，包括文件命名规则、存储空间管理及LRU算法等，并指出了当前版本中未涉及的文件分片和负载均衡等功能。

Eucalyptus是一个著名的开源的云计算环境,它主要是创建了一个使企业能够使用它们内部IT资源（包括服务器、存储系统、网络设备）的开源界面，就是提供一个大块头的虚拟机,传统的vmvare只是一台机器上虚拟,Eucalyptus就是在一群机器上虚拟.

它主要是用C语言实现的,还是有比较大的研究价值.现在的版本是1.6.2. 下面先分析一个它的storage部分,就是源代码中的storage文件夹下面的部分.目前Eucalyptus的storage部分实现还比较简单,总共才6个文件,再除了test.c之外,只有5个有用的文件.

storage部分从代码来看,主要是针对本地存储的,再加上一些网络存取的函数，所汲及的操作也就是文件夹和文件的创建、修改、删除之类的比较简单，

char path [BUFSIZE];
snprintf (path, BUFSIZE, "%s/%s/%s/%s", sc_instance_path, userId, instanceId, file);

文件的命名规则也就上面所写的，sc_instance_path是一个固定的前缀，

static long long swap_size_mb = DEFAULT_SWAP_SIZE; /* default swap in MB, if not specified in config file */
static long long cache_size_mb = DEFAULT_NC_CACHE_SIZE; /* in MB */
static long long cache_free_mb = DEFAULT_NC_CACHE_SIZE;
这三个全局变量定义了所存储文件的总大小，空闲的空间，全是从配置文件中得到的

typedef struct cache_entry_t {
    char path [BUFSIZE]; //文件名
    long long size_mb; //文件大小
    struct cache_entry_t * next;
    struct cache_entry_t * prev;
} cache_entry;

static cache_entry * cache_head = NULL;

文件的信息存在内存的双向链表中，这是所有文件的信息，如上所示，文件新增或删除时除了改硬盘，就改这个双向链表

while (file_size_mb > cache_free_mb) {
        time_t oldest_mtime = time (NULL) + 1;
        off_t oldest_size = 0;
        cache_entry * oldest_entry = NULL;
        struct stat mystat;
        cache_entry * e;
        for ( e = cache_head; e; e=e->next) {
            if (stat (e->path, &mystat)<0) {
                logprintfl (EUCAERROR, "error: ok_to_cache() can't stat %s/n", cached_path);
                return 0;
            }
            if (mystat.st_mtime<oldest_mtime) {
                oldest_mtime = mystat.st_mtime;
                oldest_size = e->size_mb; /* (mystat.st_size doesn't include digest) */
                oldest_entry = e;
            } else {
                if (mystat.st_mtime==oldest_mtime) {
                    /* smaller ones get purged first */
                    if (oldest_size > e->size_mb) {
                        oldest_size = e->size_mb;
                        oldest_entry = e;
                    }
                }
            }
        }