测试内存映射文件和文件随机读写对比

于 2010-06-10 22:07:48 发布 · 258 阅读

文章标签：

#FP #J# #Python

代码记录专栏收录该内容

6 篇文章

订阅专栏

本文通过Python的mmap模块对大文件进行随机访问与连续访问的速度测试，对比了使用mmap与传统文件读取方式在不同访问模式下的性能差异。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >


def test_map():
    '''
    #make hello file
    dd if=/dev/zero of=hello.txt count=1024000

    output:
524288000
0.557378053665 0
0.0396151542664 0
0.211034059525 0
0.979896068573 0


    '''
    import mmap

    fp=open("hello.txt", "r+b")

    map = mmap.mmap(fp.fileno(), 0)

    print len(map)
    m=len(map)

    j=0
    x=0
    import time

    import random

    #随机访问
    t1=time.time()
    while 1:
        j+=1
        if j>100000:
            break
        x+=ord(map[random.randint(1,m)])

    print time.time()-t1,x
    map.close()

    fp=open("hello.txt", "r+b")
    map = mmap.mmap(fp.fileno(), 0)
    #连续访问
    t1=time.time()
    j=0
    while 1:
        j+=1
        if j>100000:
            break
        x+=ord(map[j+100000000])

    print time.time()-t1,x
    map.close()

    t1=time.time()
    j=0
    #连续
    fp=open("hello.txt", "r+b")
    while 1:
        j+=1
        if j>100000:
            break
        fp.seek(j+100000000)

        x+=ord(fp.read(1))
    print time.time()-t1,x
    fp.close()

    t1=time.time()
    j=0
    #文件的随机读写
    fp=open("hello.txt", "r+b")
    while 1:
        j+=1
        if j>100000:
            break
        fp.seek(random.randint(1,m))

        x+=ord(fp.read(1))
    print time.time()-t1,x
    fp.close()