较大数据文件的读取优化过程

问题由来

1.解析一个体积较大（50MB，约50w行）的数据文件时，遇到了读取、解析花费的时间较长（debug下20+s，release下3s）速度较慢的问题。
2.用UE或者everedit等编辑软件打开这种文件基本上只要0.5s不到的时间。
因此尝试优化代码，提高效率，这里记录下过程。

测试平台

环境

win10x64 + VS2015

文件格式

数据文件分为三段：

第一段 230000 250000
第二段开始 1 115.853843 22.534526 -47.04851444
………….
第二段结束 230000 ………………………
第三段开始 1 3 2 96 1 0
………………………..
第三段结束 250000 ………………….

处理过程

基本方法

最基本的MFC读数据方式：CStdioFile打开文件-Readstring读取每行数据-查找分隔符-分割出字符串-转化为浮点数-保存到数组里去。

void CGRDFile::OpenStdioFile(CString sFileName)
{
    CStdioFile m_file; 
    m_file.Open(sFileName, CFile::modeRead);

    Vertex v;
    MeshIndex mesh;
    CString smn, sm, sn,sVertex, sN, sX, sY, sZ, sLeft, sMesh, s1Index, s2Index, s3Index;

    m_file.ReadString(smn);
    smn.Trim();

    sm = smn.Left(smn.Find(' '));
    sn = smn.Mid(smn.Find(' '), smn.GetLength() - 1);
    sn.Trim();

    m_grdFile.mn.m = _wtoi(sm);
    m_grdFile.mn.n = _wtoi(sn);
    //预分配数组大小
    m_grdFile.vVertex.reserve(m_grdFile.mn.m);
    m_grdFile.vMeshIndex.reserve(m_grdFile.mn.n);
    //第二段处理
    for (int i = 0; i < m_grdFile.mn.m; i++)
    {
        m_file.ReadString(sVertex);

        sVertex.Trim();
        sN = sVertex.Left(sVertex.Find(' '));
        sLeft = sVertex.Right(sVertex.GetLength() - sN.GetLength());
        sLeft.Trim();

        sX = sLeft.Left(sLeft.Find(' '));
        sLeft = sLeft.Right(sLeft.GetLength() - sX.GetLength());
        sLeft.Trim();

        sY = sLeft.Left(sLeft.Find(' '));
        sLeft = sLeft.Right(sLeft.GetLength() - sY.GetLength());
        sLeft.Trim();

        sZ = sLeft;

        v.nIndex = _wtoi(sN);
        v.x = _wtof(sX);
        v.y = _wtof(sY);
        v.z = _wtof(sZ);

        m_grdFile.vVertex.push_back(v);
        //第三段处理类似，不贴了
    }

经过测试上面的代码在release下读取完数据耗时2779.03ms在debug下耗时21122ms。

内存文件映射法

内存文件映射是一个提高大文件读取速度的方法。

void CGRDFile::OpenFile(CString sFileName)
{
    HANDLE hFile = CreateFile(
        sFileName,
        FILE_SHARE_READ ,
        0,
        0,
        OPEN_EXISTING,
        FILE_ATTRIBUTE_NORMAL,
        NULL);
    if (hFile == INVALID_HANDLE_VALUE)
    {

        return ;
    }
    HANDLE hFileMap = CreateFileMapping(hFile, NULL, PAGE_READONLY, 0, 0, NULL);
    if (hFileMap == NULL)
    {

        return;
    }
    // 得到系统分配粒度  
    SYSTEM_INFO SysInfo;
    GetSystemInfo(&SysInfo);
    DWORD dwGran = SysInfo.dwAllocationGranularity;

    // 得到文件尺寸  
    DWORD dwFileSizeHigh;
    __int64 qwFileSize = GetFileSize(hFile, &dwFileSizeHigh);
    qwFileSize |= (((__int64)dwFileSizeHigh) << 32);



    // 偏移地址   
    __int64 qwFileOffset = 0;

    // 块大小 
    DWORD dwBlockBytes = 0;
    for (int i = 1; ; ++i)
    {
        if (qwFileSize <= i * dwGran)
        {
            dwBlockBytes = i * dwGran;
            break;
        }
    }
    if (qwFileOffset >= 0)
    {
        // 映射视图
        //如果在调用MapViewOfFile()的时候，dwNumberOfBytesToMap如果大于文件的size，那么该call就会失败，
        //并且error code是access denied。所以MapViewOfFile的最后一个参数不能用dwBlockSize而只能用qwFileSize。
        //MapViewOfFile的返回值不能是TCHAR*，因为UNICODE时解释成宽字符，会出错，只能用char*
        char *lpbMapAddress = (char *)MapViewOfFile(hFileMap, FILE_MAP_READ, 0, 0, qwFileSize);
        if (lpbMapAddress == NULL)
        {           
            return;
        }
        CString stemp(lpbMapAddress);
        CString smn,sm, sn;

        smn = stemp.Left(stemp.Find('\n'));
        smn.Trim();
        sm = smn.Left(smn.Find(' '));
        sn = smn.Mid(smn.Find(' '), smn.GetLength() - 1);
        sn.Trim();

        m_grdFile.mn.m = _wtoi(sm);
        m_grdFile.mn.n = _wtoi(sn);
        //预分配数组大小
        m_grdFile.vVertex.reserve(m_grdFile.mn.m);
        m_grdFile.vMeshIndex.reserve(m_grdFile.mn.n);
        //顶点数组
        Vertex v;
        CString sVertex, sN, sX, sY, sZ, sLeft;

        int nStart, nEnd;
        nStart = stemp.Find('\n');
        nEnd = stemp.Find('\n', nStart + 1);
        for (int i = 0; i < m_grdFile.mn.m; i++)
        {
            sVertex = stemp.Mid(nStart+ 1, nEnd - nStart + 1);

            sVertex.Trim();
            sN = sVertex.Left(sVertex.Find(' '));
            sLeft = sVertex.Right(sVertex.GetLength() - sN.GetLength());
            sLeft.Trim();

            sX = sLeft.Left(sLeft.Find(' '));
            sLeft = sLeft.Right(sLeft.GetLength() - sX.GetLength());
            sLeft.Trim();

            sY = sLeft.Left(sLeft.Find(' '));
            sLeft = sLeft.Right(sLeft.GetLength() - sY.GetLength());
            sLeft.Trim();

            sZ = sLeft;

            v.nIndex = _wtoi(sN);
            v.x = _wtof(sX);
            v.y = _wtof(sY);
            v.z = _wtof(sZ);

            m_grdFile.vVertex.push_back(v);

            nStart = stemp.Find('\n', nEnd);
            nEnd = stemp.Find('\n', nStart + 1);
        }
        //网格数组
        CString sMesh, s1Index, s2Index, s3Index;
        MeshIndex mesh;
        for (int i = 0; i < m_grdFile.mn.n; i++)
        {
            sMesh = stemp.Mid(nStart + 1, nEnd - nStart + 1);

            sMesh.Trim();
            sN = sMesh.Left(sMesh.Find(' '));
            sLeft = sMesh.Right(sMesh.GetLength() - sN.GetLength());
            sLeft.Trim();

            s1Index = sLeft.Left(sLeft.Find(' '));
            sLeft = sLeft.Right(sLeft.GetLength() - s1Index.GetLength());
            sLeft.Trim();
            s1Index = sLeft.Left(sLeft.Find(' '));
            sLeft = sLeft.Right(sLeft.GetLength() - s1Index.GetLength());
            sLeft.Trim();

            s2Index = sLeft.Left(sLeft.Find(' '));
            sLeft = sLeft.Right(sLeft.GetLength() - s2Index.GetLength());
            sLeft.Trim();

            s3Index = sLeft.Left(sLeft.Find(' '));

            mesh.nIndex = _wtoi(sN);
            mesh.nV1Index = _wtoi(s1Index);
            mesh.nV2Index = _wtoi(s2Index);
            mesh.nV3Index = _wtoi(s3Index);

            m_grdFile.vMeshIndex.push_back(mesh);

            nStart = stemp.Find('\n', nEnd);
            nEnd = stemp.Find('\n', nStart + 1);
        }


        // 撤销文件映像
        UnmapViewOfFile(lpbMapAddress);
        // 关闭文件对象  
        CloseHandle(hFile);
    }



}

经过测试上面的代码在release下读取完数据耗时1437.46ms在debug下耗时13738ms。

再优化下

仔细观察了数据文件，每行占的字节数、每个值占得字节数其实是都是确定的，利用这个特点，可以避免循环里非常复杂耗时的字符串解析过程。

//内存文件映射部分代码不贴了，和上面一样
        Vertex v;
        MeshIndex mesh;
        CString smn, sm, sn, sVertex, sN, sX, sY, sZ, sLeft, sMesh, s1Index, s2Index, s3Index,sblank;
        smn = stemp.Left(MN_LINE_SIZE);
        smn.Trim();

        sm = smn.Mid(0, MN_M_CHAR_SIZE);
        sn = smn.Mid(MN_M_CHAR_SIZE, MN_N_CHAR_SIZE);

        m_grdFile.mn.m = _wtoi(sm);
        m_grdFile.mn.n = _wtoi(sn);
        //预分配数组大小
        m_grdFile.vVertex.reserve(m_grdFile.mn.m);
        m_grdFile.vMeshIndex.reserve(m_grdFile.mn.n);
        //顶点数组
        for (int i = 0; i < m_grdFile.mn.m; i++)
        {
            sVertex = stemp.Mid(MN_LINE_SIZE + i * VERTEX_LINE_SIZE, VERTEX_LINE_SIZE);
            sN = sVertex.Mid(0, VERTEX_N_CHAR_SIZE);
            sX = sVertex.Mid(VERTEX_N_CHAR_SIZE , VERTEX_X_CHAR_SIZE);
            sY = sVertex.Mid(VERTEX_N_CHAR_SIZE + VERTEX_X_CHAR_SIZE , VERTEX_Y_CHAR_SIZE);
            sZ = sVertex.Mid(VERTEX_N_CHAR_SIZE + VERTEX_X_CHAR_SIZE + VERTEX_Y_CHAR_SIZE, VERTEX_Z_CHAR_SIZE);

            v.nIndex = _wtoi(sN);
            v.x = _wtof(sX);
            v.y = _wtof(sY);
            v.z = _wtof(sZ);

            m_grdFile.vVertex.push_back(v);
        }
        //网格数组
        for (int i = 0; i < m_grdFile.mn.n; i++)
        {
            sMesh = stemp.Mid(MN_LINE_SIZE + m_grdFile.mn.m * VERTEX_LINE_SIZE + MESH_LINE_SIZE * i , 
                MESH_LINE_SIZE);
            sN = sMesh.Mid(0, MESH_N_CHAR_SIZE);
            s1Index = sMesh.Mid(MESH_N_CHAR_SIZE + MESH_NODEFINE_CHAR_SIZE , MESH_V1_CHAR_SIZE);
            s2Index = sMesh.Mid(MESH_N_CHAR_SIZE + MESH_NODEFINE_CHAR_SIZE + MESH_V1_CHAR_SIZE , MESH_V2_CHAR_SIZE);
            s3Index = sMesh.Mid(MESH_N_CHAR_SIZE + MESH_NODEFINE_CHAR_SIZE + MESH_V1_CHAR_SIZE + MESH_V2_CHAR_SIZE ,
                MESH_V3_CHAR_SIZE);

            mesh.nIndex = _wtoi(sN);
            mesh.nV1Index = _wtoi(s1Index);
            mesh.nV2Index = _wtoi(s2Index);
            mesh.nV3Index = _wtoi(s3Index);

            m_grdFile.vMeshIndex.push_back(mesh);

        }

经过测试上面的代码在release下读取完数据耗时642ms在debug下耗时4763ms。

性能比较

从图上可以看到使用了内存文件映射后，读取性能有了较大提高，在release下解析的速度可以和UE之类的软件比较了。