词频统计

一、Github地址      课程项目要求

二、PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划
· Estimate	· 估计这个任务需要多少时间	510	570
Development	开发
· Analysis	· 需求分析 (包括学习新技术)	60	60
· Design Spec	· 生成设计文档
· Design Review	· 设计复审	10	10
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	10	10
· Design	· 具体设计	30	30
· Coding	· 具体编码	300	360
· Code Review	· 代码复审	20	20
· Test	· 测试（自我测试，修改代码，提交修改）	20	20
Reporting	报告
· Test Repor	· 测试报告	20	20
· Size Measurement	· 计算工作量	10	10
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	30	30
	合计	510	570

三、解题思路。即刚开始拿到题目后，如何思考，如何找资料的过程。

• C++ 怎么读写文件？

  学习了如何使用C++文件读写，使用头文件。

• 怎么识别单词并统计个数？

  可以创建结构体数组用来存每类单词和对应的个数，遍历一遍整个文档，以英文字母为开头的词语先暂时存在临时结构体中，全部读完该词语再进行判断是否符合单词规范，再跟单词结构数组对比，相同的单词数量加一，都不一样则存新的结构数组中。

• 怎么对单词数量排序，并且相同数量的按字典排序？

  使用优先队列，之前存的单词数组放入优先队列中，个数多的优先，个数相同的，按单词字母字典排序优先。

• 怎么统计单词数，字符数，行数？

  定义全局变量，识别到符合单词规范，单词数量累加；按要求，遍历文档时字符Ascii码在0-255之间则字符数累加。

四、设计实现过程。设计包括代码如何组织，比如会有几个类，几个函数，他们之间关系如何，关键函数是否需要画出流程图？单元测试是怎么设计的？

    定义全局变量计算个数，结构体数组存单词，一个主函数，调用三个函数：一个countChar(string u)//统计字符数，单词放入优先队列中，一个countLines(string u)//返回有效行数，一个输出函数print(string u)// 按要求输出到文件result.txt。

简单的单元测试：

测试一

测试二

五、记录在改进程序性能上所花费的时间，描述你改进的思路，并展示一张性能分析图（由VS 2017的性能分析工具自动生成），并展示你程序中消耗最大的函数。

    判断单词是否是新单词还是重复单词时所花费的时间较长，每次都从头遍历数组，但是按这个方法来做，所花费的时间是必须的，要改进只能重新换一种方法来做。

可以看到main函数占99.28%，countChar()占2.27%，print()占9.83%。占消耗最大的是优先队列的排序函数占了主要的86.37%

六、代码说明。展示出项目关键代码，并解释思路与注释说明。

• 统计行数

int countLines(string u) //统计行数
{
    char ch;
    int lines=0;
    int flag = 0;
    ifstream fin;
    fin.open(u);//打开文件

    if (!fin)
    {
        cout << "can not open file" << endl;
    }

    while (!fin.eof())
    {
        ch = fin.get();

        if (ch >= 33 && ch <= 126)//表示该行是有效行
        {
            flag = 1;
        }
        if (ch == 10 && flag == 1)//当该行是有效行，并且遍历到1个换行符时，行数加1
        {
            lines++;
            flag = 0;
        }
    }
    if (flag == 1)//最后一行如果没有换行符，也加1
        lines++;


    fin.close();

    return lines;
}

• 遍历文件识别单词并记录，创建结构体数组用来存每类单词和对应的个数，遍历一遍整个文档，以英文字母为开头的词语先暂时存在临时结构体中，全部读完该词语再进行判断是否符合单词规范，再跟单词结构数组对比，相同的单词数量加一，都不一样则存新的结构数组中。

int countChars(string u) //统计字符数
{
    char ch;
    int chars = 0;
    
    ifstream fin;
    fin.open(u);//打开文件

    if (!fin)
    {
        cout << "can not open file" << endl;
    }

    while (fin.get(ch))
    {
        
        //if(ch<=255&&ch>=0)
        chars++;
    
    }
    

    fin.close();

    return chars;
}


void countWord(string u)//统计单词放在优先队列中
{
    wo *danci = new wo[9999999];//动态分配结构体数组
    wo temp_danci;

    int k, i, j, flag,n=0;


    char ch;

    ifstream fin;
    fin.open(u);//打开文件

    if (!fin)
    {
        cout << "can not open file" << endl;
    }

    while (!fin.eof())
    {
        ch = fin.get();

        //判断是否为单词
        if ((ch >= 'a'&&ch <= 'z') || (ch >= 'A'&&ch <= 'Z'))
        {
            k = 0;
            flag = 0;
            temp_danci.count = 1;

            while ((ch >= 'a'&&ch <= 'z') || (ch >= 'A'&&ch <= 'Z') || (ch >= '0'&&ch <= '9'))
            {
                if (ch >= 'A'&&ch <= 'Z')
                    ch += 32;

                temp_danci.word[k++] = ch;
                
                ch = fin.get();
                
            }
            temp_danci.word[k++] = '\0';


            for (i = 0; i < 4; i++)
            {
                if ((temp_danci.word[i] >= '0'&&temp_danci.word[i] <= '9') || temp_danci.word[i] == '\0')
                {
                    flag = 1;//判断是否符合单词规范
                    break;
                }
            }


            if (flag == 0)
            {
                words++;
                j = n;


                for (i = 0; i<j; i++)//相同的单词个数累加
                {
                    if (strcmp(temp_danci.word, danci[i].word) == 0)

                    {
                        danci[i].count++;

                        break;
                    }


                }


                if (n == 0 || i == j)//新单词生成新的空间

                {
                    danci[n] = temp_danci;

                    n++;
                }

            }

        }

        else continue;

    }
    fin.close();

    for (int i = 0; i < n; i++)
    {
        tmp.push(danci[i]);
    }


}

• 自定义优先队列排序方式，个数多的单词优先，个数相同的，按单词字母字典排序优先。

bool operator< (wo a, wo b)//自定义排序
{
    //个数相同的单词按字典排序
    if (a.count == b.count)
    {
        int i = -1;

        do {
            i++;
        } while (a.word[i] == b.word[i]);
        
        return a.word[i] > b.word[i];

    }
    //出现频率排序    
    else return a.count < b.count;

}

• 输出到文件result.txt

void print(string u)//输出到文件
{
    int x = 0;
    ofstream outf;
    outf.open("result.txt");

    outf << "characters: " << countChars(u) << endl;
    outf << "words: " << words << endl;
    outf << "lines: " << countLines(u) << endl;

    while (!tmp.empty() && x<10)//输出前十个单词
    {
        outf << "<" << tmp.top().word << ">: " << tmp.top().count << endl;
        tmp.pop();
        x++;
    }
    outf.close();
}

• 主函数

int main(int   argc, char*   argv[]) {

    string url = argv[1];//文件路径
    
    countWord(url);

    print(url);
    
    return 0;
}

• 代码覆盖率

利用插件OpenCppCoverage，查看代码覆盖率

• 异常处理

输入一个不存在的文件，返回打开文件失败

七、解决项目的心路历程与收获。

    刚开始看到题目要求时，心情十分复杂，很多专业名词都看不懂，要求不知道怎么实现，边查边读懂题目要求后，才明白了自己哪里不会，需要学什么，首先学了怎么C++读写一个txt文件，然后将读取的内容转换成之前c语言做过的字符串处理的题目，来编写代码实现相应的功能，再将函数封装优化。也学习了GitHub的使用，了解了《构建之法》中讲的一个项目从需求分析到开发的具体流程，所花时间的PSP记录，单元测试，异常处理等步骤。由于做的比较仓促，项目中还有很多不足，如接口封装没有做好，要学习的还有很多，好好努力吧！

转载于:https://www.cnblogs.com/mrlhw/p/9621287.html