30、并发应用程序的测试与监控-优快云博客

本文链接：https://blog.youkuaiyun.com/vulkan6gpu/article/details/149384305

并发应用程序的测试与监控

在开发并发应用程序时，测试和监控是确保程序稳定性和性能的关键环节。由于并发应用程序中线程执行顺序的不确定性，测试变得尤为困难。本文将介绍并发应用程序的测试和监控方法，以及一些实用的工具。

1. 监控工具的使用

在监控并发应用程序时，我们可以使用一些工具来获取应用程序的CPU和内存使用信息。这里主要介绍两个重要的标签页：Sampler标签页和Profiler标签页。

1.1 Sampler标签页

Sampler标签页通过获取应用程序所有线程的转储并处理这些转储，来显示应用程序的CPU和内存使用信息。该标签页有两个按钮：
- CPU按钮 ：用于获取CPU使用信息。点击后会出现两个子标签：
- CPU samples ：显示应用程序中各个类的CPU利用率。
- Thread CPU time ：显示每个线程的CPU使用情况。
- Memory按钮 ：用于获取内存使用信息。点击后会出现另外两个子标签：
- Heap histogram ：显示按数据类型分配的字节数。
- Per thread allocations ：显示每个线程使用的内存量。

1.2 Profiler标签页

Profiler标签页使用工具API来显示应用程序的CPU和内存使用信息。该API在JVM加载方法时添加一些字节码以获取信息，并且这些信息会随时间更新。默认情况下，该标签页不获取任何信息，需要启动一个分析会话。可以使用CPU按钮获取CPU利用率信息，包括每个方法的执行时间和调用次数；也可以使用Memory按钮查看每个数据类型的内存使用量和对象数量。当不需要获取更多信息时，可以使用Stop按钮停止分析会话。

2. 并发应用程序的测试挑战

测试并发应用程序是一项艰巨的任务。由于线程执行顺序的不确定性（除非使用了同步机制），很难（大多数情况下是不可能）测试所有可能出现的情况。可能会遇到一些难以重现的错误，这些错误可能只在罕见或特定的情况下发生，或者由于CPU核心数量的不同，在某些机器上出现而在其他机器上不出现。为了检测和重现这些情况，可以使用以下工具：
- Debug ：使用调试器调试应用程序。如果应用程序中线程较少，需要逐线程逐步调试，这个过程会非常繁琐。可以配置Eclipse或NetBeans来测试并发应用程序。
- MultithreadedTC ：这是Google Code的一个存档项目，可以用于强制并发应用程序的执行顺序。
- Java PathFinder ：这是NASA用于验证Java程序的执行环境，支持验证并发应用程序。
- Unit testing ：可以创建一系列单元测试（使用JUnit或TestNG），并多次（例如1000次）运行每个测试。如果每个测试都成功，即使应用程序存在竞争条件，其发生的概率也不高，可能在生产环境中是可以接受的。可以在代码中包含断言来验证是否存在竞争条件。

3. 使用MultithreadedTC测试并发应用程序

MultithreadedTC是一个可以从http://code.google.com/p/multithreadedtc/ 下载的存档项目，虽然其最新版本是2007年的，但仍可用于测试小型并发应用程序或独立测试大型应用程序的部分。它基于一个内部时钟，通过“tick”来控制不同线程的执行顺序，以测试这种执行顺序是否会导致并发问题。

3.1 配置项目

首先，需要将两个库关联到项目中：
- MultithreadedTC库：最新版本是1.01版本。
- JUnit库：本文示例使用的是4.12版本。

3.2 实现测试类

要使用MultithreadedTC库实现测试，需要扩展MultithreadedTestCase类，该类继承自JUnit库的Assert类。可以实现以下方法：
- initialize() ：在测试执行开始时执行，可以重写该方法来执行初始化代码，如创建数据对象、建立数据库连接等。
- finish() ：在测试执行结束时执行，可以重写该方法来实现测试的验证。
- threadXXX() ：对于测试中的每个线程，需要实现一个以“thread”开头的方法。例如，如果要测试三个线程，类中就需要有三个这样的方法。

MultithreadedTestCase类提供了waitForTick()方法，该方法接收一个参数，表示要等待的“tick”数。调用该方法会使调用线程进入睡眠状态，直到内部时钟到达该“tick”。第一个“tick”是0。MultithreadedTC框架会定期检查测试线程的状态，如果所有运行的线程都在waitForTick()方法中等待，它会增加“tick”数，并唤醒所有等待该“tick”的线程。

3.3 示例代码

以下是一个使用MultithreadedTC测试Data对象的示例：

public class TestClassOk extends MultithreadedTestCase {
    private Data data;
    private int amount;
    private int initialData;

    public TestClassOk (Data data, int amount) {
        this.amount = amount;
        this.data = data;
        this.initialData = data.getData();
    }

    public void threadAdd() {
        System.out.println("Add: Getting the data");
        int value = data.getData();
        System.out.println("Add: Increment the data");
        value += amount;
        System.out.println("Add: Set the data");
        data.setData(value);
    }

    public void threadSub() {
        waitForTick(1);
        System.out.println("Sub: Getting the data");
        int value = data.getData();
        System.out.println("Sub: Decrement the data");
        value -= amount;
        System.out.println("Sub: Set the data");
        data.setData(value);
    }
}

要执行这个测试，可以使用TestFramework类的runOnce()方法：

public class MainOk {
    public static void main(String[] args) {
        Data data = new Data();
        data.setData(10);
        TestClassOk ok = new TestClassOk(data, 10);
        try {
            TestFramework.runOnce(ok);
        } catch (Throwable e) {
            e.printStackTrace();
        }
    }
}

在这个示例中，threadAdd()方法用于增加Data对象的值，threadSub()方法用于减少Data对象的值。通过调整线程的执行顺序，可以测试是否会出现竞争条件。例如，修改代码如下：

public void threadAdd() {
    System.out.println("Add: Getting the data");
    int value = data.getData();
    waitForTick(2);
    System.out.println("Add: Increment the data");
    value += amount;
    System.out.println("Add: Set the data");
    data.setData(value);
}

public void threadSub() {
    waitForTick(1);
    System.out.println("Sub: Getting the data");
    int value = data.getData();
    waitForTick(3);
    System.out.println("Sub: Decrement the data");
    value -= amount;
    System.out.println("Sub: Set the data");
    data.setData(value);
}

这样的执行顺序会导致两个线程先读取数据值，然后再进行操作，最终结果可能不正确。

4. 总结

MultithreadedTC库的主要局限性在于它仅适用于测试基本的并发代码，不能用于测试实际的线程代码。但在测试小型并发应用程序或部分代码时，它仍然是一个有用的工具。

并发应用程序的测试与监控（下）

5. 使用Java PathFinder测试并发应用程序

Java PathFinder（JPF）是NASA开发的一个开源执行环境，可用于验证Java应用程序。它有自己的虚拟机来执行Java字节码，能够检测代码中可能存在多个执行路径的点，并执行所有可能的情况。在并发应用程序中，这意味着它会执行应用程序中线程之间所有可能的执行顺序，还包含检测竞争条件和死锁的工具。

5.1 Java PathFinder的优缺点

优点：可以全面测试并发应用程序，确保其没有竞争条件和死锁。
缺点：
需要从源代码安装。
如果应用程序复杂，可能会有数千种可能的执行路径，测试时间会很长（如果应用程序复杂，可能需要数小时）。

5.2 安装Java PathFinder

安装JPF需要从其源代码进行安装，代码存储在Mercurial仓库中。安装步骤如下：
1. 安装Mercurial ：可以从https://www.mercurial-scm.org/wiki/Download 下载安装程序，安装过程会有向导辅助。安装完成后可能需要重启系统。
2. 安装Eclipse的Mercurial插件 ：在Eclipse菜单中选择“Help > Install new software”，使用URL http://mercurialeclipse.eclipselabs.org.codespot.com/hg.wiki/update_site/stable 查找软件，按照安装其他插件的步骤进行操作。
3. 安装JPF的Eclipse插件 ：可以从http://babelfish.arc.nasa.gov/trac/jpf/wiki/install/eclipse-plugin 下载。
4. 获取JPF源代码 ：访问Mercurial仓库浏览器视角，添加Java PathFinder的仓库（http://babelfish.arc.nasa.gov/hg/jpf/jpf-core），无需用户名和密码。右键点击仓库，选择“Clone repository”选项下载源代码，保持默认选项，点击“Next”和“Finish”完成下载。Eclipse会自动运行ant编译项目，如果编译有问题，需要解决后重新运行ant。
5. 配置JPF ：创建一个名为site.properties的文件，配置JPF。如果使用Eclipse，可以在“Window | Preferences”中选择“JPF Preferences”查看JPF插件查找该文件的路径，也可以更改该路径。由于只使用核心模块，文件内容只需包含jpf-core项目的路径，例如：

jpf-core = D:/dev/book/projectos/jpf-core

5.3 运行Java PathFinder测试

下面通过一个示例展示如何使用JPF测试并发应用程序。

首先，实现一个并发应用程序，包含一个Data类和一个NumberTask类：

class Data {
    private int value;
    public Data() {
        this.value = 0;
    }
    public void increment(int amount) {
        this.value += amount;
    }
    public int getValue() {
        return value;
    }
}

public class NumberTask implements Runnable {
    private Data data;
    public NumberTask (Data data) {
        this.data = data;
    }
    @Override
    public void run() {
        for (int i = 0; i < 10; i++) {
            data.increment(10);
        }
    }
}

public class MainNumber {
    public static void main(String[] args) {
        int numTasks = 2;
        Data data = new Data();
        Thread threads[] = new Thread[numTasks];
        for (int i = 0; i < numTasks; i++) {
            threads[i] = new Thread(new NumberTask(data));
            threads[i].start();
        }
        for (int i = 0; i < numTasks; i++) {
            try {
                threads[i].join();
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
        System.out.println(data.getValue());
    }
}

如果没有竞争条件，最终结果应该是200，但代码中没有使用同步机制，可能会出现竞争条件。

要使用JPF执行这个应用程序，需要在项目中创建一个扩展名为.jpf的配置文件，例如NumberJPF.jpf：

+classpath=${config_path}/bin
target=com.javferna.packtpub.mastering.testing.main.MainNumber

该配置文件修改了JPF的类路径，添加了项目的bin目录，并指定了应用程序的主类。

右键点击.jpf文件，选择“Verify”选项，即可通过JPF执行应用程序。执行过程中，控制台会显示大量输出消息，每个消息对应应用程序的一个不同执行路径。JPF执行完所有可能的执行路径后，会显示执行的统计信息。

5.4 使用监听器检测问题

JPF通过监听器机制实现观察者模式，对代码执行中的某些事件做出响应。可以使用以下监听器：
- PreciseRaceDetector ：用于检测竞争条件。
- DeadlockAnalyzer ：用于检测死锁情况。
- CoverageAnalyzer ：在JPF执行结束时写入覆盖率信息。

可以在.jpf文件中配置要使用的监听器，例如在NumberListenerJPF.jpf文件中添加PreciseRaceDetector和CoverageAnalyzer监听器：

+classpath=${config_path}/bin
target=com.javferna.packtpub.mastering.testing.main.MainNumber
listener=gov.nasa.jpf.listener.PreciseRaceDetector,gov.nasa.jpf.listener.CoverageAnalyzer

执行该配置文件时，应用程序在检测到第一个竞争条件时会结束，并在控制台显示相关信息，CoverageAnalyzer监听器也会写入覆盖率信息。

6. 总结

测试并发应用程序是一项具有挑战性的任务，由于线程执行顺序的不确定性，需要测试更多不同的情况。本文介绍了监控并发应用程序的工具，如Sampler标签页和Profiler标签页，以及一些测试工具，如MultithreadedTC和Java PathFinder。这些工具可以帮助我们更轻松地测试并发应用程序，确保其稳定性和性能。在实际开发中，合理运用这些工具和方法，能够提高并发应用程序的质量。

通过本文的介绍，希望读者能够掌握并发应用程序的测试和监控方法，在开发并发应用程序时更加得心应手。

并发应用程序的测试与监控（下）

5. 使用Java PathFinder测试并发应用程序

5.1 Java PathFinder的优缺点

类型	描述
优点	可以全面测试并发应用程序，确保其没有竞争条件和死锁。
缺点	1. 需要从源代码安装。 2. 如果应用程序复杂，可能会有数千种可能的执行路径，测试时间会很长（如果应用程序复杂，可能需要数小时）。

5.2 安装Java PathFinder

安装JPF的流程如下：

graph LR
    A[安装Mercurial] --> B[安装Eclipse的Mercurial插件]
    B --> C[安装JPF的Eclipse插件]
    C --> D[获取JPF源代码]
    D --> E[配置JPF]

具体步骤如下：
1. 安装Mercurial ：可以从https://www.mercurial-scm.org/wiki/Download 下载安装程序，安装过程会有向导辅助。安装完成后可能需要重启系统。
2. 安装Eclipse的Mercurial插件 ：在Eclipse菜单中选择“Help > Install new software”，使用URL http://mercurialeclipse.eclipselabs.org.codespot.com/hg.wiki/update_site/stable 查找软件，按照安装其他插件的步骤进行操作。
3. 安装JPF的Eclipse插件 ：可以从http://babelfish.arc.nasa.gov/trac/jpf/wiki/install/eclipse-plugin 下载。
4. 获取JPF源代码 ：访问Mercurial仓库浏览器视角，添加Java PathFinder的仓库（http://babelfish.arc.nasa.gov/hg/jpf/jpf-core），无需用户名和密码。右键点击仓库，选择“Clone repository”选项下载源代码，保持默认选项，点击“Next”和“Finish”完成下载。Eclipse会自动运行ant编译项目，如果编译有问题，需要解决后重新运行ant。
5. 配置JPF ：创建一个名为site.properties的文件，配置JPF。如果使用Eclipse，可以在“Window | Preferences”中选择“JPF Preferences”查看JPF插件查找该文件的路径，也可以更改该路径。由于只使用核心模块，文件内容只需包含jpf - core项目的路径，例如：

jpf-core = D:/dev/book/projectos/jpf-core

5.3 运行Java PathFinder测试

下面通过一个示例展示如何使用JPF测试并发应用程序。

首先，实现一个并发应用程序，包含一个Data类和一个NumberTask类：

class Data {
    private int value;
    public Data() {
        this.value = 0;
    }
    public void increment(int amount) {
        this.value += amount;
    }
    public int getValue() {
        return value;
    }
}

public class NumberTask implements Runnable {
    private Data data;
    public NumberTask (Data data) {
        this.data = data;
    }
    @Override
    public void run() {
        for (int i = 0; i < 10; i++) {
            data.increment(10);
        }
    }
}

public class MainNumber {
    public static void main(String[] args) {
        int numTasks = 2;
        Data data = new Data();
        Thread threads[] = new Thread[numTasks];
        for (int i = 0; i < numTasks; i++) {
            threads[i] = new Thread(new NumberTask(data));
            threads[i].start();
        }
        for (int i = 0; i < numTasks; i++) {
            try {
                threads[i].join();
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
        System.out.println(data.getValue());
    }
}

如果没有竞争条件，最终结果应该是200，但代码中没有使用同步机制，可能会出现竞争条件。

要使用JPF执行这个应用程序，需要在项目中创建一个扩展名为.jpf的配置文件，例如NumberJPF.jpf：

+classpath=${config_path}/bin
target=com.javferna.packtpub.mastering.testing.main.MainNumber

该配置文件修改了JPF的类路径，添加了项目的bin目录，并指定了应用程序的主类。

运行步骤如下：
1. 右键点击.jpf文件。
2. 选择“Verify”选项。

执行过程中，控制台会显示大量输出消息，每个消息对应应用程序的一个不同执行路径。JPF执行完所有可能的执行路径后，会显示执行的统计信息。

5.4 使用监听器检测问题

JPF通过监听器机制实现观察者模式，对代码执行中的某些事件做出响应。常用监听器如下：
- PreciseRaceDetector ：用于检测竞争条件。
- DeadlockAnalyzer ：用于检测死锁情况。
- CoverageAnalyzer ：在JPF执行结束时写入覆盖率信息。

可以在.jpf文件中配置要使用的监听器，例如在NumberListenerJPF.jpf文件中添加PreciseRaceDetector和CoverageAnalyzer监听器：

+classpath=${config_path}/bin
target=com.javferna.packtpub.mastering.testing.main.MainNumber
listener=gov.nasa.jpf.listener.PreciseRaceDetector,gov.nasa.jpf.listener.CoverageAnalyzer

执行该配置文件时，应用程序在检测到第一个竞争条件时会结束，并在控制台显示相关信息，CoverageAnalyzer监听器也会写入覆盖率信息。