Skip to content

Latest commit

 

History

History
163 lines (121 loc) · 6.11 KB

template.md

File metadata and controls

163 lines (121 loc) · 6.11 KB

1 测试背景

1.1 测试目标

对XX算法进行性能测试,客观、公正评估系统的性能现状。

  • 开发正确有效的性能测试脚本,模拟最终用户操作行为,作为测试有效实施的基础;
  • 通过性能测试,客观、公正评估在当前测试环境下,被测系统的各项性能指标表现;
  • 验证被测算法,如不满意,对性能瓶颈进行定位分析,提供性能调优建议。

1.2 测试过程

2013年 11月1日。XXX在XXX使用XXXX工具进行测试。

2 测试方法简介

2.1 测试实施模型

2.2 测试实施基本流程

###2.2.1 测试环境准备 ###2.2.2 测试数据准备 ###2.2.3 测试程序开发 ###2.2.4 测试程序执行 测试准备阶段完毕后,确保测试环境、测试程序、测试过程、测试数据,且均已验证通过后,然后在指定的时间内可对系统施实性能测试。

2.3 测试用例说明

见附件。

3 测试环境

3.1 被测系统

3.1.1 硬件环境

3.1.2软件环境

3.2 测试系统

3.2.1 测试环境搭建

3.2.2 测试软件

4 测试结果分析

4.1 术语解释

执行时间:本测试中所提到的执行时间均为墙钟时间,即从算法开始执行到算法结束测到的系统时间。

最优执行时间:每个测试用例在不同核数下有不同的执行时间,其中最小者成为该测试用例的最优执行时间。

串行时间:每个测试用例在串行情况下的执行时间,成为该测试用例的串行时间。

问题规模:衡量该测试用例计算复杂程度的指标,不同算法的影响因素差别很大,不好直接衡量。这里借用该测试用例的ArcGIS执行时间表示其问题规模。

ArcGIS执行时间:测试用例在ArcGIS环境下的执行时间,与机器性能有关。本次测试在指定的性能较好的机器上测量。

绝对加速比:原意是指被测算法相对于最优秀的串行算法的加速程度,这里用业界最经典的算法ArcGIS来代替最优秀的串行算法,事实上,很多被测算法的串行速度高于ArcGIS的串行速度。这里的绝对加速比指的是相应的ArcGIS执行时间与最优执行时间的比值。同一个算法的不同测试用例,绝对加速比略有不同。

加速比:也称相对加速比。并行算法相对于自身串行算法的加速程度,指串行时间与最优执行时间的比值。同一个算法的不同测试用例,相对加速比略有不同。

权重:每一个算法都有若干个测试用例,他们相对于算法的重要程度或者说代表性不尽相同。譬如,通常情况下,被测算法在大规模数据下的表现比小规模数据下的表现重要,因而会被赋予更高的权重,在计算算法的性能时,也能发挥较大的作用。例如,算法的绝对加速比就是各个测试用例的绝对加速比的加权平均。

并行效率:测试用例的并行效率指的是加速比与核数的商。这里我们用的是相对加速比。算法的并行效率是用例的并行效率的加权平均。

峰值并行效率:测试用例在不同核数下的并行效率的最大值。

平均并行效率:测试用例在所测核数的并行效率的平均值。

4.2 测试数据表

4.2.1 时间数据对比分析表

time_table_content
测试用例 IO时间 计算时间 测量时间

4.2.2 含IO时间的数据分析表

total_table_content
测试用例 ArcGIS时间 用例权重 串行时间 峰值并行效率 平均并行效率 最小并行效率 最优执行时间 绝对加速比 相对加速比 最优核数

4.2.3 不含IO时间数据分析表

cpu_table_content
测试用例 用例权重 串行时间 峰值并行效率 平均并行效率 最小并行效率 最优执行时间 相对加速比 最优核数

4.3 测试结果分析图

4.3.1 执行时间

执行时间对比 执行时间分析 用例时间曲线

4.3.2 绝对加速比

绝对加速比分析

从以上图表中可以看出,算法的绝对加速比最高可达 replace_s1 ,最低也有 replace_s2 ,加权平均后为 replace_s3 。

4.3.3 相对加速比

相对加速比分析 相对加速比分析(不含IO)

从以上图表中可以看出,算法在含IO情况下的相对加速比最高可达 replace_s4 ,最低也有 replace_s5 ,加权平均后为 replace_s6 。

在不含IO情况下的相对加速比最高可达 replace_s7 ,最低也有 replace_s8 ,加权平均后为 replace_s9 。

4.3.4 并行效率

并行效率 并行效率(不含IO)

从以上图表中可以看出,算法在含IO情况下的峰值并行效率可达 replace_sa ,平均并行效率为 replace_sb 。

在不含IO情况下的峰值并行效率可达 replace_sc ,平均并行效率为 replace_sd 。

4.4 正确性验证

见附件。

5 测试结论

总体来看,算法的绝对加速比是 replace_s3 ,相对加速比是 replace_s6 和 replace_s9 (不含IO) ,峰值并行效率是 replace_sa 和 replace_sc (不含IO),平均并行效率是 replace_sb 和 replace_sd (不含IO)。

6 调优建议