Výkonostní testování, nebo-li benchmarking, zjišťuje, jak rychlý je náš kód. Užijeme ho zejména při optimalizaci kódu. Pokud potřebujeme, aby byl kód co nejvýkonnější a máme více možností, jak celý problém implementovat, vyzkoušíme je všechny. Poté se rozhodneme pomocí výkonostních testů, kterou možnost aplikujeme.

Výkonostní testy nemají většinou smysl, když je daná část kódu používaná v malém rozsahu. Pokud nejde o vyloženě špatný algoritmus, ušetříme tím jen zlomky sekundy a ty obvykle příliš nehrají roli. Pokud ale tyto zlomky vynásobíme 100000krát, už může být ušetřený čas patrný.

Měření rychlosti běhu programu

Obecně bychom mohli vytořit program pro stopování doby běhu úseků kódu velice jednoduše. Zde máme jednoduchý výkonnostní test, který funguje stejně jako stopky. Poprvé stopneme, když děj začíná. Po jeho konci stopneme podruhé.

use Time::HiRes;
my($stop1, $stop2);
my @pole;

$stop1 = Time::HiRes::time();

for(my $i=0; $i<1_000_000; $i++){
    $pole[$i] = $i**2;
}

$stop2 = Time::HiRes::time();

print "Výsledek: ", $stop2-$stop1, "\n";

Měření rychlosti běhu programu pomocí modulu Benchmark

Výkonostní testy jsou v Perlu ale obvykle záležitostí modulu Benchmark. Ten již máte s největší pravděpodobností v systému předinstalován.

Výše uvedený kód bychom mohli přepsat za pomoci modulu Benchmark. Tím získáme i podprobnější informace.

use Benchmark;
my($stop1, $stop2);
my @pole;

$stop1 = new Benchmark;

for(my $i=0; $i<1_000_000; $i++){
    $pole[$i] = $i**2;
}

$stop2 = new Benchmark;

print "Cas: ", timestr(timediff($stop2, $stop1)), "\n";

Přehled funkcí v Benchmark

Benchmark zpřístupňuje mimo již uvedených timediff a timestr několik dalších funkcí, pomocí nichž lze měřit čas běhu a porovnávat je. Mimo zmiňovaných budeme používat nejčastěji také následující.

Nejjednodušší funkcí ze všech je timeit. Na základě počtu opakování a kódu provede výkonostní test a vrátí objekt typu Benchmark. Tedy v podstatě to, co jsme dělali v obou příkladech.

Kód je třeba uvést tak, jako kdyby měl být předán funkci eval. Musíme zabránit, aby byl vyhodnocen dříve, než bude předán funkci timeit, neboť by tak byl celý test znehodnocen. Použijeme tedy apostrofy.

$i=0;
my $o = timeit(1_000_000, '$pole[$i] = $i**2; $i++');
print timestr($o);

Můžeme si ukázat, jak vypadá výstup po volání timeit. Nejcennějším údajem bude většinou údaj počet_běhů/s.

Podobně funguje také další funkce, timethis. Nejzřetelnější rozdíly oproti timeit jsou v tom, že timethis výsledky přímo tiskne a že lze zadat místo počtu cyklů záporné číslo. To znamená čas násobený -1, po který bude testování běžet.

my $i=0;
timethis(5_000_000, '$pole[$i] = $i**2; $i++');

Doba běhu části kódu je ale v podstatě nicneříkající. Smysl dostává až tehdy, když ji vztáhneme k nějakému srovnatelnému údaji. Proto ve většině případů oceníme spíše funkce k porovnávání. Jednou z nich je funkce timethese, která použije timethis na několik různých úseků.

Porovnání dvou programů

Další funkcí na porovnávání více úseků je cmpthese, kterou jsme siž představili v 25. dílu.

Zkusíme si porovnat rychlosti následujících dvou podprogramů.

sub bubblesort {
  my @a = @_;
  foreach $i (reverse 0..$#a) {
    foreach (0..$i-1) {
        ($a[$_],$a[$_+1]) = ($a[$_+1],$a[$_]) if ($a[$_] > $a[$_+1]);
    }
  }
  return @a;
}

sub quicksort {
  @_ or return();
  my $p = shift;
  return (quicksort(grep $_ < $p, @_), $p, quicksort(grep $_ >= $p, @_));
}

Vygenerujeme tedy náhodnou posloupnost čísel a ty se potom pokusíme seřadit.

my @cisla;
for(my $i=0; $i<100; $i++){
    $cisla[$i] = int rand 100;
}

Pokud chceme zobrazit co nejvíce získaných dat, je výhodné použít cmpthese i timethese najednou.

use Benchmark qw(cmpthese timethese);
$o = timethese(-5, {
    "bubble sort" => sub{bubblesort(@cisla)},
    "quick sort" => sub{quicksort(@cisla)},
    "perl sort" => sub{sort {$a<=>$b} @cisla;},
});
cmpthese($o);

Nyní spustíme program. Výsledek by měl vypadat přibližně takto. Nelze sice objektivně srovnávat výsledky vestavěného příkazu sort s výše uvedenými podprogramy, ale výsledek je jistě zajímavý.

Benchmark: running bubble sort, perl sort, quick sort for at least 5 CPU seconds...
bubble sort:  5 wallclock secs ( 5.21 usr +  0.01 sys =  5.22 CPU) @ 166.86/s (n=871)
  perl sort:  4 wallclock secs ( 5.45 usr +  0.00 sys =  5.45 CPU) @ 3065623.49/s (n=16707648)
 quick sort:  6 wallclock secs ( 5.32 usr +  0.00 sys =  5.32 CPU) @ 2454.14/s (n=13056)
                 Rate bubble sort  quick sort   perl sort
bubble sort     167/s          --        -93%       -100%
quick sort     2454/s       1371%          --       -100%
perl sort   3065623/s    1837162%     124817%          --