Mi kell az eredményes teszteléshez? Mindenekelőtt képzett és motivált tesztelők, de ez még nem elég: tesztelési mérőszámokra is szükség lesz, hogy jól értsük és értelmezzük azt, amit a tesztjeink mutatnak. A tesztelési mérőszámok helyes használata nélkülözhetetlen a szoftverfejlesztés során. A tesztmenedzser a tesztelési mérőszámok segítségével lesz képes monitorozni és kontrollálni a tesztelési folyamatot. Érdemes tehát idejekorán gondoskodni arról, hogy a mérőszámaink rendben legyenek.
Mifélék lehetnek a tesztelési mérőszámok?
- Projekt-mérőszámok. Ezekkel mérhetjük az előrehaladást a kitűzött kimeneti kritérium felé – ilyen lehet az elvégzett, a sikeres és a hibát feltáró tesztek aránya.
- Termék-mérőszámok. A terméket jellemzik, mondjuk azzal, hogy milyen mélységig volt már tesztelve, vagy milyen sűrűn jelentkeznek a hibák.
- Folyamat-mérőszámok. A fejlesztési vagy a tesztelési folyamat minőségét mérik, például az előforduló hibák arányával.
- Emberi mérőszámok. Személyek vagy csoportok értékelése olyan számokkal, mint az adott idő alatt elvégzett tesztesetek mennyisége.
Az adatok egy része azonban a fentiek közül nem csak egy kategóriában értelmezhető. Képzeljünk el egy trendvonalat, amely a naponta feltárt hibák számát mutatja. Ez releváns több szempontból is:
- kimeneti feltétel: nulla új hiba az adott napon
- termékminőség: a tesztelés nem talál új hibákat
- folyamatminőség: a tesztelés az indítást követő időszakban nagyszámú hibát tár fel.
A tesztmenedzser mindenekelőtt a tesztelés haladásának követésére használhatja a mérőszámokat. Emellett a mérőszámok alkalmazása a tesztelők számára lehetővé teszi, hogy egységes formában számoljanak be az eredményekről, és az előrelépés következetes monitorozása is könnyebb.
A tesztmenedzsereknek gyakori feladata, hogy olyan meetingeken prezentálják a mérőszámok alakulását, ahol a döntéshozók is ott vannak. Megesik, hogy egy ilyen esetben a tesztelési mérőszámok közvetlen hatással vannak a projekt pillanatnyi sikerességének megítélésére, ilyenformán pedig a további sorsára. Ezért jó előre alaposan át kell gondolni, hogy pontosan mit akarunk mérni, milyen gyakran számolunk be róla, és milyen formában prezentáljuk az információt.
Mely tesztelési mérőszámok jöhetnek szóba?
A mérőszámok meghatározásakor a következőkre érdemes figyelni:
- ne jelöljünk ki túl sokat, mert elvész a fókusz
- de legyen egyensúly köztük, hiszen egyetlen adat önmagában félrevezető lehet
- a termék/folyamat konkrét célkitűzéseihez igazodjanak
- az érdekelt felek állapodjanak meg előre a számok értelmezésében.
A mérőszámok követésénél ezeket tartsuk szem előtt:
- a riportkészítést a lehető legjobban automatizálni kell, hogy ne rabolja az időt magától a teszteléstől
- a mérések változásai egy adott mutató esetében az elfogadott értelmezéstől eltérő információkat is tükrözhetnek
- a várakozástól eltérő eredmények okait sohasem felesleges elemezni.
A riportolásnál ne felejtsük el:
- a cél, hogy azonnal megérthető információkat nyújtsunk
- egy prezentáció megmutathatja egy adott mérőszám pillanatnyi állapotát, vagy a trendek értékeléséhez beszámolhat annak historikus alakulásáról.
A tesztelési mérőszámok hitelességének biztosításához számoljunk a következőkkel:
- a kapott eredményeket legtöbbször jobb, ha megerősítjük
- egyetlen mérőszám képes hamis képet is festeni a projekt állásáról
- bármely adat prezentálása előtt nemcsak a pontosságát kell ellenőrizni, hanem azt is, hogy milyen üzenetet közvetít.
A szoftvertesztelés bemeneti és kimeneti kritériumai
A bemeneti és kimeneti kritériumok kulcsfontosságú eszközök egy tesztmenedzser kezében, hiszen definiálni lehet velük a játékszabályokat.
A bemeneti kritériumok olyan általános és specifikus feltételek, amelyek teljesülése esetén a folyamat előrébb léphet. Ha jól határoztuk meg őket, akkor nem engedik, hogy olyan feladat induljon el, amely több erőfeszítést igényel, mint ami a belépési kritériumok teljesítéséhez szükséges.
A kimenet kritériumok előre egyeztetett feltételrendszere a folyamat befejezésének ad zöld lámpát. Elejét veszi annak, hogy a folyamatot késznek tekintsük, ha még vannak befejezetlen feladatok. Amellett azt is jelzi, hogy mikor kell abbahagyni a tesztelést.
A tesztmenedzser szerepe:
- biztosítani a megfelelő folyamatokat a bemeneti és kimeneti kritériumok értékeléséhez szükséges információk megszerzéséhez
- gondoskodni arról, hogy az információkkal kapcsolatos követelmények és a begyűjtésük módszereinek meghatározása a teszttervezés része legyen
- egyértelművé tenni, hogy a csapattagok felelősek a pontos információk megfelelő időben történő átadásáért.
A tesztelés lezárása
A szoftvertesztelés lezárásának része az archiválás, valamint a folyamat értékelése (beleértve egy riport elkészítését) a releváns tesztelési mérőszámok segítségével. A konkrét feladatok:
- a tesztelés befejezettségének ellenőrzése
- a tesztelési jegyzőkönyvek átadása
- tanulságok rögzítése
- eredmények, logok, riportok és más dokumentumok archiválása.
„A mérőszámok egy bizonyos érettségi szint felett elengedhetetlenné válnak, és ez a pont meglehetősen gyorsan eljön egy cég életében” – mondja minderről Hargitai Zsolt, a Magyar Szoftvertesztelői Tanács (HTB) alelnöke, az ISTQB marketing munkacsoportjának tagja (ez a világ legnagyobb tesztelési szakmai szervezete, több mint 1 millió vizsgázóval). – Jól rávilágít erre az az angol mondás, miszerint ‘What gets measured, gets done’. Felmérések során rengeteg cégnél lehet látni, hogy vagy nem mérik, amit kellene, vagy gyűjtik a szükségtelen mérőszámokat, és sokszor nem tudják értelmezni őket, esetleg gyűjtik a megfelelő mérőszámokat, de nem kezdenek velük semmit. Mindhárom eset rontja a munka hatékonyságát. A jó megoldás az, hogy ismerve a folyamatokat és céljainkat, a megfelelő mérőszámok gyűjtését határozzuk meg, és következetesen ki is értékeljük őket.”
A TesterLab tanácsadás keretében átsegíti cégét ezen az egyszerűnek tűnő, de korántsem magától értetődő folyamaton, melynek óriási hatása van a sikeres (és kontrollált) teljesítésekre.
