Testkonzept - Testrahmenbedingungen

Die allgemeinen Rahmenbedingungen für den Test müssen im Testkonzept dokumentiert werden.

Diese können sich beispielsweise auf Qualitätsanforderungen (benötigten Funktionen im testbaren Zustand) an eine gelieferte Software, auf technische Anforderungen an die Testumgebung (inkl. Ansprechpartner, Umfang, Dauer) zur Verfügung und/ oder auch auf Ressourcenanforderungen (erforderliche Tester, Einrichtung von Berechtigungen) mit Terminbezug (Testzeiträume) beziehen.

Im Rahmen einer Zeitplanung sollten die terminlichen Randbedingungen dokumentiert werden. Dabei sind insbesondere Start- und Endtermine der verschiedenen Projektphasen interessant.

Zudem sollten Informationen aus dem Betrieb bezüglich der Systemverfügbarkeit von Testsystemen und Testumgebungen abgefragt und dokumentiert werden.

Hilfreich ist es auch, die Ressourcenverfügbarkeit zu dokumentieren. Dadurch kann vermieden werden, dass kritische Testphasen in Urlaubszeiten oder auf besondere Geschäftstermine (beispielsweise Jahresabschluss) gelegt werden.

In einem Testkonzept sind auch Mindestanforderungen hinsichtlich der Rahmenbedingungen für Testumgebung, Defectmanagement, Verantwortlichkeiten, Ziele des Testvorgehens, die zu verwendenden Testmethoden/ Testverfahren festzulegen. Nachfolgende werden exemplarisch diesbezügliche projektbezogene Aufgaben und formale Anforderungen abgeleitet.

Testrahmenbedingungen für projektbezogene Aufgaben und formale Anforderungen
»	Es ist eine detaillierte Planung der Testaktivitäten mit Terminen und Ressourcen zu erstellen.
»	Methoden zur Testvorbereitung und Testdurchführung müssen festgelegt werden
»	Testobjekte müssen identifiziert und einer Risikobewertung unterzogen werden
»	Es muss eine Liste der Testobjekte mit Risikobewertung, ein Zeitplan der Testvorbereitung und -durchführung sowie eine Zuordnung zu den Testern erstellt werden.
»	Verbindliche Testkriterien (Test-Start- und Test-Ende) müssen definiert werden
»	Anforderungen an die Testumgebung müssen festgelegt werden
»	Testumgebung muss von Produktivumgebung getrennt sein
»	Im Teststatus sind Testergebnisse und geplante Aktivitäten zu dokumentieren
»	Testergebnisse sind nach Testphasen/-stufen getrennt zu dokumentieren.
»	Identifizierte Fehler sind zu dokumentieren und zu priorisieren.

(System-) Voraussetzungen für Testbeginn

Folgende grundlegende Mindestvoraussetzungen müssen erfüllt sein
»	Die benötigten Funktionen werden bis zum Testbeginn in einem testbaren Zustand bereitgestellt. Es erfolgt ein Annahmetest.
»	Die Hardware für die Entwicklertests, Funktions- bzw. Funktionskettentests steht qualitativ und quantitativ zur Verfügung.
»	Die entsprechenden User müssen im den Testsystemen angelegt und berechtigt sein.
»	Die benötigten Testdaten müssen strukturiert, konsistent und in vollem Umfang im System vorhanden sein.
»	Ressourcen stehen ausreichend zu den erforderlichen Terminen zur Verfügung.
»	Die Tester haben zu Beginn der Tests ausreichende Kenntnisse, um die Testfälle anhand der ihnen zur Verfügung gestellten Unterlagen möglichst selbstständig bearbeiten zu können.

Die oben genannten Mindestvoraussetzungen sind als allgemeingültige Festlegungen zu verstehen. Spezielle Bedürfnisse sollten in der jeweiligen Teststufe dokumentiert werden.

Festlegung von verbindlichen Testkriterien

Testkriterien sind Kriterien, die ein Softwaresystem oder eine Komponente für das Bestehen eines Tests erfüllen muss.

Testeingangskriterien

Die Testeingangskriterien müssen im Vorfeld definiert werden und legen fest, unter welchen Bedingungen der Test in einer Teststufe/-art begonnen werden kann und wann die Lieferung der Software als untestbar abgewiesen werden kann. Hierbei handelt es sich um eine spezifische Erweiterung der Voraussetzungen für den Test.

Unter Testeingangskriterien ist die Menge der Bedingungen zu verstehen, die erfüllt sein muss, damit in einem Prozess die Durch-bzw. Fortführung bestimmter Aktivität(en) ermöglicht wird.

Die vorangegangenen Teststufen und -arten sollten erfolgreich abgeschlossen worden sein, zumindest in wesentlichen Teilen. Gegeben Falls kann auch eine Parallelisierung von Aktivitäten verschiedener Teststufen/ Testarten sinnvoll sein, so dass z.B. das parallel zur Testausführung im Funktionstest die Testdatenbereitstellung für den Funktionskettentest erfolgt oder das während des Schnittstellentests erste Performancetests durchgeführt werden.

Akzeptanz Test (Annahmetest = Überprüfung Eingangskriterien für jeweilige Teststufe)

Dieser Test wird durchgeführt, um zu entscheiden, ob ein Testobjekt für eine bestimmte Teststufe zugelassen werden kann. Dabei wird eine Teilmenge der bestehenden Testfälle festgelegt, die das Testobjekt als Eintrittskriterium für die Teststufe bestehen muss

Testendekriterien

Die Kriterien für das Testende müssen im Vorfeld definiert werden, um zu wissen, wann das Qualitäts- und Testziel erreicht wurde. Abhängig von der Relevanz des Testobjekts werden in den verschiedenen Teststufen und Testarten unterschiedliche Kriterien angesetzt.

Kriterien für die Beendigung sind beispielsweise:

» Die Erreichung eines definierten Testabdeckungsgrades

» Die Anzahl der verbliebenen Fehler ist geringer als die definierte Grenze

» Alle Kern-Tests sind bestanden

Als Testende Kriterium die abgelaufene Zeit oder einen erreichten Termin zu wählen sollte vermieden werden, da es sich bei Testendekriterien um ein Qualitätsziele handelt und alle nachfolgenden Teststufen durch eine mögliche schlechte Qualität behindert werden oder im schlimmsten Fall nicht durchgeführt werden können.

Testabbruch und Testaufnahmekriterien

Ist eine Fortsetzung des Tests wegen gravierender Mängel nicht sinnvoll, kann der Test abgebrochen und zu einem späteren Zeitpunkt wieder fortgesetzt werden. Die Kriterien für einen solchen Abbruch und für die Fortsetzung des Tests sind im Testkonzept individuell festzulegen.

Die Testendekriterien sind bei jeder Test-Übergabe einer kritischen Würdigung zu unterziehen. Hierbei sind fachliche und technische Aspekte zu berücksichtigen. Testendekriterien sind immer in der Mehrzahl festzulegen.

Ein Test gilt als erfolgreich abgeschlossen, wenn:

» alle fachlichen Anforderungen an das Testobjekt vollständig und korrekt umgesetzt sind

» alle möglichen Fehleingaben überprüft wurden

» alle spezifizierten Testfälle ausgeführt wurden

» es keine produktionsgefährdenden Fehler gibt

Nachfolgend wird eine mögliche Priorisierung von Testfällen sowie Eingangs-, Ende-, Abbruch- und Wiederaufnahmekriterien für alle Testphasen beschrieben.

Testeingang Kriterien
»	Alle für den Test notwendigen Dokumente sind bereitgestellt
»	Spezifikation für die jeweilige Testphase ist fertig gestellt und formal geprüft/ abgenommen
»	Alle Testressourcen, die im Testplan bestimmt sind, sind verfügbar
»	Alle für die Durchführung benötigten Testmittel sind für die Tester verfügbar
»	Alle speziell für die jeweiligen Testphasen definierten Eingangskriterien sind erfüllt
»	Alle Programmeinheiten und Subsysteme der betrachteten Testphase haben die vorhergehende Testphase erfolgreich abgeschlossen

Testende Kriterien
»	Alle Testfälle mit der Priorität 1 sind durchgeführt. Es bestehen keine produktionsverhindernden Fehler bzw. gibt es einen Termin für die Fehlerbehebung und den Re- Test vor Produktivsetzung
»	Alle Testberichte liegen vor
»	Softwarekorrekturen haben einen Regressionstest erfolgreich durchlaufen

Testabbruch- und Wiederaufnahmekriterien
»	Unter Umständen kann es sinnvoll sein, die Testaktivitäten zu unterbrechen, weil der Stand der Software sich in einem derart schlechten Zustand befindet, dass die Durchführung weiterer Tests keine neuen Erkenntnisse schaffen würde und eine Unwirtschaftlichkeit in der Ressourcenplanung zur Folge hätte

Spezielle Eingangskriterien zum Start der Testphase Systemtest
»	Fach- und Design Konzepte sind abgenommen sowie die Realisierung der zugehörigen Komponenten ist abgeschlossen
»	Systemtestkonzept ist erstellt und abgenommen
»	Programme wurden vor dem Start in den Systemtest getestet und vom Entwickler als technisch korrekt bestätigt
»	Erhebung und Füllung der Parameter ist so weit abgeschlossen, dass keine Behinderung des Systemtests zu erwarten ist
»	Tester verfügen über die benötigten Zugriffsberechtigungen auf alle relevanten Systeme

Spezielle Eingangskriterien zum Start der Testphase Integrationstest
»	Systemtest ist beendet
»	Integrationstestkonzept ist erstellt und abgenommen
»	Ergebnisse des Systemtestes sind in der Art so bewertet, dass es Sinn macht, mit dem Integrationstest zu beginnen
»	Tester verfügen über die benötigten Zugriffsberechtigungen auf alle relevanten Systeme