Testkonzept - Testrisikomanagement

Die Aufgabe eines Testrisikomanagements ist es, auf Risiken frühzeitig hinzuweisen und diese zu reduzieren.

Zudem kann durch eine strukturierte Risikoanalyse auch der Aufwand für Qualitätssicherungsmaßnahmen optimiert werden, indem die verfügbaren Ressourcen nicht über alle Aktivitäten gleichmäßig sondern unter Risikoaspekten verteilt werden.Damit werden Teile, die ein hohes Risiko für das Unternehmen beinhalten intensiver getestet, als welche mit geringem Risiko.

Gegebenenfalls können auch Teile nicht getestet werden, da zu wenig Zeit verfügbar ist und diese für hochkritische Funktionen benötigt wird. So lässt sich vor Inbetriebnahme auch eine Aussage treffen, wo Fehler auftreten können und wo sie eher unwahrscheinlich sind. Dadurch können sich je nach Projektrisiko für Testobjekte unterschiedliche Verfahren und Testendekriterien ergeben.

Eine Risikoanalyse wird in zwei Schritten vorgenommen:

1.

Bewertung

des Projektes

Risiko, welches für das Unternehmen besteht, wenn das Projekt nicht rechtzeitig realisiert wird oder die Software nicht in der gewünschten Qualität fertig gestellt wird.

2.

Bewertung

der Testobjekte

Einzelne Testobjekte der Teststufen werden einer Risikobewertung (z.B. gemäß einer ABC Risikoanalyse) unterzogen.

Bei hochkritischen Projekten sollte eine vollständige Äquivalenzklassenanalyse mit anschließendem Entscheidungstabellentest durchgeführt werden, bei gering kritischen Projekten kann hingegen die Abdeckung aller positiven und fehlerhaften Kann-Felder ausreichen.

Nr.	Risiko	Maßnahme	Eintrittswahrscheinlichkeit
1
2
3
4
5

Nachfolgend werden die Risiken beschrieben, bei denen mit möglichen Auswirkungen auf den gesamten Testprozess und die Produktion zu rechnen ist.

Änderung von Anforderungen
Sämtliche Änderungen von Anforderungen müssen im laufenden Testbetrieb beachtet werden und können zu einem Mehraufwand im Testbereich führen. Je später die Anforderungsänderungen bekannt werden, desto höher sind der Testaufwand und das Risiko, dass die damit verbundenen Modifikationen an bestimmten Softwarekomponenten nicht hinreichend getestet werden können und in der Produktion empfindliche Störungen des Geschäftsbetriebs auftreten.

Personal
Zur Durchführung der Aufgaben wird projektabhängig ein bestimmtes Kontingent an Fach- und IT-Spezialisten sowie gesonderten Vollzeit-Mitarbeitern im Testkernteam benötigt. Eine Beschränkung der benötigten Ressourcen führt unter Umständen zu Verzögerungen im Test- und Testprozessfortschritt und kann somit Auswirkungen auf den gesamten Zeitplan eines Projekts haben.

Projekt und Produktionsbetrieb
Softwarekomponenten und Prozesse, die aufgrund verspäteter Zulieferung, Zeitmangel oder Ressourcenknappheit nur unzureichend getestet werden können, stellen ein großes Risiko sowohl für den Zeitplan des Projekts, als auch für die Produktionsumgebung dar, da keine ordnungsgemäße Beurteilung über den Qualitätsstand der einzelnen Komponenten getroffen werden kann. Die möglichen Auswirkungen in der Produktion reichen hierbei von einzelnen Verzögerungen im Geschäftsbetrieb bis hin zu einem vollständigen Prozessstillstand.

Testwerkzeuge und Hilfsmittel
Zur Testfallerstellung, Testplanung, Testdokumentation und für das Test Reporting muss ein geeignetes Testtool eingesetzt werden, dessen konkrete Nutzung in ein separates Nutzungskonzept zu dokumentieren ist. Zur Unterstützung des Abweichungsprozesses ist ein Ticketsystemsystem zu verwenden, welches sämtliche Fehler der Testdurchführung erfasst und verwaltet und zusätzlich auch geeignete Auswertungsmöglichkeiten zur Verfügung stellen kann

Da einerseits für alle Testobjekte eine Risikoanalyse erforderlich ist, aber andererseits ein Testen auch nach wirtschaftlichen Gesichtspunkten durchgeführt werden muss, sollten die Testobjekte kategorisiert werden. Eine Kategorisierung kann über die Risikoklasse und die Komplexität erfolgen.

Risikoklasse	Mögliche Kriterien zur Beurteilung
A	Hohe Auswirkung auf Geschäftsbetrieb
	Zentrale Funktionalität
	Hohe finanzielle Einbußen
B	Mittlere Auswirkung auf Geschäftsbetrieb
B	Kaum finanzielle Einbußen
C	Unwesentliche Auswirkungen auf Geschäftsbetrieb
C	Kein Kunde ist betroffen

Mit den Risikoaspekten soll dem möglichen Schaden aus Fehlern in der Produktion Rechnung getragen werden. Mit den Komplexitätsaspekten soll die Wahrscheinlichkeit von Fehlern, auf Grund von Einflussfaktoren bei der Realisierung, einbezogen werden.

Risikoklasse	Mögliche Kriterien zur Beurteilung
1	Komplexe Realisierung
	Viele Beziehungen zu anderen Funktionen
	Neue Felder oder Funktionen
2	Mittlere Komplexität
	Einige Masken
	Nur Änderung von Feldern/Funktionen
3	Geringe Komplexität

Risikoaspekte beim Testumfang

Ein Testumfang ist abhängig von den Ergebnissen einer Risiko- und Auswirkungsanalyse, die neben der Risikobereitschaft und auch die Komplexität berücksichtigt, die dem Testobjekt zu Grunde liegt. Hierbei sollte auch differenziert werden, ob es sich um eine neue Software oder um weiterentwickelte Softwareänderung handelt und inwieweit sich diese Maßnahme auf kritische und/oder grundlegende Geschäftsprozesse auswirkt.

Die Auswirkungsanalyse ist eine Untersuchung und Darstellung der Auswirkungen einer Änderung von spezifizierten Anforderungen auf Softwaresysteme oder auf die Komponenten.

Bei Wartungsentwicklungsleistungen ist zumindest ein Test der Schnittstellen und/ oder die technische Lauffähigkeit durchzuführen und zu dokumentieren.

Risikoaspekte bei Einbindung zusätzlicher Themen in eine Testphase

Wird beispielsweise eine Komponente des Gesamtsystems so spät fertig, dass diese nicht in allen gemäß der Meilensteinplanung vorgesehenen Testphasen getestet werden kann, ist vor einer Teilnahme an einem Integrationstest eine ausreichende Qualität dieser Komponente sicherzustellen:

Mögliche Verfahrensweise

» Analyse der Risiken eines reduzierten Testumfangs

» Entscheidung, ob die Komponente in die laufende Testphase integriert wird

» Modultest inkl. Schnittstellentest ist in jedem Falle durchzuführen und zu dokumentieren

» Definierte Eingangskriterien für die Testphase sind zu berücksichtigen

Risikoaspekte bei Testende

Für eine Bewertung, ob eine erfolgreich Teststufe abgeschlossen ist, muss die geforderte Testabdeckung gegen die zu prüfenden Eigenschaften (= Testziel) abgeglichen werden. Eine Dokumentation, ob das Testende erreicht wurde, sollte unter einer Berücksichtigung von vorab festzulegenden Qualitätssicherungspunkten in der Form von schriftlich fixierten Protokollen erfolgen.

Werden für eine einzelne Teststufe bereits die definierten Test-Eingangsvoraussetzungen nicht erfüllt, besteht ein erhebliches Risiko für den zeitgerechten Ablauf des Projektvorhabens. Dies ist rechtzeitig an die Projektleitung zu eskalieren, damit erforderliche Gegenmaßnahmen eingeleitet werden können.

Anmerkung: Risikoaspekte nach MaRisk und GoBS

In den Mindestanforderungen für das Risikomanagement (MaRisk) und in den Grundsätzen ordnungsmäßiger DV-gestützter Buchhaltungssysteme (GoBS) wird ein fachlicher Test gefordert.

Es ist hierbei unerheblich, ob die Software intern erstellt oder extern gekauft wurde. Das einsetzende Unternehmen ist für die Ordnungsmäßigkeit der Software innerhalb der Systemumgebung verantwortlich.

Im Rahmen eines funktionsfähigen internen Kontrollsystems ist es von daher eine elementare Voraussetzung, dass zur Einhaltung einer Funktionstrennung es erforderlich ist, dass die Fachabteilung die erforderlichen fachlichen Tests durchführt und die fachliche Produktivfreigabe verantwortet.

Ein internes Kontrollsystem umfasst alle Formen von Überwachungsmaßnahmen, die unmittelbar oder mittelbar in die zu überwachenden Arbeitsabläufe integriert sind (prozessabhängige Überwachung).

Die Überwachungsmaßnahmen werden von Personen oder Organisationseinheiten vorgenommen, die an den jeweiligen Arbeitsabläufen beteiligt sind und häufig für das Ergebnis der zu überwachenden Prozesse wie auch das Überwachungsergebnis selbst verantwortlich sind.

ABC-Risiokoanalyse

Im Rahmen einer ABC Risikoanalyse kann eine Kategorisierung von Testobjekten vorgenommen werden, um darauf aufbauend eine risikoadäquate Aufwandsplanung zu ermöglichen. Diese Kategorien sollen für eine Zuordnung von adäquaten Qualitätssicherungsschritten zum Testobjekt behilflich sein.

Einstufung des Risikos und der Komplexität

	Risiko (Qualitätsanforderung)		Komplexität (Aufwand)
A	Hoch	1	Hoch
B	Mittel	2	Mittel
C	Gering	3	Gering

Das Risiko definiert welche Anforderungen (Buchstaben A – C) an die Qualität (Testabdeckung) gestellt werden muss, damit die erforderliche Sicherheit erreicht wird bzw. das Risiko welches man bereit ist einzugehen, das etwas ggf. nicht wie gewünscht funktioniert.

Die Zahlen 1-3 beschreiben den technischen Aufwand, der bei der Erstellung oder Bearbeitung des Testobjektes anfällt. Für die Ermittlung des Wertes können zum Beispiel Code-Umfang, Anzahl Tabellenzugriffe usw. herangezogen werden.

Eine Testobjektkategorie beinhaltet also immer eine Kombination von Qualität und Aufwand(A1 bis C3).

Die möglichen Werte der Kategorie Risiko werden aus den Qualitätsanforderungen (siehe nachfolgendes Beispiel) abgeleitet:

A

Mindestens 3 hohe Anforderung oder 6 mittlere Anforderungen

B

Mindestens 1 hohe Anforderung oder 3 mittlere Anforderungen

Maximal 2 Hohe Anforderungen oder 5 mittlere Anforderungen

C

Anforderungen, die unterhalb B liegen

Eine Formulierung von Qualitätsanforderungen für eine Risikobewertung von Testobjekten könnte wie folgt aussehen:

Einzel-Kriterium	Hohes Risiko	Mittleres Risiko	Geringes Risiko
Verarbeitungsart	Berechnung	Bestandsveränderung	Informativ
Außenwirkung	Kunde geht verloren	Kunde beschwert sich	Nur für interne Kunden
Betroffene	Gesamte Anwendung	Teilanwendung	Einzelnes Programm,
Betroffene	Viele Kunden	Gruppe von Kunden	Einzelner Kunde
Komplexität	Hoch	Mittel	Gering
Schnittstellen	übergreifend	intern	Lokal