Der Freigabetestleiter, auch bekannt als Testmanager, ist eine zentrale Figur im Prozess der Software-Freigabe, insbesondere beim Umgang mit den Ergebnissen des Abnahmetests und der Steuerung der Freigabephase.
Er koordiniert das Freigabetestteam und trägt gemeinsam mit dem IT-Projektleiter die Verantwortung für die Planung und Überwachung der Fehlerbehebung sowie für die Nachverfolgung der Fehlerbeseitigung.
Der Freigabetestleiter spielt eine Schlüsselrolle bei der Bestimmung des fachlichen Umfangs eines Releases und wirkt eng mit dem operativen und zentralen Releasemanager bei der Auslieferung eines Releaseverbunds an den Betrieb zusammen.
Ein Test Manager ist üblicherweise für Planung, Aufwandschätzung, Anleitung, Steuerung Überwachung und Kontrolle von Testaktivitäten sowie für den Einsatz von benötigten Testressourcen verantwortlich.
Des Weiteren zählen auch die Überwachung der Einhaltung von regelbasierter nachvollziehbaren Testverfahren und die Bewertung des Testobjekts samt den Ergebnissen aus den Teststufen zu den obligatorischen Aufgaben eines Test Managers.
Test Manager müssen zudem im Bereich des Softwaretestens über ein gutes Methodenwissen verfügen. Sie sind Experte für die Testplanung und Teststeuerung und haben zugleich auch Kenntnisse in den Bereichen Qualitätsmanagement, Projektmanagement und Personalführung vorzuweisen.
Als Teststeuerung bezeichnet man die Managementaufgabe zur Entwicklung und Anwendung von Korrekturmaßnahmen, um in einem Testprojekt eine Abweichung vom geplanten Vorgehen zu beherrschen. |
Im Rahmen eines Testprozesses müssen verschiedene generische Aufgabenpakete erfüllt werden:
Die oberste Ziele eines Test Managers sind die Sicherstellung der Durchführung des Testvorhabens in der geplanten Qualität, im geplanten Zeitrahmen und im Rahmen des geplanten Budgets.
Bei großen Projekten bietet es sich an, jeweils einen Test Manager auf der fachlichen und einen Test Manager auf der IT-Seite einzusetzen, die sich regelmäßig gegenseitig austauschen.
In der Rolle eines Test Managers verantworten wir alle Aktivitäten rund um den Test, klären offene Fragen bei unscharfen Anforderungen, führen standardisierte Teststrukturen mit dem Ziel eine möglichst hohe Testabdeckung mit möglichst geringer Anzahl von Testfällen erreichen zu können ein und entscheiden unter Kosten- Nutzenaspekten über das richtige Maß der Testfalloptimierung.
Im Wesentlichen geht es hier um:
Unser grundsätzliches Rollenverständnis, exemplarisch aufgeführt |
» Definition und Aufsetzen der gesamten Testorganisation |
» Leitung eines Testteams im Rahmen eines konkreten Testvorhabens |
» Planung und Abstimmung von benötigten Ressourcen (Testmitarbeiter) |
» Planung und Festlegung der Teststrategie, Testziele, Teststufen und Testprozesse |
» Erstellung und Pflege Testkonzept, Testplan, Testausführungsplan und Testzeitplan |
» Planung, Organisation, Koordination, Kontrolle, operative Steuerung
und Unterstützung |
» Abstimmung Testzeiträume und diesbezügliche Information an beteiligten Fachbereiche |
» Organisation Bereitstellung von Testumgebung, Testdaten und Testwerkzeuge durch IT |
» Überwachung Einhaltung von Vorgaben zu Testmethoden und Qualitätssicherungsstandards |
» Aufbau wiederverwendbare Teststrukturen und Teststandard |
» Festlegung von Testregel und Testmethoden für die Testdurchführung |
» Unterstützung Testdurchführung durch Bereitstellung geeignete Testwerkzeuge |
» Verantwortung für die Umsetzung der vereinbarten Testvorgehensweise |
» Systematische Überwachung und Bewertung des Testprozessfortschritts (Teststatusbericht) |
» Kontrolle Fehlerlisten aus Testbetrieb (inkl. Klärung von Problemen) |
» Überprüfung der Testdokumentation hinsichtlich formaler Korrektheit und inhaltlicher Angemessenheit der Tests, ggf. Hinweise auf Schwachstellen |
» Risikomanagement (testbezogene Risiko- und Aufwandsanalysen, Testabdeckungsgrad) |
» Verantwortung für Prüfung und Abschluss der Testaktivitäten |
» Vorbereitung Abnahmeerklärungen für die jeweiligen
Fachverantwortlichen, die |
» Anforderung von Abnahmen nach erfolgreicher Durchführung der letzten Testphase |
» Einholung Abnahmeerklärungen von den jeweiligen Fachverantwortlichen |
» Weiterreichung Abnahmeerklärungen an das Release Management |
Genauer beschrieben obliegen dem Test Manager die vielfältigsten Aufgaben und Aktivitäten.
Unter Berücksichtigung der geplanten Software Auslieferungstermine und sonstigen Randbedingungen setzt der Test Manager einen Zeitplan für den Test auf und stimmt die Terminplanung u.a. auch gegen konkurrierende Vorhaben (z.B. Patch- und Wartungstermine) ab.
Anschließend erstellt der Test Manager für die am Test beteiligten Einheiten eine Übersicht über den zeitlichen Testverlauf, aus dem insbesondere die einzelnen Testphasen und damit die benötigten Bereitstellungstermine für Testumgebungen und Testkapazitäten hervorgehen.
Test Manager benötigt zur frühzeitigen Orientierung und ersten Testvorbereitung vom jeweiligen Themenverantwortlichen einen Teststeckbrief, aus dem eine überblickende Auskunft über die zu testenden Systeme und die erforderliche Testumgebung hervorgeht und daraus der grobe Testablauf und die erforderliche Testunterstützung abgeleitet werden kann. Aus Gesamtüberblick aller Teststeckbriefe können so auch gegenseitige (konkurrierende) Abhängigkeit ermittelt werden.
Für komplexe fachliche Änderungen reicht ein Teststeckbrief oftmals nicht aus. Ist ein umfangreicher Test über verschiedene Software erforderlich, muss in der Regel zusätzlich auch ein Testkonzept erstellt werden.
Ein Testkonzept soll beispielsweise u.a. detailliert Auskunft geben, was getestet bzw. wird nicht getestet wird, wie der Test durchgeführt werden soll, welche Testfälle und Testbeteiligte benötigt werden.
Während der Testphase wird vom Test Manager auch ein regelmäßiges Meeting (Jour Fixe) mit dem Ziel einberufen, einen laufenden Überblick über den aktuellen Status der laufenden Tests zu erhalten und somit Risiken rechtzeitig zu erkennen und daraufhin frühzeitig Gegenmaßnahmen und/ oder eine Anpassung der Ressourcenplanung einleiten zu können.
Eine Abstimmung zwischen Testmanagement, Fachbereichen und IT bezüglich der zu bereinigenden Fehler muss spätestens nach Abschluss einer Testphase ergeben, wie mit gemeldeten Fehlern umzugehen ist.
Es ist nicht auszuschließen, dass hiernach verschiedene Meilensteine verschoben werden müssen. Der Testmanager muss dieses entsprechend berücksichtigen und die sich ergebenen Auswirkungen zeitnah kommunizieren.
Des Weiteren verantwortet der Test Manager eine regelmäßige - sowie zum Abschluss einer Testphase - Erstellung von Berichten die den testenden Fachbereichen zur Verfügung gestellt wird.
Diese Übersichten enthalten beispielsweise Angaben über den Testfortschritt (Testabdeckungsgrad in Bezug auf die geplanten Testfälle) und eine Einschätzung des Teststatus (Testzeitplan, Fehleraufkommen). Diesen Report ist insbesondere auch die Anzahl, der Status und die Priorität von Fehlermeldungen samt einer Zuordnung zu den betroffenen Bereichen zu entnehmen.
Die einzelnen themenbezogenen Statusberichte stellt der Test Manager zu einem Managementreport zusammen.
HP Application Lifecycle Management (HP ALM) ist die Nachfolgeversion des Testmanagementwerkzeuges HP Quality Center (HP QC) und dient u.a. zur Unterstützung des Testmanagements sowie zur Dokumentation von Testaktivitäten.
Das HP ALM Testing Modul stellt sicher, dass der gesamte Testprozess für alle am Test beteiligten Projektmitarbeiter organisierbar, nachvollziehbar und steuerbar ist. Gegenüber dem Testmanager bietet das Modul zum jeden Zeitpunkt die Möglichkeit eine Aussage zum Testfortschritt und zur Fehlersituation treffen zu können.
Unter Testmittel sind alle Artefakte (Dokumente, Skripte, Testdaten, Datenbanken, Server, erwartete Ergebnisse, für das Testen verwendete Softwareprogramme usw.) zu verstehen, die während des Testprozesses erstellt werden und für die Planung und Durchführung von Tests erforderlich sind. |
Die im Bereich HP ALM Testing enthaltenen Module für die Spezifikation und Durchführung von Tests unterteilen sich in die HP ALM Module Test Resources, Test Plan, Test Lab und Test Runs auf.
Das HP ALM Modul Test Resources dient der Verknüpfung von Testmittel mit konkreten Testfällen. Die Testressourcen können in einer hierarchischen Baumstruktur verwaltet und den Tests zugeordnet werden.
Das HP ALM Modul Test Plan dient der Beschreibung, des Imports und der Verwaltung von Testfällen. Darunter sind u.a. Aktivitäten wie Testfälle entwerfen und priorisieren zu verstehen.
Das HP ALM Modul Test Lab dient der Ausführung von Testfälle und der Dokumentation von Testergebnissen. Darunter sind u.a. Aktivitäten wie Testszenarien mit zugehörigen Testfällen festlegen und strukturieren zu verstehen.
Das HP ALM Modul Test Runs dient der Dokumentation aller durchgeführten Testläufe. Darunter sind u.a. Aktivitäten wie die Analyse von Testergebnissen und die Zuordnung von Defects zum Testlauf zu verstehen.
Für die Erstellung einer ersten Testobjektstrukturgliederung ist ein automatischer Export (via Funktionalität "Convert to Test") aus dem Requirements Modul - damit auch eine Verfolgbarkeit der Anforderungsabdeckung („Requirement Coverage“) - möglich.
Die Testfallerstellung (samt Vorbedingungen, Anweisungen der Ausführung und erwartete Test Ergebnisse, ggf. Nachbedingungen) muss auf Basis der dokumentierten Anforderungen in detaillierten Testschritten („Design Steps“) beschrieben werden.
Die Erstellung von Testszenarien („Test Sets“) für die Testausführung erfolgt hingegen später im HP ALM Modul Test Lab.
Ein klarer und präziser Testplan ist das Fundament für alle erfolgreichen Tests und ermöglicht die Qualität der Anwendung an jedem Punkt im Testmanagementprozess zu beurteilen.
Das HP ALM Modul Test Plan ermöglicht:
Anbei eine Auswahl der verfügbaren Registerkarten für die Dokumentation im HP ALM Modul Plan:
HP ALM Registerkarten |
Erläuterung |
Details [Einzelheiten] |
Aufführung von wesentlichen Informationen zum ausgewählten Test. |
Design Steps [Entwurfsschritte] |
Detaillierte Anweisungen (Vorgaben, erforderliche Eingaben, erwartete Ergebnisse etc.) zur schrittweisen Durchführung von ausgewählten Tests. |
Test Configurations [Testkonfiguration] |
Anzeige der Konfigurationen eines ausgewählten Tests. |
Attachments [Anhänge] |
Auflistung von Anhänge, die zusätzliche Informationen zum ausgewählten Test enthalten. |
Requirement Coverage [Anforderungsabdeckung] |
Auflistung von Anforderungen, die vom ausgewählten Test erfüllt werden. |
Linked Defects [Verknüpfte Felder] |
Auflistung von Fehlern, die mit dem ausgewählten Test verknüpft sind. |
Business Models Linkage [Geschäftsmodellverknüpfung] |
Auflistung von die Business Process-Modellentitäten, die mit dem derzeit ausgewählten Test verknüpft sind. |
History [Historie] |
Auflistung von Änderungen auf, die am ausgewählten Test vorgenommen wurden: - Reiter Versions (Anzeige von früheren Versionen der Entität, Versionskontrolle) - Reiter Baselines (Anzeige Historie, in denen die Entität vorkommt) - Reiter Audit Log (Überwachungsprotokoll mit Anzeige Datum/ Uhrzeit der Änderung sowie Name des Users, der die Änderung an der Entität vorgenommen hat)
Die Registerkarte Historie ist verfügbar in den HP ALM Modulen: Anforderungen, Geschäftsmodelle, Business Components, Testplan und Testressourcen. |
Anbei eine Auswahl der verfügbaren Felder für die Dokumentation im HP ALM Modul Plan:
HP ALM Attribute |
Beschreibung der Felder |
Comments |
Kommentare zum Testfall |
Creation Date |
Datum der Erstellung des Testfalls |
Description |
Detailbeschreibung zum Testfall |
Expected Result |
Genau Beschreibung des erwarteten Testergebnisses. |
Folder Name |
Testordner |
Name |
Name des Testfalles |
Priority |
Priorität des Testfalls |
Status |
Auskunft über den Bearbeitungsstand des Testfalls » Design (Testfall wurde noch nicht abschließend beschrieben) » Imported » Ready (Testfall kann im Modul Test Lab eingeplant werden) » Repair » Review |
Type |
Typbezeichnung Testfall (manuell angelegt vs. maschinell importiert) |
Im HP ALM Modul Testplan können Tests in einer hierarchischen Baumstruktur entwickelt und verwaltet aber auch die Anforderungsabdeckung ermittelt werden, indem die Anforderungen ausgewählt und ihre Beziehung zu einem Test über eine Verlinkung verfolgt wird. Alternativ lässt sich aber auch im HP ALM Modul Requirements die Testabdeckung ermitteln, indem die Tests ausgewählt und mit einer Anforderung verknüpft werden.
In beiden Fällen gilt folgender Grundsatz: Ein Test kann mehrere Anforderungen abdecken und eine Anforderung kann von mehreren Tests abgedeckt werden.
Des Weiteren können die Tests auch mit eventuellen Fehlern (Defects) verknüpft werden.
Das HP AML Modul Test Lab (Test Labor) ermöglicht die Planung, Erstellung und Verwaltung von Testszenarien („Test Sets“) sowie die manuelle oder automatische Durchführung von Testläufen.
ie Testfälle werden zeitlich zu den Testszenarien („Test Sets“) gruppiert (z.B. nach Geschäftsprozessen) geordnet und den Testern zur Testdurchführung zugeteilt.
Der Testfortschritt kann über den dokumentierten Status stets eingesehen werden.
Die Verwaltung von Fehlern und Abweichungen, die bei der Ausführung eines Tests auftreten, wird im HP ALM Modul Defects durchgeführt Diese werden jedoch direkt bei der Testausführung erfasst und somit so automatisch miteinander verknüpft, dass nach der Beseitigung des Fehlers bei der Durchführung eines Re-Test der zu wiederholenden Testfalls auffindbar ist.
Das HP ALM Modul Test Lab ermöglicht:
Anbei eine Auswahl der verfügbaren Felder für die Dokumentation im HP ALM Modul Test Lab:
HP ALM Attribute |
Beschreibung der Felder |
Assigned to Cycle |
Auswählbarer Testzyklus (via Verknüpfung mit den Werten im HP ALM Modul Management) |
Cycle Start Date |
Angabe Startdatum des ausgewählten Testzyklus |
Cycle End Date |
Angabe Enddatum des ausgewählten Testzyklus |
Folder |
Ordner des Testszenarios/ der Testreihe |
Remaining Days in Cycle |
Verbleibende Testtage im laufenden Testzyklus (für Durchführung des Testprozesses für ein einzelnes bestimmtes Release des Testobjekts. |
Description |
Detailbeschreibung zum Testlauf |
Name |
Name des Testlaufs (Testszenarios) |
Modified |
Datum der letzten Änderung |
Close Date |
Enddatum des Testlaufs [Abschlussdatum] |
Open Date |
Startdatum des Testlaufs [Anfangsdatum] |
Status |
Status eines Leistungstestlaufs oder eines Testreihenlaufs (Testszenario)
Mögliche Werte: » offen [open] » geschlossen [closed] |
Target Cycle |
Zyklen sind Entwicklungsschritte zur Qualitätssicherung, die einem gemeinsamen zuvor definierten Release Termin untergeordnet sind. Anschließend können die Testzyklen den Anforderungen, Testfällen und Defects (via Verknüpfung mit den Werten im HP ALM Modul Management) zugeordnet werden. |
Type |
Die Testart des Tests (z.B. Performance Test, System Test) |
Das HP AML Modul Test Runs ermöglicht das Anzeigen und Analysieren von Testlaufdaten für Testläufe und kann auch Ausführungsberichte erzeugen.
HP Quality Center (HP QC) ist eine webbasierte Applikation für alle wesentlichen Aspekte des Testmanagements, der Testplanung (Testfälle, Releases), des Fehlermanagements (Defects) aber auch des Anforderungsmanagements (Requirements).
HP QC Tool wird jedoch vorrangig als Werkzeug zur Testvorbereitung und zur Testdurchführung verwendet.
Mit HP Quality Center können Applikationen schnell und effektiv getestet werden. Hierfür werden vom HP Quality Center einheitliche und wiederholbare Prozesse für das Aufstellen von Anforderungen, die Planung und das Scheduling (Zeitplanerstellung) von Tests bereitgestellt.
Damit können während der Testausführung die Testergebnisse analysiert sowie die Fehler und Probleme nachverfolgt werden.
Das HP Quality Center Testfall Import System (HP QC TIS) ist eine webbasierte Applikation zum Import von Testfallmatrizen (Funktionskettentests) in HP Quality Center Projekte.
Grundsätzliches Vorgehen beim Import von Testfällen mittels HP QC-TIS ins HP Quality Center:
Aufbau HP QC (HP Quality Center) |
|
|
||
Bereich Management [Repräsentation der Release Planung] |
Hier werden die Release Termine hinterlegt.
|
|
||
Bereich Requirements [Repräsentation der Anforderungen] |
Hier werden Anforderungen zu Geschäftsprozessen hinterlegt.
|
|
||
Bereich Business Compenents |
Hier werden die Elemente für den Geschäftsprozess-orientierten Test hinterlegt |
|
|
|
Bereich Testplan [Testfallerstellung, Testfallbeschreibung] |
Hier werden alle Testfälle hinterlegt.
Die Hinterlegung erfolgt mit Unterstützung des HP QC TIS. Die Anlage der Struktur erfolgt durch Ordner und Tests, wobei ein Test einem Testfall entspricht: » Erstellung eines Testfall-Portfolios von Testmanager und Testern » Ausführung dieser Testfälle im Arbeitsbereich Test Lab im Kontext zu einem Release oder Teststufe
Ordner dienen der besseren Übersichtlichkeit, zur Strukturierung der Testfälle und haben folgende Attribute: » Description: Feld zur Beschreibung des Testobjektes oder Testzieles » Attachments: Anhängen verschiedener Filearten, URL’s, Snapshots, System Informationen, Einbindung HTML-Dokumente und Screen » Details: Allgemeine Informationen zum Testfall » Design Steps: Für jeden Testfall werden die benötigten Steps (Testschritte) hinterlegt » Test Script: Testautomation für manuelle Tests nicht verwendet » Attachments: Anhängen verschiedener Filearten, URL´s Snapshots und System Informationen, einbindung von HTML Dokumente » Req Coverage: Anzeigen der verknüpften Requirements » Linked Defects: Anzeige Defects, die mit Testfall verbunden sind |
|
||
Bereich Test Resources [Übergreifend genutzte Komponenten] |
Dieser Bereich wird für die Testautomatisierung benötigt. |
|
||
Bereich Test Lab [Testausführung] |
Hier werden die Testfälle – zugeordnet zum jeweiligen Release - abgelegt, die im Rahmen der jeweiligen Releases tatsächlich getestet werden. Die Anlage der Struktur erfolgt durch Release Ordner und Testsets. Unter einem Testset werden die verschiedenen Testfälle aus dem Testplan vermerkt.
Unter einem Testset werden die verschiedenen Testfälle aufgeschlüsselt. Bei der Anlage eines Testsets wird nach Namensvergabe im rechten Bereich der Testplan angezeigt (ggf. Wechsel auf Reiter Execution Grid nötig). Hierheraus können die Testfälle ausgewählt werden, die innerhalb des Testsets genutzt werden sollen. |
|
||
|
||||
|
|
|||
Bereich Defects [Erkannte Fehler] |
Hier werden Fehler, die während der Testdurchführung gefunden werden, dokumentiert.
Über die Schaltfläche New Defect wird das Detailfenster zur Erfassung des Fehlers angezeigt. Die Pflichtfelder, die erfasst werden müssen, sind rot markiert dargestellt. |
|
||
Bereich Dashboard [Berichte und Analysen] |
Hier können Reports (Auswertung und Testberichte) erzeugt werden.
|
|
Für die jeweiligen Bereiche lassen sich Rollen (Tester, Developer, Defect Manager, Testmanager, Reporter, Viewer etc.) und Rechte (anlegen, ändern, löschen, nur lesen etc.) definieren.
Um eine Testabdeckung der Requirements ermitteln zu können, müssen die Testfälle aus dem Testplan mit den Requirements verknüpft werden. Dies kann wie folgt durchgeführt werden:
Um einen Bezug zwischen einem Requirement und einem Release herzustellen, muss in den Details der Releases angegeben werden, in welchem Release dies vorkommt:
Um den Bezug Release zum Testfall herzustellen, müssen die tatsächlich zu testenden Testfälle mit dem Release verknüpft werden:
Wird ein Defect nicht direkt über den Testfall erstellt, muss nachträglich eine Verknüpfung zu den Testfällen im Testlab hinterlegt werden.
Dies erfolgt, indem der jeweilige Testfall durch Doppelklick ausgewählt wird. Anschließend werden die Details des Testfalls, inkl. der Anzeige wie oft ein Testfall getestet wurde, angezeigt
Testablagestruktur (Mindestinformationen) |
» Release (Für welches Release wurden die Tests durchgeführt) |
» Teststufe (Unterscheidung nach Teststufen, damit pro Teststufe ein Teststatus abrufbar ist) |
Regeln für Test Sets |
» Festlegung einer verbindlichen Ablagestruktur |
» Kopie der Test Sets für ein neues Release |
» Zuordnung der Test Sets über die Ordner und das Feld „Assigned to Cycle“ zu einer Teststufe und somit zu einem Release |
» Anlegen eines eigenen Test Sets „Regressionstest“ |
Die Testdurchführung in HP QC kann erst gestartet werden, wenn die Requirements, der Testplan und das Testlab mit allen erforderlichen Verknüpfungen korrekt verknüpft sind. Die Verknüpfung erfolgt über Testlab.
Für die Testdurchführung muss das jeweils zu testende Testset ausgewählt werden. Über die Schaltfläche RUN wird mit dem Test begonnen. Zunächst wird hierbei der markierte Testfall inklusiv zugehöriger Beschreibung angezeigt. Die Schaltfläche End Run beendet den Test und über die Funktion Cancel Run wird der Test abgebrochen.
Nachdem mit dem Test begonnen wurde, werden die einzelnen Testschritte angezeigt und können Schritt für Schritt mit dem entsprechenden Ergebnis dokumentiert werden. Dies entspricht dem Detailfenster des Testfalls.
Im Bereich Description wird die Schrittbeschreibung angezeigt. Im Bereich Expected wird das erwartete Ergebnis vermerkt. Im Bereich Actual wird bei Abweichung das aktuelle Ergebnis dokumentiert.
Ein Testfall wird in HPQC je nach Ergebnis der einzelnen Schritte gekennzeichnet als: |
» Passed |
» Failed |
» Not Completed |
|
Hinweise: - Ein Testfall, der noch nicht getestet wurde, wird mit dem Status No Run aufgeführt. - N/A wird beim Testfall verwendet, der doch nicht innerhalb des Laufes getestet wird |