Usability-Metriken
IWSM/MetriKon 2004
Usability-Metriken als Nachweis der Wirtschaftlichkeit
von Verbesserungen der Mensch-Maschine-Schnittstelle
Bela Mutschler*, Manfred Reichert+
* DaimlerChrysler Forschung, REI/SP, 89013 Ulm
+ Universität Ulm, Abteilung Datenbanken und Informationssysteme, 89069 Ulm
Zusammenfassung:
Die Gestaltung von Benutzerschnittstellen ist ausschlaggebend für die Akzeptanz
eines Software-Systems. Methoden des Usability Engineering zielen auf die Ent-
wicklung von Systemen mit möglichst hoher ergonomischer Güte sowie aufgaben-
gerechter Funktionalität. Usability-Metriken werden im Projekt-Controlling dazu
benutzt, um zu bewerten, inwieweit die Anwendung von Methoden des Usability
Engineering in existierenden Entwicklungsprozessen zu einer verbesserten Be-
dieneffizienz und Nutzerakzeptanz führt. Der wirtschaftliche Fokus liegt – sofern
solche Aspekte überhaupt in die Motivation zur Erhebung von Usability-Metriken
einfließen – oftmals nur auf einem einzigen, monetär erfassbaren Faktor, wie zum
Beispiel dem Return on Investment (RoI). Dagegen fehlt bisher eine grundlegende-
re Motivation zur Verdeutlichung der Korrelation zwischen den Methoden des U-
sability Engineering und der gesamtwirtschaftlichen Perspektive eines Software-
projekts. Dieser Beitrag soll die Verknüpfung zwischen der Usability und Wirt-
schaftlichkeit eines Systems aufzeigen und motivieren. Die geeignete Methodik der
Wahl für diese Aufgabe sind Usability-Metriken.
Schlüsselbegriffe
Usability Engineering, Usability-Metriken, Wirtschaftlichkeit
Abstract:
The adequate design of user interfaces is crucial for the acceptance of any soft-
ware system. Methods for usability engineering (including usability metrics for
measuring the impacts of applied changes) gain an increasing interest in both
academia and industry. In this context usability metrics can be applied to evaluate
whether the integration of usability engineering methods in existing software de-
velopment processes results in a better usability and user acceptance. In many
cases an economic-oriented evaluation is only based on a single business ratio like
return on investment. This paper gives a more systematic motivation regarding the
correlation between usability engineering methods and the added value to a soft-
ware project. Usability metrics have proven as a suitable method for this purpose.
Keywords
usability engineering, usability metrics, economic efficiency
Proc. IWSM / MetriKon Workshop on Software Metrics (IWSM / MetriKon'04),
Königs Wusterhausen, Germany, November 2004, pp. 407-418
Bela Mutschler, Manfred Reichert
Software Measurement Conference
1 Motivation
Methoden des Usability Engineering stellen nicht die Anwendungsfunktionalität
einer Software, sondern deren Benutzer und Interaktionen mit dem Anwendungs-
system in den Vordergrund (Mensch-Maschine-Interaktion). Die Gestaltung der
Benutzeroberfläche ist entscheidend für die Akzeptanz und Qualität [2] eines Sys-
tems. Benutzerschnittstellen haben deshalb, mit steigender Tendenz, einen hohen
Stellenwert in der Systementwicklung. Daneben dient eine nutzerfreundliche und
aufgabenorientierte Bedienoberfläche mehr und mehr auch als Differenzierungs-
instrument im Wettbewerb der Produkte. Durch den Rückgriff auf Methoden des
Usability Engineering sollen Systeme mit hoher ergonomischer Güte und aufga-
bengerechter Funktionalität entstehen. Usability Engineering soll dabei nicht als
Sammlung zusammenhangloser Einzelmethoden eingesetzt werden, sondern
muss typischerweise in einem übergeordneten "Lifecycle" zur Anwendung kom-
men. Die Aktivitäten dieses Lifecycles beginnen dabei bereits weit vor dem ei-
gentlichen User Interface Design und beziehen auch die Nutzungsphase nach
Projektende mit ein. Inzwischen existieren zahlreiche Varianten solcher (mehr
oder weniger vollständigen) Lifecycle-Modelle, die sich vor allem in ihrer Ver-
flechtung mit existierenden Entwicklungsprozessen unterscheiden. Bekannte
Vorgehensmodelle sind zum Beispiel der Usability Engineering Lifecycle [12],
die Delta Method [4], das Contextual Design [1], das Scenario-based Develop-
ment [18] und das Usage-Centred Design [5]. Keiner dieser Ansätze zeigt jedoch
die Zusammenhänge zwischen den zur Anwendung kommenden Methoden des
Usability Engineerings und der gesamtwirtschaftlichen Perspektive eines Soft-
wareprojekts auf. Gerade diese Sichtweise ist aber wichtig, um Aussagen zur tat-
sächlichen Wertschöpfung des Projektes (vgl. auch [14]) machen zu können.
Ziel dieses Beitrags ist es, die Verknüpfungen zwischen der Usability eines Soft-
ware-Systems und seiner Wirtschaftlichkeit aufzuzeigen. Geeignete Methodik
dazu sind Usability-Metriken. Diese werden bisher vor allem im Controlling ein-
gesetzt, um zu zeigen, dass die Einbeziehung von Usability-Aspekten in den
Software-Entwicklungsprozess zu einer verbesserten Bedienfreundlichkeit und
Nutzerakzeptanz führt. Der wirtschaftliche Fokus liegt – sofern solche Aspekte
überhaupt in die Motivation zur Erhebung von Usability-Metriken einfließen –
oftmals nur auf einem einzigen, monetär erfassbaren Faktor, beispielsweise dem
Return on Investment (RoI) oder dem Net Present Value (NPV), der dem Kapi-
talwert entspricht. Eine systematischere Darstellung der Korrelation zwischen
Methoden des Usability Engineering und der gesamtwirtschaftlichen Perspektive
eines Softwareprojekts ist dagegen in der existierenden Literatur nicht zu finden.
Für Wirtschaftlichkeitsbetrachtungen spielen dabei nicht nur die Usability-
Kosten, sondern gerade auch die Usability-Benefits eine entscheidende Rolle, da
diese einen erheblichen, wenn auch in vielen Fällen schwer quantifizierbaren Ein-
fluss auf die Wirtschaftlichkeit eines Projektes besitzen. Kapitel 2 stellt die wich-
tigsten Usability-Metriken vor. Kapitel 3 geht auf Wirtschaftlichkeitsbetrachtun-
Usability-Metriken
IWSM/MetriKon 2004
gen in Softwareprojekten ein. Kapitel 4 führt diese Aspekte zusammen und zeigt,
welche Zusammenhänge zwischen der Usability eines Software-Systems und des-
sen Wirtschaftlichkeit bestehen und wie diese systematisch zu begründen sind.
Kapitel 5 schließt den Beitrag mit einem Ausblick ab.
2 Usability-Metriken
Mit Hilfe von Usability-Metriken können die Effekte angewandter Usability En-
gineering Methoden erfasst und dargestellt werden. In den letzten Jahren sind be-
reits eine Reihe von Usability-Metriken definiert und im praktischen Einsatz ge-
testet und validiert worden [9, 10, 11, 15, 16, 17]. Der Interpretation von Messer-
gebnissen muss jedoch eine geeignete Datenerfassung vorausgehen [3, 14]. Bevor
wir einzelne Usability-Metriken genauer vorstellen, beschreiben wir deshalb zu-
nächst Vorgehensweisen zur Erhebung von Usability-Daten.
2.1 Erhebung von Usability-Daten
Usability-Metriken basieren auf Usability-Daten, für deren Erhebung verschiede-
ne Methoden eingesetzt werden können. Den Ausgangspunkt bilden Usability-
Tests, wobei sich drei Methodenklassen (vgl. Abbildung 1) unterscheiden lassen.
Befragungsmethoden dienen der Erfassung subjektiver Empfindungs- und Ver-
haltensdaten einer Testperson. Gemeint sind "weiche" Daten wie Meinungen oder
Gefühle. Befragungen sind die am häufigsten verwendete Methode der Datener-
hebung und sind üblicherweise stark zielgeleitet, d.h. die Festlegung des Befra-
gungszieles bildet die wichtigste Voraussetzung. Deshalb sollte bereits in der
Vorbereitungsphase definiert werden, was mit den Daten der Befragung passiert:
Soll ein Bild des Ist-Zustandes generiert werden? Sollen aus den Antworten der
Befragung geeignete Lösungsansätze oder Maßnahmen abgeleitet werden, oder
sollen nur mögliche Handlungsfelder bestimmt werden? Ist es unter Umständen
erforderlich, eine Befragung in bestimmten Abständen zu wiederholen, um zeitli-
che Entwicklungen zu erkennen? Die Antworten auf diese Fragen geben erste
Hinweise darauf, welcher Typ von Befragung bzw. welches Erhebungsinstrument
für das aktuelle Projekt besonders geeignet sind und welche Schwerpunkte in der
Befragung sinnvollerweise gesetzt werden sollten. Da Befragungen einen nicht
unerheblichen Zeit- und Kostenaufwand verursachen und meist erst nach ihrer
Auswertung feststeht, inwieweit relevante Sachverhalte berücksichtigt und in den
Ergebnissen enthalten sind, ist eine Zieldiskussion ratsam. In gewissen Fällen
kann es sogar sinnvoll sein, Personen aus der Zielgruppe der Befragung in die
Definition der Ziele einzubeziehen.
Mit der Fragebogenmethode lassen sich Individuen und Gruppen miteinander
vergleichen, wodurch Unterschiede bzw. Veränderungen über variierende Situati-
onen hinweg erhoben und verdeutlicht werden können. Eine mündliche Befra-
gung ist eine Methode zur Gewinnung von Informationen im Gespräch, die weit-
Bela Mutschler, Manfred Reichert
Software Measurement Conference
gehend ohne technische Hilfsmittel auskommt und für vielfältige Zwecke ein-
setzbar ist. In standardisierten Befragungen haben vorgegebene Antwortformate
eine wichtige Bedeutung für die Interpretation der Fragen, weil durch die Ant-
wortvorgabe der Interpretationsspielraum eingeschränkt und Mehrdeutigkeiten
somit von vorneherein reduziert werden. Befragungen sind somit das "Standard-
instrument" zur Ermittlung von Fakten, Wissen, Meinungen, Einstellungen oder
Bewertungen. Sie sind eine Datenerhebungstechnik, bei der die Informationen
durch Interaktion eingeholt werden.
Beobachtungsstudien spielen als zweite grundlegende Form zur Erhebung von
Usability-Daten vor allem dann eine wichtige Rolle, wenn es herauszufinden gilt,
wie gut oder schlecht Anwender mit einem System zurecht kommen. Ein Usabili-
ty-Test, bei dem die Aktionen, Reaktionen und Verhaltensweisen der Testperso-
nen bei der Erledigung von typischen Aufgaben mit einem System auf Video auf-
gezeichnet und in Logfiles protokolliert werden, kann wertvolle Hinweise auf
erforderliche Systemanpassungen liefern. Auch im Bereich der Beobachtungsme-
thoden existieren mittlerweile viele einsetzbare Techniken. So können Aufgaben-
analyseverfahren dazu benutzt werden, Tätigkeiten bei der Interaktion mit einem
Systems detailliert zu beschreiben. Bei Beobachtungen mit Logfile-Unterstützung
werden alle Nutzeraktionen in der Interaktion mit dem System (manuell oder au-
tomatisch) registriert und mitgeschrieben. Die Dokumentenanalyse (DA) dient der
Gewinnung von Informationen zum Bedien-/Benutzungsverhalten (zzgl. äußerer
Bedingungen während der Aufgabenbearbeitung) und zur Einbindung der Aufga-
benbearbeitung in den Gesamtkontext des Benutzerverhaltens. Hilfreich kann die
Methode des lauten Denkens (Think Aloud) mit anschließender Videoauswertung
sein. Die heterarchische Aufgabenanalyse (HAA) ist ein Analyseverfahren, das
die Gestaltung von Benutzungsoberflächen während der Softwareentwicklung
unterstützt. Die Critical Incident Technique (CIT) dient zu Identifizierung von
kritischen Ereignissen. Die Blickbewegungsmessung (Eye-Tracking) erfasst, wel-
che Objekte in welcher räumlichen Richtung wie lange angesehen werden. Sie ist
ein Indikator für die tatsächliche Aufmerksamkeitsverteilung eines Probanden.
Mit experimentellen Untersuchungen werden Bedingungen oder Situationen
durchgespielt (unabhängige Variablen), um festzustellen, ob verschiedene Varia-
tionen zu Unterschieden in den Leistungs-, Verhaltens- und Akzeptanzdaten (ab-
hängige Variablen) der Untersuchungsteilnehmer führen. Nachfolgend sind einige
wichtige Experimenttypen beschrieben. Der Belastungsverlaufstest ist ein Ra-
tingverfahren, mit welchem Befindensveränderungen erfasst werden, die durch
Belastungen während der Bearbeitung einer Testaufgabe hervorgerufen werden.
Die populäre Methode des Cognitive Walk-through ist eine für Experten konzi-
pierte Evaluationsmethode zur Analyse vorgegebener Handlungsabläufe auf Basis
einer bereits realisierten Gestaltungslösung. Bei der Conjoint-Analyse (CA) wird
die Bedeutung einzelner Produkteigenschaften für die Zielgruppe erfasst. Das
Endbenutzerfeedback nimmt eine Erhebung und Auswertung von Endbenutzer-
Rückmeldungen zu Zufriedenheit und zu Bedienproblemen mit dem Endprodukt
Usability-Metriken
IWSM/MetriKon 2004
im alltäglichen Gebrauch vor. Die Fehleranalyse bei Neu-Nutzern dient dazu, die
benötigte Zeit sowie Art und Anzahl der Fehler bei einer Aufgabenbearbeitung zu
ermitteln. Gleichzeitig soll dadurch ein Gütekriterium für das System insgesamt
als auch für einzelne Merkmale erarbeitet werden. Die Heuristische Evaluation
ist wie der Cognitive Walk-through eine (jetzt allerdings eher informelle) Exper-
tenmethode für die Beurteilung der Benutzungsfreundlichkeit bzw. Gebrauchs-
tauglichkeit eines Entwurfs oder einer technischen Gestaltungslösung. Die Szena-
rio- oder Imaginationstechnik ist eine Möglichkeit, reale Abläufe oder Prozesse
durch verschiedene Arten von Assistenz technisch nachzubilden oder die mensch-
liche Vorstellungskraft durch detaillierte bildhafte Beschreibungen anzuregen.
Erhebung von
Usability-Daten
Befragungsmethoden Beobachtungsstudien Experimente
Fragebogenmethode
Mündliche Befragungen
standardisierte
Befragungen
Aufgabenanalyse-
verfahren
Beobachtung durch
Logfile-Protokollierung
Dokumentenanalyse
Methode des lauten
Denkens (Think Aloud)
Heterarchische
Datenanalyse
Critical Incident
Technique
Eye-Tracking
Belastungsverlaufstest
Cognitive Walkthrough
Endbenutzer-Feedback
Conjoint-Analysis
Fehleranalysen
Heuristische Analysen
Szenario- und
Imaginationstechnik
Abbildung 1: Methoden und Verfahren zur Erhebungen von Usability-Daten.
In Abhängigkeit von der Zahl und Art der Zielgruppe der an einem Usability-Test
teilnehmenden Probanden muss vor Beginn des Usability-Tests eine geeignete
Stichprobe von Testnutzern zusammengestellt werden. Welche Größe die Stich-
probe haben muss, hängt stark von der Art der Fragestellung sowie der Gruppen-
größe und -beschaffenheit (heterogen, homogen) ab. Ist die Stichprobe zu groß,
ist der Aufwand zur Durchführung und Auswertung erheblich, ist die Stichprobe
zu klein, kann das daraus resultierende Bild verzerrt sein, so dass Schlussfolge-
rungen unmöglich sind. Auch wenn die Stichprobe selbst nicht sorgfältig genug
ausgewählt worden ist, kann das von ihr gezeichnete Bild verzerrt sein und zu
falschen Annahmen und Folgerungen führen. Deshalb ist es wichtig, möglichst
alle betroffenen Nutzergruppen einzubeziehen.
2.2 Usability-Metriken
Auf den durch die Datenerhebung gewonnenen Messdaten setzen nun Usability-
Metriken auf. Einige wichtige Metriken sind:
Bela Mutschler, Manfred Reichert
Software Measurement Conference
• Erfolgsrate (Success Rate). Die Erfolgsrate bezeichnet die Prozentzahl der
von einem Testnutzer erfolgreich beendeten Testaufgaben in einem Usabili-
ty-Test. Eine Zeitvorgabe existiert nicht. Entscheidend ist allein, ob ein
Nutzer in der Lage war, die ihm gestellte Aufgabe zu erfüllen. Um diese
Metrik zu berechnen, kann jede Testaufgabe mit einer bestimmten Punkt-
zahl verknüpft werden. Bei der anschließenden Auswertung werden die
Punktzahlen eines Nutzers oder wahlweise auch die Punktzahlen aller Pro-
banden einer Testaufgabe zu einer Gesamtpunktmenge addiert und mit ei-
ner vorgegebenen Orientierungszahl (zum Beispiel der Menge der maximal
erreichbaren Punkte) verglichen.
• Time2Task. Die Usability-Metrik Time2Task weist eine ähnliche Zielset-
zung wie die bereits beschriebene Erfolgsrate auf. Dem Probanden wird ei-
ne Testaufgabe gestellt. Entscheidend ist nun aber nicht mehr allein, ob ei-
ne Aufgabe erfolgreich beendet wird. Hinzu kommt der zuvor noch ausge-
klammerte Zeitfaktor. Zu diesem Zweck wird die Zeit gestoppt, die ein
Nutzer für die Erledigung einer Aufgabe benötigt.
• Nutzerzufriedenheit (Spaßfaktor). Die Nutzerzufriedenheit ist eine Usabili-
ty-Metrik, die nur sehr schwer quantifizierbar ist. Sie erfasst die subjekti-
ven Eindrücke des Testnutzers während eines durchgeführten Usability-
Tests. Dies kann Vor- und Nachteile haben. Als schwierig erweist sich ins-
besondere die Benennung von Gütekriterien, anhand derer ein Nutzer eine
Bewertung abgeben soll. Als positiv ist dagegen der Umstand einzuschät-
zen, dass über die Nutzerzufriedenheit ein globales Feedback zum
Look&Feel der getesteten Anwendung ermittelt werden kann. Dies ist vor
allem bezüglich der Abgrenzung des eigenen Produktes gegenüber Kon-
kurrenzprodukten von Interesse.
• Anzahl der Hotlineanrufe. Die Anzahl protokollierter Hotline-Anrufe ist
eine besonders geeignete Metrik, um die positiven Effekte von Usability-
Engineering-Methoden zu belegen. Dahinter steht die Überlegung, dass
Anwendungen mit schlechter oder unausgereifter Benutzerschnittstelle
auch in vielen Fällen zu Bedienproblemen führen, die wiederum Unsicher-
heiten und Angst im Umgang mit der Anwendung zur Folge haben. Dem-
entsprechend kommt es häufig zu Situationen, in denen Nutzer auf die Un-
terstützung des Support-Teams angewiesen sind. Der (oft kostenpflichtige
und kostenintensive) Support-Anruf verbleibt dann in vielen Fällen als ein-
ziger Ausweg. Gleiches gilt für die Anzahl der Supportanfragen per Email.
Neben diesen klassischen Usability-Metriken existieren in gewissen Anwen-
dungsdomänen, etwa im E-Commerce und Web (z.B. Onlineshops, Intranets,
Webclients) noch weitere Metriken, die ebenfalls wertvolle Rückschlüsse auf die
Usability erlauben. Einige typische Beispiele solcher Metriken sind: Traf-
fic/Netzwerkaufkommen, Besucherzahl einer Webseite (Visitor Count), Verkaufs-
Usability-Metriken
IWSM/MetriKon 2004
rate (Sales Rate), Anzahl der Besucher, die tatsächlich vom Kauf eines Produktes
überzeugt werden können (Conversion Rate), und, daraus abgeleitet, Verhältnis
zwischen potentiellen und tatsächlichen Kunden.
Nachdem konkrete Usability-Metriken beschrieben sind, sollen nun wichtige Ba-
siskonzepte von Wirtschaftlichkeitsrechnungen erläutert werden.
3 Grundlagen der Wirtschaftlichkeitsrechnung
Aktuell befinden sich viele IT-Abteilungen im Übergang von reinen Cost-Centern
zu Profit-Centern, weswegen Wirtschaftlichkeitsanalysen zu einem immer wich-
tigeren Bestandteil im Projektcontrolling und für Investitionsentscheidungen
werden. Bedingt durch die zunehmende Heterogenität existierender IT-
Infrastrukturen werden die an den Geschäftsprozess „IT“ gerichteten Anforde-
rungen und Rahmenbedingungen immer komplexer. Wirtschaftlichkeitsanalysen
werden so zu einem entscheidenden Werkzeug, um kurz- und langfristige Pro-
jektentscheidungen zu unterstützen. Nur eine systematische Wirtschaftlichkeits-
rechnung ermöglicht es, die vielfältigen, den Fortschritt eines Projektes beeinflus-
senden Argumente zusammenfassen und daraus eine integrierte Kosten-Nutzen-
Funktion abzuleiten. Abbildung 2 zeigt eine mögliche Struktur für die Durchfüh-
rung einer fundamentalen Wirtschaftlichkeitsanalyse [13], die das Ziel hat, Pro-
jektentscheidungen aus einer wirtschaftlichen Perspektive heraus zu unterstützen.
Deutlich zu erkennen sind die drei grundlegenden Säulen jeder Wirtschaftlich-
keitsanalyse: die Kostenanalyse, die Nutzenanalyse und die Risikoanalyse.
Im Mittelpunkt der Kostenanalyse stehen die tatsächlichen Projektkosten inklusi-
ve der anfallenden Folgekosten des Projektes. Um die Kosten anhand einer ge-
eigneten Struktur überschaubarer zu machen (man spricht auch von einer Kosten-
struktur), wird zwischen Kosten in den Bereichen Hardware, Software, Personal,
Infrastruktur und externen Dienstleistungen unterschieden. Methodisch-
systematisch können für die Kosten-Messung drei Verfahrenskategorien unter-
schieden werden. Die direkte Messung der Kosten umfasst alle Kosten, die unmit-
telbar der Buchhaltung oder einer anderen betriebswirtschaftlichen Kalkulation
entnommen sind (Beispiel: Personalkosten). Die indirekte Messung der Kosten
umfasst alle Kosten, die entweder nicht direkt messbar sind oder die, etwa wegen
des damit verbundenen Aufwands, nicht direkt gemessen werden können (Bei-
spiel: Summe aller vertriebsrelevanten Aufwendungen). Die letzte Verfahrenska-
tegorie der ordinalen Messung der Kosten umfasst schließlich die nur schwer er-
fassbaren „emotional“ motivierten Kosten (Beispiel: Mitarbeitermotivation).
Bela Mutschler, Manfred Reichert
Software Measurement Conference
Kostenanalyse RisikoanalyseNutzenanalyse
Hardware
nicht-monetärer
Nutzen
monetärer
Nutzen
Ext. DL
Infrastruktur
Personal
Software
Wirtschaftlichkeitsanalyse / -betrachtung / -berechnung
Entscheidungsgrundlage
Pro/Contra Investition
Abbildung 2: Die drei Säulen der Wirtschaftlichkeitsanalyse [nach 13].
Den Kosten unmittelbar gegenüber steht als zweite der drei großen Säulen die
Nutzenanalyse. Da erst durch Berücksichtigung des Nutzens eine wirklich sinn-
volle Wirtschaftlichkeitsanalyse durchgeführt werden kann, ist die Nutzenunter-
suchung von großer Bedeutung. Analog zur Kostenstruktur spricht man von einer
Nutzenstruktur. Methodisch-systematisch können auch für die Nutzen-Messung
drei Kategorien von Verfahren unterschieden werden. Die direkte Messung des
Nutzens (monetär) umfasst alle mittelbar messbaren Erträge (Beispiel: Umsatz).
Dagegen umfasst die indirekte Messung des Nutzens jeden nur indirekt ermittel-
baren, quantifizierbaren Nutzen (Beispiel: Erträge einer konkreten Marketing-
Aktion für ein bestimmtes Produkt). Die ordinale Messung des Nutzens (nicht
monetär) schließlich umfasst den „emotionalen“ Nutzen (Beispiel: Kundenzu-
friedenheit).
Die dritte Säule der Wirtschaftlichkeitsanalyse ist schließlich die Risikoanalyse,
deren Ziel es ist, vorhersehbare Probleme zu dokumentieren, deren Eintrittswahr-
scheinlichkeiten zu evaluieren, auftretende Auswirkungen zu bestimmen und
mögliche Ernstfallszenarien zu kalkulieren und zu planen.
Üblicherweise basieren Wirtschaftlichkeitsanalysen auf Informationen, die durch
das Controlling eines Unternehmens zur Verfügung gestellt werden. Dabei han-
delt es sich in der Regel um vergangenheitsbezogene Daten, deren Fortschreibung
in zukünftige Szenarien nicht immer unproblematisch ist. Andererseits ist es
schwer nachvollziehbar, den Nutzen einer Investition ausschließlich zum Zeit-
punkt der Investition selbst zu betrachten, denn schließlich ist es die Aussicht auf
spätere, vorteilhafte Änderungen vor allem in der Kostenstruktur eines Unter-
nehmens, die eine entscheidende Motivation ist.
Usability-Metriken
IWSM/MetriKon 2004
4 Usability und Wirtschaftlichkeit
Nachdem wir die Grundlagen von Usability-Metriken und Wirtschaftlichkeitsana-
lysen vorgestellt haben, soll in diesem Kapitel die zumindest nicht offensichtli-
che, möglicherweise aber schon deutlich gewordene Verbindung zwischen beiden
Teilbereichen aufgezeigt und motiviert werden. Nach unserem Verständnis ist ei-
ne kombinierte Betrachtung vor allem der zu erwartenden Usability-Kosten und
Usability-Benefits von entscheidender Bedeutung. Projektrisiken spielen dagegen
zunächst nur eine untergeordnete Rolle.
Usability-Kosten sind Aufwendungen, die vor, während und nach dem Einsatz
von Usability Engineering Methoden anfallen. Dazu gehören u.a. die Anschaf-
fung eines Usability-Labors sowie gestiegene Entwicklungskosten (bedingt durch
höhere Personalkosten für Usability-Experten und die Durchführung und Aus-
wertung von Usability-Tests). Usability-Kosten können somit in vielen Fällen
einfach bestimmt werden, da die kostenverursachenden Investitionen gut nach-
vollziehbar sind. Aus dem gleichen Grund sind Usability-Kosten aber auch kein
geeigneter Ansatzpunkt für Metriken, da außer den reinen Investitionskosten
nichts anderes gemessen werden kann. Usability-Benefits sind demgegenüber
(monetäre und nicht-monetäre) Erträge des Einsatzes von Usability Engineering
Techniken. Sie fallen in verschiedenen Projektphasen in unterschiedlichen Pro-
jektbereichen (z.B. Projektmanagement, Dokumentation, Entwurf, Entwicklung,
Support und Training, Unternehmensstruktur) an. Grundsätzlich lassen sich drei
grundlegende Wirkungsrichtungen unterscheiden: eine Steigerung der Produkti-
vität, eine Reduktion anfallender Kosten und eine bessere Wettbewerbsfähigkeit
(Markenimage, Unternehmensaußenwirkung, Branding). Mit den erläuterten U-
sability-Metriken können diese Benefits gut veranschaulicht und empirisch nach-
gewiesen werden. Um die positiven Auswirkungen auf die Wertschöpfung zu
verdeutlichen, wird nachfolgend für alle genannten Wirkungsrichtungen ein Bei-
spielszenario (inklusive geeigneter Usability-Metriken) herausgegriffen und be-
schrieben.
Die Usability-Metrik, mit der eine Steigerung der Produktivität am einfachsten
nachgewiesen werden kann, ist Time2Task (vgl. Abschnitt 2.2). Dazu ein (stark
vereinfachtes) Beispiel: zu einer Anwendung wird ein umfangreicher Usability-
Test durchgeführt, in dessen Verlauf die Testpersonen typische Aufgabenstellun-
gen lösen müssen. An einem durchschnittlichen Tag werden 1000 Anwendungs-
sessions mit einer Dauer von je einer Stunde durchgeführt. Soll vor Projektbeginn
abgeschätzt werden, zu welcher Wertschöpfung ein Usability-orientiertes Rede-
sign führt, muss die mögliche Zeitersparnis abgeschätzt werden (nach Beendi-
gung eines Projektes ist die Durchführung eines zusätzlichen Usability-Test mit
der neuen Anwendung erforderlich, um die zu Beginn nur geschätzten Werte zu
verifizieren). Anhand einer solchen geschätzten Effizienzsteigerung kann dann
die folgende Beispielrechung aufgestellt werden: Wird (konservativ) geschätzt,
dass eine Usability-orientierte Überarbeitung der Anwendung pro zu erfüllender
Bela Mutschler, Manfred Reichert
Software Measurement Conference
Aufgabe zu einer Zeitersparnis von 5% führt (also effektiv 3 Minuten pro An-
wendungssession), kann bei 200 Arbeitstagen im Jahr die Nutzungsdauer der
Anwendung um insgesamt 10000 Stunden gesenkt und dadurch gleichzeitig die
Produktivität erhöht werden (da neue freie Arbeitszeit zur Erledigung anderer
Aufgaben entsteht). Wird weiterhin ein durchschnittlicher Stundenlohn von 60€
angenommen, entspricht dies einer jährlichen Kosteneinsparung von 600.000€.
Die Success Rate, die Nutzerzufriedenheit oder die Anzahl der Hotline-Anrufe
(vgl. Abschnitt 2.2) lassen sich dagegen als Nachweis dieser Wirkungsrichtung
nur schwer einsetzen.
Zweite Stoßrichtung ist die Reduktion anfallender Kosten. Eine für diesen Be-
reich sehr gut geeignete Metrik ist die Anzahl der Hotline-Anrufe bzw. die Kosten
für anfallenden Support. Für die auf Basis von Usability-Gütekriterien erstellten
Anwendungen ist oftmals ein drastischer Rückgang der anfallenden Kosten für
Schulung und Support feststellbar. So kann in vielen Fällen eine große Menge an
Schulungsunterlagen eingespart werden. Darüber hinaus können auch die für das
Support-Team anfallenden Schulungen stark reduziert werden. Dabei profitiert
nicht nur das Support-Team von einer besseren Bedienbarkeit. Gerade auch die-
jenigen Hilfestellungen, die normale Mitarbeiter anderen Kollegen während der
gewöhnlichen Arbeitszeit geben (diese können als inoffizieller Support charakte-
risiert werden), entfallen bzw. werden zumindest stark reduziert. Andererseits
können aber auch die Entwicklungskosten im Projekt stark reduziert werden,
wenn es gelingt, teure, weil zeitintensive Änderungen der Benutzeroberfläche in
späten Projektphasen zu vermeiden. So kann es beispielsweise sinnvoll sein, be-
reits in der Entwurfsphase eines Softwareprojektes Usability-Tests durchzufüh-
ren, obwohl zu diesem Zeitpunkt oftmals noch keine lauffähige Anwendung exis-
tiert. Anhand der Ergebnisse dieser ersten Designstudien zur Gestaltung der An-
wendungsoberfläche (so genannte Mock-Ups), können existierende Gütekriterien
für die Gestaltung nutzerfreundlicher Anwendungsoberflächen (siehe Abbildung
3) bereits frühzeitig umgesetzt werden. Gerade dieses frühe, effiziente und ver-
gleichsweise kostengünstige Testen verschiedener Designs ermöglicht eine recht-
zeitige Fehlererkennung, was zu einer erheblichen weniger Problemen in späteren
Projektphasen führt (und so auch die Nutzerakzeptanz stark erhöht). Dadurch
können die Kosten erheblich gesenkt werden. Auch mit den anderen vorgestellten
Metriken lässt sich auf ähnliche Weise die Reduktion von Kosten nachweisen.
Die dritte unmittelbare Wirkungsrichtung des Einsatzes von Usability Enginee-
ring Methoden ist die Steigerung der Wettbewerbsfähigkeit eines Unternehmens.
Viele Systemhäuser, die im kleinen oder großen Stil Software entwickeln, stellen
heute bereits sehr stark die Usability ihrer Programme in den Vordergrund. Die
Erstellung nutzerfreundlicher und aufgabengerechter Oberflächen wird dabei
auch explizit als Marketing-Instrument zur Stärkung der eigenen Wettbewerbspo-
sition und zur Gewinnung von Wettbewerbsvorteilen benutzt.
Usability-Metriken
IWSM/MetriKon 2004
Verfügbarkeit
Aufgabenan-
gemessenheit
Funktionalität
Rechner
Verfügbarkeit
Benutzung
Benutzer
Nützlichkeit
Komfort
Individualisierbarkeit
Steuerbarkeit
Beeinflussung
Übersichtlichkeit
Selbstbeschreibungs-
fähigkeit
Erwartungskonformität
Fehlerrobustheit
Erlernbarkeit
Orientierung
Abbildung 3: ISO-Gütekriterien für die Gestaltung von Anwendungsoberflächen.
Viele Kunden erwarten heute, dass Anwendungen leicht und intuitiv verständlich
und nutzbar sind. Ist dies nicht der Fall, können direkte Auswirkungen auf das
Image des Unternehmens das Resultat sein. Dabei ist klar, dass in diesem Fall die
positive Wertschöpfung nicht direkt messbar ist (z.B. durch die Time2Task-
Metrik). Stattdessen muss versucht werden, die nur schwierig messbare Kunden-
zufriedenheit „Spaßfaktor“ oder andere nicht-quantifizierbare Faktoren geeignet
zu formalisieren. Eine interessante Variante ist der Gebrauch von Fragebögen,
über die die Probanden eines Usability-Tests qualifizierende, weniger aber quanti-
fizierbare Aussagen zur Usability einer Anwendung machen können. So kann ein
eher allgemeines Stimmungsbild zu einem Produkt gewonnen werden. Auch in
diesem Fall führt die Usability zu (wenn auch nicht direkt messbaren) Benefits.
Die Auswirkungen guter Usability auf die Wirtschaftlichkeit von Projekten lassen
sich also mit Hilfe von Usability-Metriken empirisch belegen. Dabei müssen aber
stets Metriken gewählt werden, die zum aktuellen Projektszenario passen und die
geeignet sind, relevante Aussagen über dessen Wirtschaftlichkeit zu machen. So
bringt es beispielsweise nichts, Web-Metriken für klassische Informationssysteme
einzusetzen. Wurde jedoch eine adäquate Metrik identifiziert, kann anhand dieser
die positive Wirtschaftlichkeit von Usability Engineering Methoden nachgewie-
sen werden. [16] formuliert (und belegt) die These, dass bereits heute 10% eines
Projektbudgets für Usability-Aspekte eingeplant und ausgegeben werden sollten.
Weiterhin wird prognostiziert, dass diese – in vielen Augen vielleicht unverhält-
nismäßig hohe – Prozentzahl zukünftig sogar auf 20% anwachsen muss, um die
optimale Wirtschaftlichkeit eines Softwareprojektes garantieren zu können.
Bela Mutschler, Manfred Reichert
Software Measurement Conference
Literatur
1. H. Beyer, K. Holtzblatt. Contextual Design - Defining Customer-Centered Systems.
Morgan Kaufmann Publishers, San Francisco, 1998.
2. N. Bevan. Measuring Usability as Quality of Use. in “Journal of Software Quality
Issue”, Vol.4/1995, pp. 115-140, 1995.
3. M. Bosch, K. Geerling. Quantifying Usability - A Research on Quantifying Usability
Activities in a Software Development Process. Master Thesis, 2003.
4. P. Carlshambre, M. Rantzner. Business: Dissemination of Usability. Failure of a Suc-
cess Story, 8(1), 2001.
5. L.L. Constantine, L.A.D. Lockwood: Structure and Style in Use Cases for User In-
terface Design, 2000.
6. G.M. Donahue. Usability and the Bottom Line. IEEE Software, January/February
2001, 18(1), pp. 31-37, 2001.
7. R. Fitzpatrick. Strategies for Evaluating Software Usability. Department of Mathe-
matics, Statistics and Computer Science, Dublin Institute of Technology, Ireland,
1999.
8. C. Karat. Cost-Benefit Analysis of Usability Engineering Techniques. Proceedings of
the Human Factors Society, Orlando, Florida, USA, 1990.
9. C. Karat. Cost-justifying Usability Engineering in the Software Life Cycle. in "Hand-
book of Human-Computer Interaction", Elsevier Science, Amsterdam, 1997.
10. C. Mauro. Professional Usability Testing and Return on Investment as it Applies to
User Interface Design for Web-Based Products and Services. Whitepaper, Mauro
New Media, 2002.
11. A. Marcus. Return on Investment for Usable User-Interface Design: Examples and
Statistics. Whitepaper, Aaron Marcus and Associates (AM+A), 2002.
12. D.J. Mayhew: The usability engineering lifecycle - A Practitioners Handbook for
User Interface Design. Morgan Kaufmann Publishers, San Francisco, 1999.
13. L. Meineke: Wirtschaftlichkeitsanalyse: Basis von IT-Projekten. IT-Management,
12/2003.
14. B. Mutschler, J. Bumiller: Improving Return on Investment of Product Data Man-
agement Systems using Usability Engineering. Proceedings PDT Europe 2004,
Stockholm, Schweden, 2004.
15. J. Nielsen. useit.com (alertbox), www.useit.com/alertbox/20010121, 2003.
16. J. Nielsen, S. Gilutz. Usability Return on Investment. Nielsen Norman Group, 2003
17. M. Randolph, G. Bias, D.J. Mayhew (Hrsg.). Cost-Justifying Usability. Morgan
Kaufmann Publishers, San Francisco, 2004.
18. M. B. Rosson, J.M. Carroll. Usability Engineering – Scenario-Based Development of
Human-Computer Interaction. Academic Press, San Diego, 2002.
