Assessing the Quality of Experience of
Cloud Gaming Services
vorgelegt von
M. Sc.
Steven Schmidt
ORCID: 0000-0001-6620-1997
von der Fakultät IV - Elektrotechnik und Informatik
der Technischen Universität Berlin
zur Erlangung des akademischen Grades
Doktor der Ingenieurwissenschaften
- Dr.-Ing. -
genehmigte Dissertation
Promotionsausschuss:
Vorsitzender: Prof. Dr.-Ing. Jan Nordholz
Gutachter: Prof. Dr.-Ing. Sebastian Möller
Gutachterin: Prof. Dr. Lea Skorin-Kapov
Gutachter: Dr. Raimund Schatz
Tag der wissenschaftlichen Aussprache: 07.07.2021
Berlin 2021
Zusammenfassung
Die Videospielebranche hat den größten Unterhaltungssektor unserer Zeit geschaffen, der schnell
wächst und das Leben vieler Generationen weltweit beeinflusst. Besonders hochkomplexe Spiele
erfordern jedoch, dass Spieler über leistungsstarke Hardware verfügen. So wurde in den letzten Jahren
ein neues Konzept namens Cloud Gaming entwickelt, mit dem Nutzer diese Spiele, die auf einem
Cloud-Server ausgeführt werden, fernsteuern können. Während der Ansatz verschiedene Vorteile mit
sich bringt, stellt die zusätzliche Netzwerkverbindung und Videoverarbeitung viele neue technische
Herausforderungen für Netzbetreiber und Dienstanbieter. Um diese Hindernisse zu überwinden und
die Zufriedenheit ihrer Kunden zu gewährleisten, haben Unternehmen ein starkes Interesse daran, das
Nutzungserleben (Quality of Experience, QoE) der Spieler zu untersuchen und vorherzusagen.
Traditionelle QoE-Evaluierungen von Multimediadiensten verwenden kontrollierte subjektive
Experimente, bei denen die Teilnehmer gebeten werden, ihre Meinung zu präsentierten Stimuli, z.
B. einer Netzwerkbedingung, unter Verwendung validierter Fragebögen nachträglich zu äußern. Um
diesen Beurteilungsprozess zu beschreiben, schlagen Möller und Kollegen (2013) eine Taxonomie
der Qualitätsaspekte von Cloud-Gaming-Systemen vor. Die Anwendbarkeit etablierter Bewertungsme-
thoden zur Messung des hochgradig mehrdimensionalen Konstrukts der Gaming-QoE ist jedoch sehr
begrenzt. Da sich das Gebiet der Gaming-QoE noch in der Anfangsphase befindet, fehlen validierte
Bewertungsmethoden, die speziell für Cloud-Gaming-Dienste entwickelt wurden.
Ziel der vorgestellten Forschung ist es daher, eine umfassende, zuverlässige und validierte
Bewertungsmethode für die Gaming-QoE für Cloud-Gaming-Dienste zu entwickeln und zu evaluieren.
Die Methode ermöglicht die Gestaltung subjektiver Tests zur Erstellung von Datensätzen für
Qualitätsvorhersagemodelle und ermöglicht ein detailliertes Verständnis der Beziehungen zwischen
einer Vielzahl von Qualitätsaspekten.
Als erster Schritt in Richtung eines einheitlichen Evaluierungsansatzes wurden verfügbare
Fragebögen auf kompakte Weise zusammengefasst. Da kein Messinstrument zur Bewertung der
Interaktionsqualität identifiziert wurde, wurde ein neuer Fragebogen, die Gaming Input Quality
Scale (GIPS), entwickelt. Darüber hinaus wurde für dessen Erstellung ein neues Framework zur
Bewertung der Gaming-QoE mithilfe eines Crowdsourcing-Ansatzes entworfen. Zuletzt wurde
die Evaluierungsmethode basierend auf einem großen Datensatz, der dominante Netzwerk- und
Codierungsbedingungen umfasst, unter Verwendung der Strukturgleichungsmodellierung untersucht.
Die Forschung ergab, dass das Crowdsourcing-Framework vergleichbare Ergebnisse wie Laborstu-
dien liefern kann. Zudem wurde gezeigt, dass die entwickelte Evaluierungsmethode zuverlässige und
gültige Benutzerbewertungen liefert und gleichzeitig ein Testdesign ermöglicht, das zur Entwicklung
von Qualitätsvorhersagemodellen geeignet ist. Zusammenfassend sind die Hauptbeiträge der Arbeit
(1) eine empirische Validierung einer Taxonomie von Qualitätsaspekten von Cloud-Gaming-Diensten
sowie der angewandten Bewertungsmethoden, (2) ein neues Framework für die Durchführung von
Qualitätsbewertungsstudien in einer häuslichen Umgebung, die möglicherweise die ökologische
Validität von Studienergebnissen erhöht, (3) ein psychometrisch validiertes und zuverlässiges Instrument
zur Messung der Interaktionsqualität und (4) zahlreiche Beiträge zu Standardisierungsaktivitäten in
Bezug auf Einflussfaktoren (ITU-T Rec. G.1032), subjektive Bewertungsmethoden (ITU-T Rec. P.809)
und ein Planungsmodell zur Vorhersage der QoE von Cloud Gaming (ITU-T Rec. G.1072), die in
Zukunft zu zuverlässigeren, validen und vergleichbaren Forschungsergebnissen führen können.
iv
Abstract
The video gaming industry created the largest entertainment sector in our times that is rapidly growing
and impacts the life of many generations worldwide. However, especially highly complex games
demand players to possess powerful hardware. Thus, in the recent years a new concept called Cloud
Gaming evolved that allows players to remotely control these games running on a cloud server. Whereas
the approach results in various advantages, the additional network connection and video processing
provokes many new technical challenges for network operators and service providers. To overcome
those obstacles, and to ensure the satisfaction of their costumers, companies have a strong interest in
evaluating and predicting the Quality of Experience (QoE) of players.
Traditional QoE evaluations of multimedia services make use of controlled subjective experiments
in which participants are asked to retrospectively express their opinion on presented stimuli, impacted
by e.g., a network condition, using validated questionnaires. Aiming to describe this judgement process,
a taxonomy of quality aspects of cloud gaming systems was suggested by Möller and colleagues (2013).
However, the applicability of established assessment methods to measure the highly multi-dimensional
construct of gaming QoE is very limited. Also, as the field of gaming QoE is still in a nascent phase,
there is a lack of validated assessment methods specifically developed for cloud gaming services.
Thus, the aim of the presented research is to develop and evaluate a comprehensive, reliable,
and validated assessment method of gaming QoE for cloud gaming services. The method will allow
the design of subjective tests to create datasets for quality prediction models and enable a detailed
understanding of the relationships between a broad range of quality aspects.
As a first step towards a unified evaluation approach, available questionnaires were combined
in a concise way. As no measurement tool to assess the interaction quality was identified, a new
questionnaire, the Gaming Input Quality Scale (GIPS), was developed. Furthermore, for its creation, a
new framework to assess Gaming QoE using a crowdsourcing approach was designed. Lastly, based
on a large dataset including dominant network and encoding conditions, the evaluation method was
investigated using structural equation modelling.
The research revealed that the crowdsourcing framework yielded comparable results to lab studies.
Additionally, it was shown that the developed assessment method provided reliable and valid user
ratings while allowing a test design suitable to develop quality prediction models. In summary, the
main contributions of the thesis are (1) an empirical validation of a taxonomy of quality aspects of
cloud gaming services as well as applied assessment methods, (2) a new framework to conduct quality
assessment studies in a home environment which potentially increases the ecological validity of study
results, (3) a psychometrically validated, and reliable instrument to measure the interaction quality,
and (4) numerous contributions to standardization activities regarding influencing factors (ITU-T Rec.
G.1032), subjective evaluation methods (ITU-T Rec. P.809), and an opinion model predicting cloud
Loading more pages...