Selbsteinschätzung digitaler Kompetenzen bei Studierenden

Weyl, Jonathan; Rößler, Andreas; Roßdeutscher, Mario Article — Published Version Selbsteinschätzung digitaler Kompetenzen bei Studierenden HMD Praxis der Wirtschaftsinformatik Provided in Cooperation with: Springer Nature Suggested Citation: Weyl, Jonathan; Rößler, Andreas; Roßdeutscher, Mario (2023) : Selbsteinschätzung digitaler Kompetenzen bei Studierenden, HMD Praxis der Wirtschaftsinformatik, ISSN 2198-2775, Springer Fachmedien Wiesbaden GmbH, Wiesbaden, Vol. 61, Iss. 1, pp. 189-201, https://doi.org/10.1365/s40702-023-01025-4 This Version is available at: https://hdl.handle.net/10419/318418 Standard-Nutzungsbedingungen: Die Dokumente auf EconStor dürfen zu eigenen wissenschaftlichen Zwecken und zum Privatgebrauch gespeichert und kopiert werden. Sie dürfen die Dokumente nicht für öffentliche oder kommerzielle Zwecke vervielfältigen, öffentlich ausstellen, öffentlich zugänglich machen, vertreiben oder anderweitig nutzen. Sofern die Verfasser die Dokumente unter Open-Content-Lizenzen (insbesondere CC-Lizenzen) zur Verfügung gestellt haben sollten, gelten abweichend von diesen Nutzungsbedingungen die in der dort genannten Lizenz gewährten Nutzungsrechte. Terms of use: Documents in EconStor may be saved and copied for your personal and scholarly purposes. You are not to copy documents for public or commercial purposes, to exhibit the documents publicly, to make them publicly available on the internet, or to distribute or otherwise use the documents in public. If the documents have been made available under an Open Content Licence (especially Creative Commons Licences), you may exercise further usage rights as specified in the indicated licence. http://creativecommons.org/licenses/by/4.0/deed.de SCHWERPUNKT https://doi.org/10.1365/s40702-023-01025-4 HMD Praxis der Wirtschaftsinformatik (2024) 61:189–201 Selbsteinschätzung digitaler Kompetenzen bei Studierenden Jonathan Weyl · Andreas Rößler · Mario Roßdeutscher Eingegangen: 22. August 2023 / Angenommen: 26. November 2023 / Online publiziert: 18. Dezember 2023 © The Author(s) 2023 Zusammenfassung In der digitalen Transformation tragen Hochschulen eine besondere Verantwortung. Sie bilden die Arbeitskräfte von morgen aus und sind maßgeblich für ihre digitale Kompetenz verantwortlich. Viele Hochschulen stehen hier jedoch noch am Anfang. Am Beispiel der Hochschule Esslingen wird deshalb untersucht, wie digitale Kompetenzen hochschulübergreifend vermittelt werden, wie sie bei Studierenden gemessen werden, und wie gut Studierende ihre eigenen digitalen Kompetenzen einschätzen können. Der auf Basis einiger bekannter Kompetenzrahmen entwickelte Digital Transformation Cube stellt dabei einen universellen und hochschulweiten Rahmen für die Förderung digitaler Kompetenzen dar. Durch den Digital Readiness Check können zum einen digitale Kompetenzen gemessen werden. Zum anderen wird untersucht, wie gut sich die Befragten selbst einschätzen. Dazu werden Selbsteinschätzungsfragen und Wissensabfragen ausgewertet. Die Ergebnisse zeigen, dass Studierende aller Fakultäten zur Überschätzung ihrer digitalen Kompetenz neigen. Technische Studiengänge sind davon weniger betroffen als nicht-technisch orientierte. Trotzdem bietet die Selbsteinschätzung eine gute Basis, um unter Einbezug eines Korrekturfaktors den tatsächlichen Wissensstand im Bereich digitaler Kompetenzen zu ermitteln. Damit wird eine gute Grundlage für die Messung digitaler Kompetenzen an Hochschulen gelegt, um diese langfristig in den Curricula zu verankern und so nachhaltig zu fördern. Jonathan Weyl · Andreas Rößler Fakultät Informatik und Informationstechnik, Hochschule Esslingen, Esslingen, Baden-Württemberg, Deutschland E-Mail: [email protected] Mario Roßdeutscher Fakultät Wirtschaft und Technik, Hochschule Esslingen, Esslingen, Baden-Württemberg, Deutschland K 190 J. Weyl et al. Schlüsselwörter Digitale Kompetenzen · Hochschule · Kompetenzrahmen · Digital Readiness Check · Selbsteinschätzung Self-assessment of Students’ Digital Skills Abstract Universities bear a special responsibility in the digital transformation. They are training the workforce of tomorrow and are largely responsible for its digital competence. However, many universities are still at the beginning of this process. Using Esslingen University of Applied Sciences as an example, we are therefore investigating how digital competencies can be taught across universities, how digital competencies can be measured among students, and how well students themselves assess their own digital competencies. The Digital Transformation Cube, which was developed on the basis of several well-known competency frameworks, provides a universal, university-wide framework for promoting digital competencies. On the one hand, the Digital Readiness Check can be used to measure digital competencies. On the other hand, it examines how well the respondents assess themselves. Self-assessment questions and knowledge questions are evaluated for this purpose. The results show that students from all faculties tend to overestimate their digital competence. Technical courses are less affected by this than non-technical courses. Nevertheless, the self-assessment provides a good basis for determining the actual level of knowledge in the area of digital competencies with the inclusion of a correction factor. This provides a good basis for measuring digital competencies at universities in order to anchor those in the curricula in the long term and thus promote them sustainably. Keywords Digital competencies · University · Competency framework · Digital readiness check · Self-assessment 1 Digitale Kompetenzen an deutschen Hochschulen 1.1 Einführung Die digitale Transformation in der Berufswelt ist kein Kurzzeitprojekt, das in wenigen kleinen Iterationen abgeschlossen ist. Von der Idee, Tätigkeiten und Prozesse mit digitalen Hilfsmitteln zu optimieren oder zu ersetzen, bis hin zur Etablierung einer neuen Technologie vergehen oft lange Zeitabschnitte. Doch die technologische Forschung macht in dieser Zeit ebenfalls Fortschritte. Neue Technologien und Anwendungsmöglichkeiten werden veröffentlicht und als das neue „must-have“ Feature vermarktet. Ein anschauliches Beispiel dafür ist der große mediale Hype um KI-basierte Systeme im vergangenen Jahr. Systeme wie ChatGPT von der Firma Open AI sind mittlerweile nicht nur im Bereich Bildung (vgl. Mhlanga 2023), sondern in allen Gesellschaftsbereichen GesprächstheK Selbsteinschätzung digitaler Kompetenzen bei Studierenden 191 ma. Technik-Optimisten sagen bereits ein neues KI-Zeitalter voraus, das vor allem Tätigkeiten in kreativen Berufen massiv verändern soll (vgl. Scheuer 2023). Das bringt neue digitale Kompetenzen mit sich, die Arbeitgeber der Zukunft von ihren Mitarbeiterinnen und Mitarbeitern einfordern. Insgesamt benötigt es gut ausgebildete Mitarbeiterinnen und Mitarbeiter, die sowohl die aktuelle digitale Transformation kompetent gestalten können als auch fähig sind, neuartige Technologien in Zukunft schnell zu erfassen und effizient in Unternehmen oder Organisationen einführen zu können. Bei der Ausbildung solcher Arbeitskräfte tragen deutsche Hochschulen eine besondere Verantwortung. In diesem Artikel geht es deshalb um die Vermittlung digitaler Kompetenzen am Beispiel der Hochschule Esslingen und um die Fragestellungen: In welchem Rahmen können digitale Kompetenzen hochschulübergreifend vermittelt werden? (FF1) Wie können digitale Kompetenzen bei Studierenden gemessen werden? (FF2) Und wie gut schätzen Studierende ihre eigenen digitalen Kompetenzen selbst ein? (FF3). Bevor diesen Fragen auf den Grund gegangen wird, ist es wichtig, für ein gemeinsames Verständnis, die wichtigsten Begriffe grundlegend zu definieren. Da es für die nachfolgenden Begriffe keine allgemein anerkannte und allgemeingültige, sondern sehr viele verschiedene Definitionen gibt, wurden im Rahmen der Forschungsarbeit vereinfachte eigene Definitionen aufgestellt. Diese basieren auf den untersuchten Kompetenzrahmen (vgl. Vuorikari et al. 2022) und passen gut in den Kontext der digitalen Transformation. Eine Kompetenz beschreibt die Fähigkeit einer Person, eine bestimmte Tätigkeit auszuführen. Digitale Kompetenzen sind Fähigkeiten, die zur Erreichung von verschiedenen und fortlaufenden Arbeitsniveaus zur Nutzung digitaler Werkzeuge und Arbeitsabläufe notwendig sind. Sie sind abstrakt formuliert und beziehen sich auf keine konkrete Technologie. Ein Kompetenzlevel beschreibt das Arbeitsniveau, in das eine Kompetenz eingeordnet werden kann. Die Kompetenzbereiche fassen mehrere digitale Kompetenzen zu einer logischen Einheit zusammen. Ein Kompetenzrahmen fasst verschiedene Kompetenzbereiche zu einem Gesamtbild zusammen. Er kann als Schaubild visualisiert werden (vgl. Vuorikari et al. 2022) oder in Textform beschrieben sein (vgl. Schüller et al. 2019). Kompetenzraster oder Kompetenzframeworks können als Synonyme für Kompetenzrahmen betrachtet werden. 1.2 Konzeption des Digital Transformation Cubes (DTC) In den letzten Jahren wurden zahlreiche Kompetenzrahmen veröffentlicht (Australian Curriculum und Assessment und Reporting Authority 2018; Common Sense Media 2020; Europäische Komitee für Normung 2014; Europäische Kommission 2008; IEEE Computer Society 2021; Landesmedienzentrale Baden-Württemberg 2022; Medienberatung NRW 2020; Sächsisches Staatsministerium für Kultus 2017; Schüller et al. 2019; SFIA Foundation 2021;Vuorikarietal.2022). Diese unterscheiden sich in vielen Punkten voneinander. Das liegt vor allem an den verschiedenen Interessensgruppen der Digitalisierung, wie Unternehmen, politische Organe oder Non-Profit-Organisationen und zum anderen an den verschiedenen Zielgruppen. Manche Kompetenzrahmen sind für Schülerinnen und Schüler konzipiert, andere für Berufstätige und wieder andere für Bürgerinnen und Bürger. Eine genauere GeK 192 J. Weyl et al. genüberstellung der bestehenden Kompetenzrahmen, wie zum Beispiel im IEEE Standard for Digital Intelligence (vgl. IEEE Computer Society 2021), erfolgt an dieser Stelle nicht. An Hochschulen findet sich ebenfalls ein breites Spektrum an Interessensgruppen und Zielgruppen wieder. So gibt es an der Hochschule Esslingen beispielsweise sechs verschiedene Fakultäten unterschiedlicher Fachrichtungen. Dabei gelten für Studierende der Fakultät Informationstechnik andere Anforderungen an digitale Kompetenzen als für Studierende der Fakultät Soziale Arbeit, Bildung und Pflege. Um dennoch einen zentralen Kompetenzrahmen hochschulweit einsetzen zu können, wurde vom Forschungsteam der fakultätsübergreifenden ZWE Digitalisierung der Hochschule Esslingen ein Kompetenzrahmen auf Basis bekannter Kompetenzrahmen entworfen (Australian Curriculum, Assessment and Reporting Authority 2018; Common Sense Media 2020; Europäische Komitee für Normung 2014;Europäische Kommission 2008; IEEE Computer Society 2021; Landesmedienzentrale Baden-Württemberg 2022; Medienberatung NRW 2020; Sächsisches Staatsministerium für Kultus 2017; Schüller et al. 2019; SFIA Foundation 2021; Vuorikari et al. 2022). Beim Entwurf des Digital Transformation Cubes (DTC) wurden diese bekannten Kompetenzrahmen detailliert untersucht und die beschriebenen Kompetenzen und definierten Kompetenzbereiche extrahiert. Die extrahierten Kompetenzbereiche wurden teilweise kumuliert und um weitere ergänzt. So entstanden die neun Kompetenzbereiche des DTC (siehe unten). Alle extrahierten Kompetenzen können einem dieser Kompetenzbereiche zugeordnet werden. Dadurch werden alle in den ausgehenden Kompetenzrahmen beschriebenen Kompetenzen im DTC aufgegriffen. Dabei erfüllt dieser folgende Anforderungen: universelle Einsetzbarkeit für alle Studierenden aller Fakultäten (FF1), übersichtliche Darstellung für einfache Kommunikation, praxisnahe Integration in den Alltag und die Curricula der Hochschule, zertifizierbare Kompetenznachweise für die berufliche Zukunft der Studierenden und Erweiterbarkeit, um neue digitale Kompetenzen einfach integrieren zu können. Der auf dieser Basis entwickelte Kompetenzrahmen heißt Digital Transformation Cube (DTC) und sieht folgendermaßen aus. Der DTC in Abb. 1besteht aus drei Dimensionen. Horizontal sind neun Kompetenzbereiche dargestellt, sie bündeln unterschiedliche digitale Kompetenzen derselben Kategorie. Vertikal sind die vier Kompetenzlevel abgebildet (Dimension 1). Dadurch kann jeder Kompetenzbereich (Dimension 2) in unterschiedliche Arbeitsniveaus eingeteilt werden. Die dritte Dimension stellen die Zertifikate – im Folgenden Micro-Badges genannt – dar. Sie dienen dem Nachweis erlernter Kompetenzen. Jedes Micro-Badge besteht aus einem oder mehreren Kursen. Jeder Kurs hat das Ziel, ein oder mehrere digitale Kompetenzen zu vermitteln. Um ein Micro-Badge zu erhalten, müssen alle zugeordneten Kurse erfolgreich abgeschlossen werden. Jeder Kurs endet mit einem Kompetenz-Check, der sicherstellt, dass die Studierenden die vermittelten Kompetenzen erlernt haben. Dadurch spiegeln die Micro-Badges den tatsächlichen Kenntnisstand eines Studierenden wider. Doch bevor passende Kurse entwickelt und der DTC befüllt werden kann, gilt es herauszufinden, welche digitalen Kompetenzen bei Studierenden vorhanden sind und welche speziell gefördert werden müssen. Hierfür ist im ersten Schritt ein Einstiegstest für Erstsemester-Studierende sinnvoll. Um diese Messung digitaler KomK Selbsteinschätzung digitaler Kompetenzen bei Studierenden 193 Abb. 1 Digital Transformation Cube petenzen bei Erstsemester Studierenden in Form eines Digital Readiness Checks (DRC) geht es in den folgenden Abschnitten. 2 Messung digitaler Kompetenzen bei Erstsemester Studierenden 2.1 Entwicklung des Digital Readiness Checks (DRC) Als hochschulweiter Kompetenzrahmen stellt der DTC die Arbeitsund Diskussionsgrundlage für die Förderung digitaler Kompetenzen bei Studierenden sowie deren Integration in den Hochschulalltag dar. Doch wie können Studierende in die Kompetenzlevel der einzelnen Kompetenzbereiche eingeordnet werden? Und wie ist der generelle Wissensstand im Bereich digitaler Kompetenzen von Studierenden, die an der Hochschule ein Studium beginnen? Um diese und ähnliche Fragen beantworten zu können, ist eine Datenerfassung und Auswertung notwendig. Dabei gibt es verschiedene Möglichkeiten, Informationen und Daten quantitativ oder qualitativ zu erheben. Beispielsweise können Experten-Interviews geführt oder offene Workshops angeboten werden (vgl. Steiner und Benesch 2018). Um möglichst viele aussagekräftige und auswertbare Daten zu erfassen, eignet sich in diesem Kontext jedoch die quantitative Datenerfassung durch einen Fragebogen am besten (FF2). Zur Messung digitaler Kompetenzen wurde deshalb die erste Version des DRC entworfen. Dieser online Fragebogen mit 59 Fragen baut direkt auf dem DTC auf. Mit einer Mischung aus Selbsteinschätzungsfragen und Wissensabfragen deckt er alle neun Kompetenzbereiche des DTC ab. Er kann in ca. 20Minuten bearbeitet und anschließend anonymisiert ausgewertet werden. Pro Kompetenzbereich gibt es drei Selbsteinschätzungsfragen, gefolgt von drei Wissensabfragen. Alle Fragen sind geschlossen gestellt, um eine automatische, quantitative Auswertung zu ermöglichen. Um die Güte des Fragebogens zu gewährleisten, wurden Reliabilität und Validität auf Grundlage der hochschulweiten Befragung (siehe 2.2) geprüft. Das cronbachsche Alpha über alle Selbsteinschätzungsund Wissensabfrage von >0,8 zeigt eine gute Reliabilität des Fragebogens (vgl. Schermelleh-Engel und Werner 2012). Um K 194 J. Weyl et al. Tab. 1 Intervallskala Selbsteinschätzung Punkte Einschätzung 0 Trifft überhaupt nicht zu 1 Trifft überwiegend nicht zu 2 Trifft eher nicht zu 3Triffteherzu 4 Trifft überwiegend zu 5 Trifft voll und ganz zu die Konstruktvalidität des Fragebogens zu prüfen, wurden verschiedene erwartbare Hypothesen aufgestellt und durch empirische Tests bestätigt (vgl. Hartig et al. 2012). Dabei wurden Korrelationskoeffizienten nach Spearman berechnet, um Zusammenhänge zwischen verschiedenen Items zu zeigen (vgl. Steiner und Benesch 2018). Eine genaue Darstellung der Reliabilitätsund Validitätsprüfungen wäre an dieser Stelle zu umfangreich. Für die Selbsteinschätzung empfiehlt sich der Einsatz einer Likert-Skala mit verschiedenen Abstufungen (Hollenberg 2016). Um der Tendenz zur Mitte vorzubeugen, wird eine Skala mit einer geraden Anzahl an Antwortmöglichkeiten eingesetzt (vgl. Steiner und Benesch 2018). In Tab. 1wird jeder Einschätzungsstufe eine Punktezahl zwischen 0 und 5 zugeordnet. So können Befragte pro Kompetenzbereich bis zu 15 Selbsteinschätzungspunkte erreichen, insgesamt bis zu 135. Die Wissensabfragen in jedem Kompetenzbereich haben drei verschiedene Schwierigkeitsstufen. Die korrekte Antwort wird demnach mit unterschiedlich vielen Punkten belohnt. Für die einfachste Frage gibt es einen Punkt, für die mittelschwere Frage zwei und für die schwerste Frage drei Punkte. Bei Multiple-ChoiceFragen gibt es für jede richtige Antwort Teilpunkte. Werden falsche Antwortmöglichkeiten angekreuzt, so gibt es negative Teilpunkte. Pro Kompetenzbereich können Befragte somit bis zu 6 Wissenspunkte sammeln, insgesamt bis zu 54. Die Selbsteinschätzungspunkte und die Wissenspunkte werden unabhängig voneinander betrachtet und nicht aufaddiert. Die abschließenden Fragen des DRCs erfassen zielgruppenspezifische Eigenschaften wie Hochschulsemester, Fakultät, Studiengang und Geschlecht und ermöglichen ein feineres Clustering bei der Auswertung.1 2.2 Hochschulweite Befragung Befragungen ermöglichen, auf Basis einer kleinen Menge an Befragten, Aussagen über gesamte Zielgruppe treffen zu können (Hollenberg 2016). An der Hochschule Esslingen wurden mit dem DRC über ein Jahr hinweg Befragungen durchgeführt. Die Zielgruppe dabei waren die Erstsemester Studierenden aller sechs Fakultäten. 1Leider können die Fragen des DRCs an dieser Stelle nicht veröffentlich werden, da dadurch die Ergebnisse aktueller und zukünftiger Befragungen beeinflusst werden könnten. Eine persönliche Bereitstellung des Fragebogens ist jedoch über eine Kontaktaufnahme mit dem Autorenteam gerne möglich. K Selbsteinschätzung digitaler Kompetenzen bei Studierenden 195 Abb. 2 Menge der Befragten (N= 312) Durch die Vorstellung und Durchführung des DRCs in Präsenzveranstaltungen an der Hochschule Esslingen wurden 312 Studierende im ersten Hochschulsemester befragt. Die Menge der Befragten setzt sich wie folgt zusammen. Die Menge der Befragten in Abb. 2ist ca. gleichverteilt auf die Fakultäten Soziale Arbeit, Bildung und Pflege, Wirtschaft und Technik, Informatik und Informationstechnik, Maschinen uns Systeme sowie Mobilität und Technik. Lediglich die Fakultät Angewandte Naturwissenschaften, Energieund Gebäudetechnik ist mit ca. 5% unterrepräsentiert. 3 Ergebnisse des fakultätsübergreifenden Vergleichs Auf Basis, der durch den DRC erfassten Daten, kann eine Vielzahl von Hypothesen aufgestellt und betrachtet werden. Hier soll die Korrelation zwischen Selbsteinschätzung und tatsächlichem Wissensstand im Fokus stehen. Deshalb wird untersucht, ob eine einfache Selbsteinschätzung aufwändige Wissensabfragen adäquat ersetzen kann. Die dabei betrachtete Forschungshypothese lautet: Über ein Drittel der Studierenden im ersten Semester überschätzen ihre digitalen Kompetenzen. Dabei werden die Fakultäten getrennt voneinander betrachtet, um herauszuarbeiten, ob sich die Studierenden gleich überoder unterschätzen. 3.1 Darstellung der Ergebnisse Um diese Hypothese zu untersuchen, werden alle Befragten einzeln betrachtet. Für jede/n Befragte/n wird die Gesamtpunktzahl der Selbsteinschätzungspunkte und der Wissenspunkte ermittelt und normiert. Dazu werden beide Werte durch die jeweilige maximal erreichbare Punktzahl geteilt. So ergibt sich ein Selbsteinschätzungswert und ein Wissenswert zwischen 0 und 1. Hat eine Befragte beispielsweise 100 Selbsteinschätzungspunkte und 30 Wissenspunkte erreicht, so ergibt sich ein Selbsteinschätzungswert von 0,74 (100/135) und ein Wissenswert von 0,56 (30/54). Da der Selbsteinschätzungswert deutlich höher ist als der Wissenswert, hat die Befragte ihr eigenes Wissen überschätzt. Sowohl Selbsteinschätzungswert als auch Wissenswert sind gemittelte Werte über alle Kompetenzbereiche. K 196 J. Weyl et al. Die so ermittelten Werte aller Befragten können in einem Punktediagramm dargestellt werden. Jeder Punkt steht für eine/n Befragte/n. Die Form steht dabei für die Fakultät der/des Befragten. Die Position des Punktes auf der X-Achse zeigt den Selbsteinschätzungswert an, die Position des Punktes auf der Y-Achse den Wissenswert. Die Diagonale mteilt das Diagramm in zwei Bereiche. Oberhalb von msind alle Befragten zu finden, die ihr eigenes Wissen unterschätzen. Unterhalb von msind die Befragten abgetragen, die ihr eigenes Wissen überschätzen. Die Parallelen von m (gund h) grenzen einen Toleranzbereich ein. Dadurch werden alle Befragten, die sich um zehn Prozentpunkte über oder unterschätzt haben, zu der Menge gezählt, die sich korrekt eingeschätzt haben. So werden Messunsicherheiten abgebildet, die sich durch Ungenauigkeiten im Fragebogendesign ergeben haben könnten. 3.2 Auswertung der Ergebnisse Wie in Abb. 3zu sehen haben sich deutlich mehr Befragte überschätzt als unterschätzt. Lediglich 32 Befragte (10,30%) haben sich unterschätzt. Sie liegen oberhalb von g. 150 Befragte (48,00%) liegen im Toleranzbereich (zwischen gund h) und haben ihr Wissen korrekt eingeschätzt. Die restlichen 130 Befragten (41,70%) haben sich überschätzt und liegen unterhalb von h. Diese Verteilung kann auch für jede Fakultät separat betrachtet werden. In den folgenden Punktediagrammen sind die Bereiche, in denen sich alle Befragten der jeweiligen Fakultät befinden grau hinterlegt. Für eine bessere Übersicht wird jede Fakultät in einem eigenen Punktediagramm dargestellt. Abb. 3 Korrelation von Wissenswert und Selbsteinschätzungswert (N= 312) K