AI Literacy - Herausforderungen in der Konzeption von Selbsttests

AG Digital/Data/AI Literacy: Fragesammlung Selbsttest AI Literacy Arbeitsergebnis der interdisziplinären AG Digital/Data/AI Literacy des IZ Digitalität und Digitale Medien am Campus Mitte, Humboldt-Universität zu Berlin Problemaufriss Digital, Data, AI Literacy – zusammengefasst als Digital Literacies – sind Kompetenzen, die Mitglieder der Hochschulen für sich verstehen, einschätzen, anwenden und ständig erweitern müssen. Zugrunde liegen in allen Bereichen Digitalisierungsprozesse, digitale Arbeitsprozesse mit Daten und Software sowie Forschung und Lehre an und mit Daten, Software und KI, die wiederum Fachund Fallspezifika aufweisen. Für Forschung und Lehre im Bereich der digitalen Geistes-, Kulturund Sozialwissenschaften sind diese Digital Literacies selten in bestehenden Curricula und Anforderungen definiert und fest verankert noch werden sie routiniert angewendet oder geprüft. Um digitale Kompetenzen fördern zu können, braucht es einen Kompetenzrahmen, der Kompetenzniveaus und Kompetenzdeskriptoren für eine Anwendungsdomäne definiert: –Was soll gefördert werden? –Welches Niveau soll gefördert werden? –Woran sollen diese Kompetenzen überprüft werden? Kompetenzstufen können dabei entweder durch externe Einschätzung (Test, Beobachtung) oder durch eine Selbsteinschätzung (Test, Selbstreflexion) bestimmt werden. Gerade letztere lebt von einer ausgeprägten intrinsischen Motivation und hohen Reflexionsfähigkeit (Metakognition, exekutives Wissen), die mit dem Willen zu Veränderung durch Lernen (Volition, emotionales Wissen) gekoppelt sein müssen, damit Selbsttests eine Wirkung erzielen können. Selbsttests sollten sich also nicht nur an einem Kompetenzrahmen orientieren, sondern auch dazu animieren, mit dem Ergebnis weiterzuarbeiten. Dementsprechend sollten Selbsttests am besten auch mit Lernund Informationsmaterialien zur Vorund Nachbereitung ergänzt werden. Daraus ergeben sich Folgefragen, die man bei der Konzeption von Selbsttests im Blick behalten sollte: –Welche Materialien sind für den gestuften Aufbau der Kompetenzen notwendig? –Welches Feedback, welche Hintergrundinformationen und welche weiterführenden Materialien sind für eine Einordnung des Ergebnisses notwendig? –Wie kann man sinnvoll an die Bewertung Lernund Weiterbildungsmöglichkeiten direkt anzuschließen? Bei allen Fragen sind auch die Bedarfe und Kontexte der jeweiligen Zielgruppen – Forschende, Lehrende, Studierende, Mitarbeiter und Mitarbeiterinnen in der Verwaltung – zu berücksichtigen. Wie sinnvoll ist es, Selbsttests zielgruppenabhängig zu entwerfen? Wie müssen Arbeitsbereiche und Fachhintergründe berücksichtigt werden? Zielformulierung Erstellen eines Selbsttests für Lehrende und Studierende mit dem Fokus Digital Literacies mit einer Eingrenzung auf AI Literacy, Implementierung als Moodle-Test, Veröffentlichung als OER Theoretische Modellierung Die Erstellung eines Tests zu digitalen Kompetenzen sollte theoriegeleitet erfolgen. Dazu wurden wesentliche Modelle, Definitionen und Kompetenzrahmen zu allen drei Literacies (Digital, Data, AI) gesichtet, u. a.: –Digital Literacy: Bawden, 2008; Buckingham, 2010; Carretero et al., 2017; Eickelmann et al., 2019; Eshet, 2004; Gerick et al., 2019; Gilster, 1997; Koehler & Mishra, 2009; Sekretariat der Kultusministerkonferenz, 2016; Vuorikari et al., 2022 –Data Literacy: Neuroth et al., 2025; Petras et al., 2025; Ridsdale et al., 2015; Schmidt et al., 2021; Schüller et al., 2019 –AI Literacy: European Commission & OECD, 2025; Laupichler et al., 2022; Long & Magerko, 2020; Lorenz & Romeike, 2023; Miao & Cukurova, 2024; Ng et al., 2021b, 2021a Daraus entstand ein fachübergreifendes Basismodell, das sukzessive erweitert wurde, bis sich folgender Kompetenzrahmen mit vier Kompetenzstufen herauskristallisierte: Dimensionen Fortschrittskriterien kennen lernen (Foundation) erwerben (Intermediate) vertiefen (Advanced) gestalten (Highly-specialised) AI Literacy einfache Aufgaben mit Anleitung wissen und verstehen begrenzte Aufgaben und Probleme, Routineaufgabe selbständig, bedarfsorientiert anwenden verschiedene Aufgaben und Probleme andere anleitend bewerten, transferieren komplexe, vernetzte Aufgaben neue Ideen einbringen modellieren Data Literacy Digital Literacy Tab. 1 Im Wesentlichen handelt es sich um eine Zusammenführung und Weiterentwicklung von Carretero et al. 2017, 13ff. & Miao & Cukurova 2024, 21 ff.: Für jede Stufe werden generisch die Komplexität der Aufgabe, der notwendige Autonomiegrad und der kognitive Anforderungsbereich beschrieben. Um diesen Rahmen auf Praktikabilität zu überprüfen, wurden in der AG aus verschiedenen Disziplinen Beispiele zusammengetragen. Dabei wurde wie erwartet deutlich, dass die Konkretisierung selbst bei immer noch eher übergreifenden Themenkomplexen herausfordernd ist (s. Tab.2): Beispiel: Datenstrukturen kennen lernen erwerben vertiefen gestalten AI Literacy: Social Network Analysis Kanten und Knoten verstehen Maße anwenden: Relation, Distribution, Segmentierung Visualisierungen interpretieren Daten für SNA modellieren Data Literacy: Graph Datenstrukturoptionen kennen geeignete Datenstrukturen verwenden Datenstrukturen anpassen eigene Datenstrukturen entwickeln Digital Literacy: Ordner Unterschied Ordner und Datei; Dateien in Ordnern gruppieren Ordner strukturieren, Suche gezielt einsetzen Ordnerstrukturen nach Zielstellung anlegen oder optimieren automatisierte Erstellung und Zugriff auf Ablagestrukturen Tab. 2 Beispielhafte Konkretisierung des allgemeinen Kompetenzrahmens: Kompetenzbereich Datenstrukturen. Für jede Literacy wurde ein Aspekt des Bereichs identifiziert, der für alle vier Kompetenzlevel beschrieben wurde. Eine weitere, deutlich fachspezifischere Umsetzung wurde ebenfalls getestet. Diese erwies sich nur bei Vorliegen eines konkreten Anwendungsfalls als durchführbar, z. B. aus der literaturwissenschaftlichen Forschung in der Klassischen Philologie: Fall: Erwähnung hist. Ereignisse kennen lernen erwerben vertiefen gestalten AI Literacy: Named Entity Recognition NER-Konzept & sprachspezifisches Tagging verstehen NER-Ergebnisse vergleichen NER-Fehler systematisch evaluieren NER-Tagger durch Feedback verbessern Data Literacy: Tagger & Annotationen Annotationen (was?) & Attribute (wie?) verstehen Annotationen interpretieren über Annotationen reflektieren Annotationen in HTML manipulieren Digital Literacy: Datenformate zwischen DOCX & TXT unterscheiden DOCX nach TXT konvertieren Problematische Stellen in TXT identifizieren TXT nach Bedarf modifizieren Tab. 3 Forschungsfrage: Wie findet man Informationen in einem Korpus verschiedener antiker Historiker, die nicht explizit erwähnt werden? In einem ersten Schritt werden alle Personen und Orte automatisch extrahiert, um Textstellen für weitere Analysen (z. B. Sentiment) auswählen zu können. Iterativer Prozess der Zusammenarbeit Die Mitglieder der AG besitzen heterogene, interdisziplinäre Erfahrungen und Fachkontexte, u. a. Bibliothekswissenschaft, Biologie, Latinistik, Sprachwissenschaft, Digital Humanities, Computational Literary Studies, Kunstgeschichte, Forschungsdatenmanagement und Bildungsforschung. Dies erweist sich als eine gute Ausgangslage, um die obigen Fragen theoriegeleitet zu konkretisieren und Herausforderungen in der Erstellung eines Selbsttests klarer zu benennen, mit Beispielen zu belegen und damit umfassender diskutieren zu können. Insbesondere ist dies notwendig, um Erwartungen an einen Selbsttest formulieren und überprüfen zu können. Wir haben in einem ersten Schritt eigene Lehrmaterialien vorgestellt und Themen sowie Fragebeispiele gesammelt, die hinsichtlich der Komplexität der Aufgabe, des Autonomiegrads, des kognitiven Anforderungsbereichs und der Niveaus sortiert wurden. Diese teilsystematische Erhebung zeigt zwei für uns grundsätzliche Herausforderungen: erstens die Abgrenzung der Fragen zu relevanten und nicht direkt relevanten Kompetenzfeldern (Open World Problem) und deren Komposition (Design, fachliche Leerstellen und Lernzielstellung); zweitens die Unterscheidung zwischen Aufgaben zum Lernen und Aufgaben zum Testen des vorhandenen Wissens. Wesentlich war in der AG-Arbeit die frühzeitige Erstellung und Besprechung von konkreten Fragebeispielen, die deutlich gemacht haben, dass die Umsetzung von Literacy-Modellen (Abschnitt Theoretische Modellierung) in ein summatives bzw. diagnostisches Assessment eng an die Voraussetzungen der AG-Mitglieder gekoppelt ist (Abschnitt Herausforderungen). Mit einer iterativen Eingrenzung der Zielstellung von einem digitalen Propädeutikum zur einer Fragesammlung für einen KI Selbsttest wurde schließlich die Zielstellung konkretisiert. Herausforderungen Prüfungen und Tests außerhalb von Studiengängen und Fachkulturen stellen Anforderungen, die sich schwer bestimmen lassen: –Was bedeutet AI Literacy in den digitalen Geistes-, Kulturund Sozialwissenschaften? (begründete Auswahl von Beispielfragen) –Wie werden Prüfungen disziplinübergreifend kompetenzorientiert gestaltet? (didaktischmethodische Umsetzung) –Womit sind Entwicklerinnen und User vertraut?) (technisch-praktische Umsetzung) –Welches Wissen ist gesichert? Wer kann welches Wissen prüfen? (Qualitätssicherung) –Wie können Erwartungshaltungen erfasst und in einem nächsten Schritt überprüft werden? (Evaluation) Im Kern stellte die AG fest, dass ein Selbsttest ohne konkretes Anwendungsszenario wie bspw. in einer Lehrveranstaltung oder einem Forschungsszenario kaum entwickelt noch Erwartungshaltungen daran geprüft und der Test auch nicht erfolgreich eingesetzt werden kann. Tutorials, Lernpfade und OER werden typischerweise um einen konkreten Gegenstand, d. h. eine Methode, einen Datensatz, eine Forschungsfrage, entwickelt und häufig mit implementierten Wiederholungsfragen umgesetzt. Anhand dieses Gegenstands können User leicht die Relevanz für ihre persönlichen Ziele feststellen. Ein Gegenstandsbereich kann mit fachlichen Kontexten eingegrenzt und anschließend auch geprüft werden. Dies trifft allerdings nicht auf ein Open World Problem wie Digital Literacies zu, wenn eine trennscharfe Unterscheidung zwischen Digital, Data und AI Literacy weder mit noch ohne Fachbezug kaum möglich ist. Hinzu kommt, dass die Modellierung von Kompetenzstufen eine große Herausforderung darstellt. Was in einer Domäne mit fortgeschritten bezeichnet wird, kann in einer anderen Domäne noch im Basis-Kompetenzbereich eingestuft werden. So sind bspw. in der Linguistik häufig viele Aspekte von Data Literacy fest in Lehre und Forschung verankert, in eher hermeneutisch arbeitenden Fachbereichen wie in der klassisch-philologischen Literaturwissenschaft hingegen nicht. Weiterhin unterscheiden sich jeweils für die fachlichen Kontexte und Domänen die Zusammenhänge der Gegenstände, z. B. Datentypen, Methoden, Software, wenn bspw. in der Linguistik der Umgang mit differenten Datentypen (Audio, Text, …) und digitale statistische Verfahren etabliert sind und so ein solides Fundament in dem Kompetenzbereichen der Data Literacy und Digital Literacy bilden. Ausblick Mit dem Beitrag der AG Digital Data AI Literacies kann eine konkretere fachliche Diskussion mit Forschenden, Lehrenden sowie Kolleginnen und Kollegen in der Verwaltung angestoßen werden. So sind bspw. folgende Szenarien denkbar: kleine Testreihen, interdisziplinärer Austausch und Tests in der Lehre. Dabei steht das Zusammentragen von Feedback zu Struktur, Verständlichkeit, Relevanz und Effektivität der Fragesammlung im Mittelpunkt. Die Vorliegende Arbeit (Begleitdokument und Selbsttest) kann als Orientierung und erste Grundlage für Diskussion und ein Erkenntnisinteresse zu den Themen KI-Diagnostik und KI-Schulung dienen. Mögliche Einsätze können Textreihen, fachlicher Austausch und Tests in Lehrformaten sein. Testreihen: Der Selbsttest kann mit einer kleinen Gruppe von Teilnehmenden erprobt werden, beispielsweise im Rahmen eines Feedback-Workshops. Die Teilnehmenden haben dabei die Möglichkeit, den Test durchzuführen und direktes Feedback zu geben. Interdisziplinärer Austausch mit Fachkollegen und -innen und zentralen Einrichtungen: Der Selbsttest kann mit Kolleginnen und Kollegen im eigenen Team sowie teamübergreifend, z. B. hochschulübergreifend, diskutiert werden. Dieser Austausch könnte dazu dienen, ein fachliches Feedback von Experten und Expertinnen einzuholen, die Relevanz und Effektivität des Selbsttests zu überprüfen und weiter zu verbessern. Integration in ausgewählte Lehrveranstaltungen: Der Selbsttest kann mit interessierten Lehrenden besprochen werden, um ihn als Bestandteil der Lehre einzusetzen und mit den Lernfortschritten der Studierenden zu verknüpfen. Dies kann in geschlossenen sowie offenen Schulungen (z. B. zum Thema FDM) erfolgen. Hierbei können Lehrende Rückmeldung geben, ob der Test für ihre Lehrziele geeignet ist, und Studierende bewerten, ob der Test hilfreich für ihre Selbstreflexion ist. Evaluierungskriterien können für alle Szenarien sein: Verständlichkeit: Sind die Fragen klar und verständlich formuliert? Schwierigkeitsgrad: Sind die Fragen zu einfach bzw. zu komplex konzipiert? Konsistenz: Sind die Fragen logisch aufgebaut? Messen sie die richtigen (Teil-)Kompetenzen? Kompetenzen: Decken die Fragen die erwarteten Kompetenzen ab? Sind wichtige spezifische Aspekte vorhanden? Lernfortschritt: Ermöglicht die Testkonzeption eine Erhebung der Kompetenzentwicklung über Zeit? Wissensgehalt: Müssen die hinterlegten Informationen erweitert, aktualisiert oder besser zugeschnitten werden? Akzeptanz: Wird der Test bei Studierenden als sinnvoll und nützlich wahrgenommen? Verfasserinnen der Fragesammlung: Andrea Beyer, Daniela Hartmann, Denise Jäckel, Carolin Odebrecht, Ulrike Schenk, Luisa Feiersinger Verfasserinnen der Kommentierung: Carolin Odebrecht, Andrea Beyer, Denise Jäckel Bibliographie Bawden, D. (2008). Origins and concepts of digital literacy. Digital literacies: Concepts, policies and practices,30, 17–32. Buckingham, D. (2010). Defining Digital Literacy. In B. Bachmair (Hrsg.), Medienbildung in neuen Kulturräumen (S. 59–71). Verl. für Sozialwissenschaften. https://doi.org/10.1007/978-3-53192133-4‗ Carretero, S., Vuorikari, R., & Punie, Y. (2017). DigComp 2.1—The Digital Competence Framework for Citizens. Publications Office. https://op.europa.eu/en/publication-detail/-/publication/3c5e7879308f-11e7-9412-01aa75ed71a1/language-en Eickelmann, B., Bos, W., & Labusch, A. (2019). Die Studie ICILS 2018 im Überblick Zentrale Ergebnisse und mögliche Entwicklungsperspektiven. In J. Gerick, F. Goldhammer, H. Schaumburg, K. Schwippert, M. Senkbeil, J. Vahrenhold, B. Eickelmann, & W. Bos (Hrsg.), ICILS 2018 #Deutschland. Computerund informationsbezogene Kompetenzen von Schülerinnen und Schülern im zweiten internationalen Vergleich und Kompetenzen im Bereich Computational Thinking (S. 7–31). Waxmann. Eshet, Y. (2004). Digital Literacy: A Conceptual Framework for Survival Skills in the Digital era. Journal of Educational Multimedia and Hypermedia,13(1), 93–106. European Commission, & OECD (Hrsg.). (2025). Empowering Learners for the Age of AI. An AI Literacy Framework for Primary and Secondary Education. https://ailiteracyframework.org/wpcontent/uploads/2025/05/AILitFramework_ReviewDraft.pdf Gerick, J., Goldhammer, F., Schaumburg, H., Schwippert, K., Senkbeil, M., Vahrenhold, J., Eickelmann, B., & Bos, W. (Hrsg.). (2019). ICILS 2018 #Deutschland. Computerund informationsbezogene Kompetenzen von Schülerinnen und Schülern im zweiten internationalen Vergleich und Kompetenzen im Bereich Computational Thinking. Waxmann. https://www.pedocs.de/volltexte/2019/18166/pdf/Eickelmann_et_al_2019_ICILS_2018_Deutschla nd.pdf Gilster, P. (1997). Digital literacy. Wiley. Koehler, M. J., & Mishra, P. (2009). What Is Technological Pedagogical Content Knowledge? Contemporary Issues in Technology and Teacher Education,9(1), 60–70. Laupichler, M. C., Aster, A., Schirch, J., & Raupach, T. (2022). Artificial intelligence literacy in higher and adult education: A scoping literature review. Computers and Education: Artificial Intelligence,3, 100101. https://doi.org/10.1016/j.caeai.2022.100101 Long, D., & Magerko, B. (2020). What is AI Literacy? Competencies and Design Considerations. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1–16. https://doi.org/10.1145/3313831.3376727 Lorenz, U., & Romeike, R. (2023). AI-PACK – Ein Rahmen für KI-bezogene Digitalkompetenzen von Lehrkräften auf Basis von DPACK. Lecture Notes in Informatics (LNI), 11–24. https://www.researchgate.net/publication/374350289_AI-PACK_-Ein_Rahmen_fur_KIbezogene_Digitalkompetenzen_von_Lehrkraften_auf_Basis_von_DPACK Miao, F., & Cukurova, M. (2024). AI competency framework for teachers (UNESCO, Hrsg.). https://doi.org/10.54675/ZJTE2084 Neuroth, H., Petras, V., Schnaitter, H., Seltmann, M., & Walter, P. (2025). Das QUADRIGADatenkompetenzframework als Basis für die Entwicklung von Lehrund Lernressourcen. Datenströme und Kulturoasen – Die Informationswissenschaft als Bindeglied zwischen den Informationswelten, 316–331. https://zenodo.org/records/14925620 Ng, D. T. K., Leung, J. K. L., Chu, K. W. S., & Qiao, M. S. (2021a). AI Literacy: Definition, Teaching, Evaluation and Ethical Issues. Proceedings of the Association for Information Science and Technology,58(1), 504–509. https://doi.org/10.1002/pra2.487 Ng, D. T. K., Leung, J. K. L., Chu, S. K. W., & Qiao, M. S. (2021b). Conceptualizing AI literacy: An exploratory review. Computers and Education: Artificial Intelligence,2, 100041. https://doi.org/10.1016/j.caeai.2021.100041 Petras, V., Neuroth, H., Seltmann, M., Schnaitter, H., & Walter, P. (2025). QUADRIGA Datenkompetenzframework. Zenodo. https://zenodo.org/records/15058057 Ridsdale, C., Rothwell, J., Smit, M., Bliemel, M., Irvine, D., Kelley, D., Matwin, S., Wuetherick, B., & Ali-Hassan, H. (2015). Strategies and Best Practices for Data Literacy Education Knowledge Synthesis Report. https://doi.org/10.13140/RG.2.1.1922.5044 Schmidt, A., Neifer, T., & Haag, B. (2021). Data Literacy als ein essenzieller Skill für das 21. Jahrhundert. In D. Frick, A. Gadatsch, J. Kaufmann, B. Lankes, C. Quix, A. Schmidt, & U. Schmitz (Hrsg.), Data Science: Konzepte, Erfahrungen, Fallstudien und Praxis (S. 27–40). Springer Fachmedien. https://doi.org/10.1007/978-3-658-33403-1_2 Schüller, K., Busch, P., & Hindinger, C. (2019). Future Skills: Ein Framework für Data Literacy. AStA Wirtschaftsund Sozialstatistisches Archiv,13(3–4), 297–317. https://doi.org/10.1007/s11943-01900261-9 Sekretariat der Kultusministerkonferenz (Hrsg.). (2016). Strategie der Kultusministerkonferenz Bildung in der digitalen Welt. KMK. https://www.kmk.org/fileadmin/Dateien/pdf/PresseUndAktuelles/2016/Bildung_digitale_Welt_We bversion.pdf Vuorikari, R., Kluzer, S., & Punie, Y. (2022). DigComp 2.2: The Digital Competence Framework for Citizens - With new examples of knowledge, skills and attitudes. JRC Publications Repository. https://doi.org/10.2760/115376