Formative Evaluation digitaler Weiterbildung im Handwerk: Eine Prozessbeschreibung zur Förderung der digitalen Transformation im Tischler- und Steinmetzhandwerk

Friedrich, Ina; Tasliarmut, Melisa; Hoffmann, Holger; Schwarzkopf, Marc; Bullinger, Angelika C. Article — Published Version Formative Evaluation digitaler Weiterbildung im Handwerk: Eine Prozessbeschreibung zur Förderung der digitalen Transformation im Tischlerund Steinmetzhandwerk HMD Praxis der Wirtschaftsinformatik Provided in Cooperation with: Springer Nature Suggested Citation: Friedrich, Ina; Tasliarmut, Melisa; Hoffmann, Holger; Schwarzkopf, Marc; Bullinger, Angelika C. (2024) : Formative Evaluation digitaler Weiterbildung im Handwerk: Eine Prozessbeschreibung zur Förderung der digitalen Transformation im Tischlerund Steinmetzhandwerk, HMD Praxis der Wirtschaftsinformatik, ISSN 2198-2775, Springer Fachmedien Wiesbaden GmbH, Wiesbaden, Vol. 61, Iss. 6, pp. 1471-1489, https://doi.org/10.1365/s40702-024-01115-x This Version is available at: https://hdl.handle.net/10419/316238 Standard-Nutzungsbedingungen: Die Dokumente auf EconStor dürfen zu eigenen wissenschaftlichen Zwecken und zum Privatgebrauch gespeichert und kopiert werden. Sie dürfen die Dokumente nicht für öffentliche oder kommerzielle Zwecke vervielfältigen, öffentlich ausstellen, öffentlich zugänglich machen, vertreiben oder anderweitig nutzen. Sofern die Verfasser die Dokumente unter Open-Content-Lizenzen (insbesondere CC-Lizenzen) zur Verfügung gestellt haben sollten, gelten abweichend von diesen Nutzungsbedingungen die in der dort genannten Lizenz gewährten Nutzungsrechte. Terms of use: Documents in EconStor may be saved and copied for your personal and scholarly purposes. You are not to copy documents for public or commercial purposes, to exhibit the documents publicly, to make them publicly available on the internet, or to distribute or otherwise use the documents in public. If the documents have been made available under an Open Content Licence (especially Creative Commons Licences), you may exercise further usage rights as specified in the indicated licence. http://creativecommons.org/licenses/by/4.0/deed.de SCHWERPUNKT https://doi.org/10.1365/s40702-024-01115-x HMD Praxis der Wirtschaftsinformatik (2024) 61:1471–1489 Formative Evaluation digitaler Weiterbildung im Handwerk: Eine Prozessbeschreibung zur Förderung der digitalen Transformation im Tischlerund Steinmetzhandwerk Ina Friedrich · Melisa Tasliarmut · Holger Hoffmann · Marc Schwarzkopf · Angelika C. Bullinger Eingegangen: 31. Mai 2024 / Angenommen: 3. September 2024 / Online publiziert: 22. Oktober 2024 © The Author(s) 2024 Zusammenfassung Traditionell werden im Tischlerund Steinmetzhandwerk spezifische Fachkenntnisse durch das Prinzip des „learning by doing“ unter Anleitung qualifizierter Kolleg:innen oder im Fall von Maschinen durch herstellergebundene Präsenzschulungen vermittelt. Diese Art der Weiterbildung wird jedoch nur in seltenen Fällen hinsichtlich des Lernerfolgs, der Usability, der Didaktik sowie der zielgruppenspezifischen Passung systematisch evaluiert. Digitale Weiterbildungsformate gewinnen für die Vermittlung dieser Kompetenzen zunehmend an Bedeutung, da sie den Wissenszuwachs zeitund ortsunabhängig ermöglichen und im dynamischen Arbeitsumfeld des Handwerks Unterbrechungen des Lernprozesses zulassen. In der bestehenden Literatur fehlen jedoch Vorgehensmodelle zur Entwicklung und Evaluation sowie Erkenntnisse über die konkreten Bedürfnisse von Lerner:innen im Handwerk. Dieser Beitrag präsentiert daher einen formativen Evaluationsprozess, der auf den Prinzipien des Design-based Research und des User-centered Design basiert. Er erläutert detailliert die Planung des Evaluationsprozesses und der eingesetzten Methoden sowie die daraus resultierenden Ergebnisse. Der Evaluationsansatz fördert nicht nur die kollaborative Arbeit mit Praktiker:innen, sondern berücksichtigt auch die Bedürfnisse der Lerner:innen im Handwerk durch einen iterativen Evaluationsprozess. Im Rahmen von mehrfachen Designund Redesign-Phasen wurden Konstrukte wie Usability, Lernmotivation und Akzeptanz durch qualitative und quantitative Methoden erhoben. Die Ergebnisse zeigen, dass eine intensive Nutzer:innenintegration und die fortlaufende Anpassung digitaler Bildungsangebote hilfreich für die erfolg- Ina Friedrich · Melisa Tasliarmut · Holger Hoffmann · Marc Schwarzkopf · Angelika C. Bullinger Professur Arbeitswissenschaft und Innovationsmanagement, Technische Universität Chemnitz, 09111 Chemnitz, Deutschland E-Mail: [email protected] Melisa Tasliarmut E-Mail: [email protected] K 1472 I. Friedrich et al. reiche Umsetzung digitaler Lehrund Lernformate im Handwerk sind. Die Resultate unterstreichen die Bedeutung einer formativen Evaluation als Instrument zur Entwicklung nutzer:innenzentrierter digitaler Bildungsressourcen und leisten einen wichtigen Beitrag zur Evaluation von digitalen Bildungsangeboten im Handwerk. Schlüsselwörter Formative Evaluation · User-centered Design · Digitale Weiterbildung · Handwerk Formative Evaluation of Digital Training in Crafts: A Process Description for Advancing Digital Transformation in Carpentry and Stonemasonry Abstract Traditionally, in the fields of carpentry and stonemasonry, specific technical skills are imparted through the principle of “learning by doing” under the guidance of qualified colleagues or, in the case of machinery, via manufacturer-specific onsite training. However, this type of further education is rarely systematically evaluated in terms of learning success, usability, didactics, or target group specificity. Digital training formats are increasingly vital for imparting these skills as they facilitate knowledge acquisition independent of time and location and accommodate interruptions in the dynamic work environment of the crafts. Yet, existing literature does not adequately address procedural models for development and evaluation or the specific needs of learners in the crafts. This paper presents a formative evaluation process grounded in the principles of Design-Based Research (DBR) and User-Centered Design (UCD). It details the planning of the evaluation process, the methods employed, and the outcomes derived. The evaluation approach not only promotes collaborative work with practitioners but also considers the needs of learners in the crafts through an iterative evaluation process. Constructs such as usability, learning motivation, and acceptance were assessed using both qualitative and quantitative methods throughout multiple design and redesign phases. The findings highlight that intensive user integration and continuous adaptation of digital educational programmes are crucial for the successful implementation of digital teaching and learning formats in the crafts. These results emphasize the significance of formative evaluation as a tool for developing usercentered digital educational resources and contribute importantly to the assessment of digital education programmes in the crafts. Keywords Formative evaluation · User-centered design · Digital training · Craft industry 1 Einleitung Fachkräfte im Tischlerund Steinmetzhandwerk erlangen aktuell praxisorientiertes Fachwissen, indem sie entweder durch erfahrene Kolleg:innen angelernt werden oder an mehrtägigen Schulungen teilnehmen, die für maschinenbezogenes Wissen K Formative Evaluation digitaler Weiterbildung im Handwerk: Eine Prozessbeschreibung zur... 1473 von den Herstellern angeboten werden. Die diversen Lernvoraussetzungen der Teilnehmer:innen, gekennzeichnet durch unterschiedliche formale Qualifikationen und die Notwendigkeit, diese Schulungen parallel zum laufenden Betrieb zu integrieren, können aus ökonomischen und zeitlichen Gründen nur selten adäquat berücksichtigt werden (Tasliarmut et al. 2022). Darüber hinaus werden die Teilnehmer:innen in der Regel nicht in die Konzeption der Lerninhalte einbezogen und es findet nur in seltenen Fällen eine Wirksamkeitsprüfung statt. Im Zuge der fortschreitenden Digitalisierung gewinnen Online-Lernumgebungen, die zeitund ortsunabhängiges Lernen ermöglichen, zunehmend an Bedeutung (De Witte und Chénier 2023). Allerdings sind im Handwerk passgenaue digitale Lösungen im Vergleich zu anderen industriellen Sektoren bisher unterrepräsentiert (Bosbach et al. 2024). Unternehmen in diesem Sektor zeigen sich zwar aufgeschlossen gegenüber Digitalisierungsmaßnahmen, sehen jedoch den Mangel an interner Kompetenz und Qualifikation als wesentliches Hindernis (Ehlert und Hennecke 2022). Gleichzeitig liegt die Herausforderung darin, dass konkrete Empfehlungen und Modelle zur Gestaltung digitaler Lehr-Lernarrangements speziell für das Handwerk fehlen (ZWH 2021). Das bedeutet zum einen, dass eine umfassende Integration der Nutzer in die Entwicklung noch nicht ausreichend erfolgt ist und andererseits, dass systematische Evaluationen zur Gewährleistung der Lehrqualität und -effektivität sowie der Passung bislang vernachlässigt wurden. In der Folge können wiederum die Akzeptanz und Wirksamkeit der digitalen Lösungen eingeschränkt sein. Demnach rücken Unterstützungsmaßnahmen für die Implementierung digitaler Technologien und den Ausbau digitaler Kompetenzen verstärkt in den Fokus (Bosse et al. 2019; Thonipara et al. 2020), um die (Weiter-)Bildung im Handwerk zukunftsfähig zu gestalten. Der Einbezug der Mitarbeiter:innen und die Berücksichtigung ihrer Bedürfnisse sind entscheidend für den Erfolg der digitalen Transformation. Dies erfordert eine strukturierte Vorgehensweise und die frühzeitige Integration der Interessen des Handwerkssektors sowie der Nutzer:innen bereits in der Konzeptionsphase von digitalen Weiterbildungsangeboten (Bosbach et al. 2024). Eine solche Vorgehensweise stellt sicher, dass die Bildungsangebote präzise auf die Bedürfnisse des Handwerks zugeschnitten sind und somit Wirksamkeit und Akzeptanz gewährleisten. Um diesen Herausforderungen zu begegnen, wurde die Entwicklung eines digitalen Weiterbildungsangebots zur Vermittlung von CNC-Kenntnissen begleitet und mittels eines formativen Evaluationsprozesses iterativ optimiert. Formative Evaluationen zielen darauf ab, Feedback zu liefern, das zur Optimierung von Bildungsmaßnahmen oder Programmen genutzt wird, um die Effektivität zu erhöhen und die gewünschten Ziele effizienter zu erreichen (Scriven 1996). Das Weiterbildungsangebot beabsichtigt, eine Schnittstelle zur Anwendung digitaler Technologien zu etablieren, indem es CNC-Kenntnisse mittels digitaler Lernmethoden vermittelt. Die spezifischen Lernbedürfnisse des heterogenen Handwerkssektors im Kontext digitaler Bildungsformate wurden bislang nur unzureichend adressiert und fokussierten sich überwiegend auf betriebliche oder kompetenzorientierte Anforderungen (BIBB 2022; Guhlemann et al. 2023). Im Bereich der CNC-Kompetenzen ist die Forschung weniger umfassend und tendiert dazu, sich vornehmlich auf didaktisch-technische Aspekte in der Entwicklung digitaler Angebote zu konzentrieren (Goppold et al. K 1474 I. Friedrich et al. 2022). Die formative Evaluation bietet aus einer Kosten-Nutzen-Perspektive einen strategisch und ökonomisch sinnvollen Ansatz (Brown und Gerhardt 2002), da sie im Gegensatz zur summativen Evaluation, die am Ende einer Produktentwicklung die Wirksamkeit prüft, bereits in einer frühen Konzeptionsphase unter Einbezug der Nutzer:innen ansetzt und die schrittweise Optimierung anstrebt. Sie begleitet den gesamten Entwicklungsprozess eines Weiterbildungsangebotes und zielt darauf, kontinuierlich spezifische Verbesserungsmöglichkeiten unter Berücksichtigung der Nutzer:inneninteressen zu identifizieren (Sarodnick und Brau 2016). Gleichzeitig beschreiben bisherige Forschungsarbeiten nur selten konkrete evaluierte Konstrukte oder Mixed-Methods-Evaluationsprozesse in der Praxis, sondern konzentrieren sich häufig lediglich auf die Konkretisierung einzelner Methoden des Prozesses (Gould et al. 2008; Yamada et al. 2016;Mavrikisetal.2019; Hayat et al. 2021; Tasliarmut et al. 2024). Ziel dieses Beitrags ist daher die Vorstellung eines formativen Evaluationsprozesses bei der Entwicklung eines digitalen Weiterbildungsangebots im Tischlerund Steinmetzhandwerk. Basierend auf dem Design-based Research (DBR) und Usercentered Design-Ansatz (UCD) wurde ein digitales Lehrangebot zur Vermittlung von CNC-Kompetenzen entwickelt und durch iterative Evaluationen optimiert. Die heterogen zusammengesetzte Gruppe der Nutzer:innen, charakterisiert durch diverse formale Qualifikationen, partizipierte in mehreren Erprobungszyklen. Hierbei kam ein Mixed-Methods-Ansatz zur Anwendung, der Aspekte wie Usability, Lernmotivation und Akzeptanz einbezog. Die Darstellung des Evaluationsprozesses und der Ergebnisse dient als Vorlage für die formative Evaluation nutzer:innenzentrierter Weiterbildungsangebote und ermöglicht dadurch die Entwicklung nachhaltiger, an den Anforderungen der Nutzer:innen ausgerichteter digitaler Weiterbildungsangebote. Dies trägt langfristig maßgeblich zur Stärkung der digitalen Kompetenzen im Handwerkssektor bei. 2 Nutzer:innenzentrierte Entwicklung und Evaluation Die Entwicklung und Erprobung des digitalen Weiterbildungsbildungsangebotes folgen dem DBR-Ansatz, um Lerner:innen im Handwerk die Möglichkeit zu bieten, konkrete, praxisrelevante Probleme zu erkunden und somit eine effektive Transferleistung in ihre beruflichen Kontexte zu ermöglichen. Der DBR-Ansatz wird angewendet, da er in der ersten Phase („Vorprüfung“) theoriegeleitet praxisrelevante Probleme identifiziert. Dies ist besonders geeignet, um im vorliegenden Kontext eine Theorie-Praxis-Lücke zu vermeiden (Schmiedebach und Wegner 2021). Um die inhaltlichen Interessen des Handwerks und die forschungsseitig begleitete Entwicklung, Erprobung und Evaluation zusammenzubringen, ist eine enge Zusammenarbeit zwischen Wissenschaftler:innen und Praktiker:innen notwendig. Dieser interdisziplinäre Fokus wird ebenfalls vom DBR adressiert (Anderson und Shattuck 2012). Der kollaborative Ansatz des DBR gewährleistet somit die Relevanz und Durchführbarkeit der Interventionen im praktischen Bildungsalltag, was für eine nachhaltige Implementierung von digitalen Lernszenarien unabdingbar ist. K Formative Evaluation digitaler Weiterbildung im Handwerk: Eine Prozessbeschreibung zur... 1475 Allerdings kommt der Entwicklung von digitalen Weiterbildungsformaten im Handwerk eine besondere Rolle zu: das Lernangebot richtet sich an eine heterogene Zielgruppe aus Fachkräften, Quereinsteiger:innen und anderen Weiterbildungsinteressierten, deren individuelle Lernvoraussetzungen, Lernstrategien und Lernpräferenzen zu berücksichtigen sind. Für die Erfassung dieser unterschiedlichen Bedürfnisse ist im DBR-Ansatz keine eigene Phase vorgesehen, da die vom Ansatz angedachten Adressaten eine homogenere Gruppe darstellen, wie beispielsweise eine Schulklasse, deren Mitglieder sich durch ähnliche Bildungshintergründe, Altersstufen und Lernerfahrungen auszeichnen. Die Vorteile des kollaborativen Ansatzes des DBR mit Einbezug wichtiger Stakeholder (Fachverbände, Didaktiker:innen, Lehrpersonen) werden daher durch den UCD-Prozess gemäß DIN EN ISO 9241-210 (2020) ergänzt. Der UCD-Prozess fokussiert in der initialen Phase („Zielgruppenanalyse“) die detaillierte Erfassung wesentlicher Charakteristika der Zielgruppe, einschließlich ihrer Aufgaben, Ziele und Umgebungsbedingungen. Diese präzise Analyse des Nutzungskontextes ist entscheidend, um die Akzeptanz und das anhaltende Engagement der Nutzer:innen zu fördern. Die initiale Zielgruppenanalyse ermöglicht es, basierend auf dem Feedback der Nutzer:innen, kontinuierlich Schlussfolgerungen für die Weiterentwicklung zu ziehen und fundierte Einsichten in den Nutzungskontext sowie die spezifischen Anforderungen der Zielgruppe zu erlangen. Die Anwendung der UCD-Richtlinien sichert somit die systematische Integration von Nutzer:innengruppen in den Entwicklungsprozess (Bevan 2009). Die Kombination aus DBR und UCD fördert eine fortlaufende Optimierung des Bildungsangebots, wobei die stetige Einbindung der Nutzer:innen sicherstellt, dass das finale Produkt deren Bedürfnisse und Erwartungen effektiv erfüllt. Beide Ansätze verfolgen die Nutzung verschiedener Methoden und betonen iterative Verbesserungsprozesse im Zuge wiederholter Testzyklen, um die Wirksamkeit der Interventionen kontinuierlich zu steigern. Durch die iterative Entwicklung und Optimierung des digitalen Lernangebotes können Stakeholder ebenso wie die Zielgruppe bereits frühzeitig auf erste Entwicklungsstände zugreifen und somit in der Entwicklung Probleme, Kritik und Wünsche im Vorfeld übermitteln. Die Verknüpfung der DBRund UCD-Ansätze bilden damit die Basis für die Entwicklung digitaler Lernangebote, die die spezifischen Bedürfnisse und Erwartungen der Zielgruppe berücksichtigen. Dieser integrative und iterative Ansatz stellt sicher, dass die Weiterbildungsangebote nicht nur in der Theorie, sondern auch in der Anwendung überzeugen. In diesem Zusammenhang spielt die formative Evaluation eine zentrale Rolle, da sie es ermöglicht, die Effektivität und Akzeptanz der Bildungsangebote fortlaufend zu überprüfen und zu optimieren. Durch formatives Feedback können spezifische Anpassungen vorgenommen werden, die auf realen Nutzer:innenerfahrungen basieren und so die Brücke zwischen theoretischer Planung und praktischer Umsetzung schlagen. Dadurch wird ein tieferes Verständnis der Lernprozesse und -ergebnisse ermöglicht, welches für die fortlaufende Verbesserung und Anpassung des Weiterbildungsangebots unerlässlich ist (Hense 2010; Gollwitzer und Jäger 2014; Sarodnick und Brau 2016). Typische Datenerhebungsinstrumente bei formativen Evaluationen umfassen offene und strukturierte Interviews, Fokusgruppen, die Methode des lauten Denkens (Konrad 2010) sowie standardisierte Fragebögen. Darüber hinaus eignen sich im Kontext von digitalen WeiterbildungsanK 1476 I. Friedrich et al. geboten auch Logfiles, um objektive Daten über das Nutzungsverhalten zu erhalten und Implikationen über Fehleranfälligkeit und Effizienz der Einzelkomponenten eines Lernangebotes abzuleiten (Huber und Bannert 2023). In der Folge ergeben sich objektive Daten, die auf beobachteten oder gemessenen Ergebnissen basieren, und subjektive Daten, welche die Meinungen der Nutzer:innen oder Einschätzungen von Expert:innen widerspiegeln (Hix und Hartson 1993; Gediga und Hamborg 2002). 3 Gestaltung des formativen Evaluationsprozesses Der formative Evaluationsprozess wurde in Übereinstimmung mit den Prinzipien des UCD und DBR geplant und orientierte sich vom zeitlichen Ablauf an existierenden Strukurierungsmodellen der Evaluationsforschung (Gollwitzer und Jäger 2014). Hierbei wird zwischen der „ex-ante“ Konzeptionsphase (auch prospektive Evaluation), der „on-going“ Implementierungsphase (auch Prozessevaluation) sowie der „ex-post“ summativen Outputbewertung (auch Ergebnisevaluation) unterschieden. Die Phasen und damit einhergegangene Gestaltungsentscheidungen für den vorliegenden Kontext sind Abb. 1zu entnehmen. Da der Fokus auf den „exante“- und „on-going“-Phasen lag, werden diese in den Abschn. 3.1 und 3.2 vorgestellt. In Ergänzung zur allgemeinen Evaluationsstrukturierung gemäß Abb. 1,die aufgrund ihrer weitgefassten Darstellung für die Evaluation von Digitalisierungstransformationen im Allgemeinen anwendbar ist, sollen die konkreten Erhebungsund Auswertungsinstrumentarien vorgestellt werden, wie sie über drei Erprobungsphasen hinweg umgesetzt wurden. Diese detaillierte Vorstellung ermöglicht es, die methodischen Entscheidungen, die für jede der drei Erprobungen getroffen wurden, nachzuvollziehen. 3.1 „Ex-ante“-Phase Die „ex-ante“-Phase umfasste alle Vorüberlegungen zu den vorliegenden handwerksspezifischen Rahmenbedingungen. Dazu gehörte die Ausformulierung des zu evaluierenden Inhaltsbereiches, die antizipierten allgemeinen Zieldimensionen, die Planung der Datenerhebung und -auswertung, des Feldzugangs und die Zeitplanung (vgl. Abb. 1). Ausgehend vom DBR wurde für das Weiterbildungsangebot zunächst der allgemeine Evaluationsbereich definiert und besteht demzufolge aus einem Web Based Training (WBT) in Form eines digitalen CNC-Lernplatzes zur Vermittlung Abb. 1 Gestaltung der Evaluation. (Eigene Darstellung, Phasen nach Gollwitzer und Jäger 2014) K Formative Evaluation digitaler Weiterbildung im Handwerk: Eine Prozessbeschreibung zur... 1477 von CNC-Basiskenntnissen durch fünf CAD (Computer-Aided Design) – und fünf CAM (Computer-Aided Manufacturing)-gestützte Aufgaben. CAD bezieht sich auf das rechnergestützte Konstruieren von Teilen oder Produkten, die anschließend mithilfe von CAM in definierten Fertigungsabläufen geplant und erstellt werden. Im Rahmen des Weiterbildungsangebots bilden beide Softwareanwendungen die essenzielle Basis für die Herstellung eines Teils oder Produktes an der CNC-Maschine durch Prozesse wie Schneiden, Bohren oder Fräsen. Nach Abschluss des webbasierten Trainings folgt eine kurze Präsenzphase an der CNC-Maschine, während der ein Werkstück aus den CAD-/CAM-Aufgaben praktisch hergestellt wird. Die Transferierbarkeit der Lernaufgaben wird in Vorbereitung auf die Präsenzphase an der CNC-Maschine durch die Entwicklung von zwei Wissenstests zu den Bestandteilen der CNC-Maschine sowie zum Produktionsprozess bei der Herstellung eines Produktes an der CNC-Maschine gewährleistet. Nach erfolgreicher Absolvierung dieser vorgelagerten Tests können die Teilnehmer:innen an ausgewählten Standorten einen Präsenzphasentermin innerhalb des Lernplatzes buchen. Vor Ort werden Sie von einer Lehrperson bei der Herstellung des Werkstücks an der CNC-Maschine geleitet und unterstützt. Ziel der Präsenzphase ist die Vermittlung von Praxiskönnen und eine Validierung der im Lernplatz erlernten CNC-Kenntnisse. Die Implementierung des Lernplatzes erfolgte auf dem Open Source Lernmanagementsystem ILIAS mit dem Ziel die Nutzer:innengruppe von Fachkräften, Quereinsteiger:innen und Weiterbildungsinteressierten vorrangig aus dem Tischlerund Steinmetzhandwerk zu adressieren. Das digitale Weiterbildungsangebot bietet den Vorteil, dass es das Erlernen von Basiskenntnissen im Umgang mit CNC-Technik unabhängig von der Teilnehmendenzahl sowie zeitund ortsflexibel ermöglicht. Es vermittelt CNC-Kenntnisse, die nicht an spezielle Maschinenhersteller oder das Wissen erfahrener Kolleg:innen gebunden sind, und gewährleistet somit einen personenunabhängigen und niedrigschwelligen Einstieg. Als allgemeine Zieldimensionen, die langfristig erfüllt werden sollen, um ein positives Nutzungserlebnis und Lerneffekte zu garantieren, wurden gestalterische, akzeptanzund lernmotivationsbezogene Kriterien festgelegt. Angesichts des Defizits an bestehenden Referenzwerten oder wissenschaftlichen Publikationen, die die spezifischen Lernbedürfnisse und Erwartungen von Personen im Handwerkssektor in Bezug auf digitale Bildungsformate z.B. in Hinblick auf zeitliche Ressourcen oder Präferenzen für Gamification untersuchen, war eine tiefergehende Zielgruppenanalyse erforderlich. Diese ermöglichte eine präzise Differenzierung der Zieldimensionen. Zur Zielgruppenanalyse gemäß des UCD-Prozesses wurden Charakteristika und Anforderungen der Zielgruppe bzw. des Nutzungkontextes mittels Fragebögen, Interviews auf Handwerksmessen mit einem Telepräsenzroboter (TPR), Personas, Customer Journeys und User Stories systematisch erfasst (Tasliarmut et al. 2022; Friedrich et al. 2024). Diese vorangestellte Maßnahme in der „ex-ante“-Phase berücksichtigte die Integration der Zielgruppe in den Entwicklungsprozess und stellte sicher, dass das erste Design des Lernplatzes eng an die spezifischen Bedürfnisse und Präferenzen der Nutzer:innen ausgerichtet wurde. So konnten relevante Informationen über die Erwartungen der Nutzer:innen gesammelt werden, die beispielsweise ihre Beweggründe für Weiterbildungen offenlegten sowie den Status quo zu CNC-Kenntnissen und zur Verfügbarkeit von technischen und zeitlichen Ressourcen darlegten. Im Rahmen der Zielgruppenanalyse wurde K 1478 I. Friedrich et al. ein Anforderungskatalog als Medium zur stetigen Orientierung über die iterativen Redesignphasen erstellt. Die vorgesehenen Erhebungsphasen beliefen sich auf drei Erprobungen mit vorangestellten Lernlaboren, um dem hohen Komplexitätsgrad bei der Entwicklung eines digitalen Weiterbildungsangebotes gerecht zu werden (Hense 2010) und adäquate Zeiträume für die Datenerhebung und -auswertung sowie die daran anschließenden erneuten iterativen Entwicklungszyklen zu gewährleisten. Bei einer Anwendung des Prozesses in anderen Kontexten sollte eine entsprechende Anpassung je nach Evaluationsgegenstand erfolgen. Die sogenannten Lernlabore wurden im Sinne eines Prätests vorgeschaltet, um offensichtliche Programmierfehler oder Inkonsistenzen in den Inhalten zu identifizieren und entsprechende Anpassungen vorzunehmen, bevor der Lernplatz einem breiteren Publikum zur Evaluation zur Verfügung gestellt wird. Hierfür bearbeiteten ausgewählte Lerntester:innen die verfügbaren Inhalte und notierten in einem Template Auffälligkeiten, wie Bugs, Rechtschreibfehler und generelle Inkonsistenzen. Auf Fragebögen und Interviews wurde in dieser Phase zur schnelleren Umsetzbarkeit der Anmerkungen verzichtet. Um die Rekrutierung der für die Lernlabore und Erprobungen notwendigen Teilnehmer:innen zu gewährleisten, wurde bereits in der „ex-ante“-Phase der Austausch mit nutzer:innennahen Stakeholdern wie Fachverbänden, Handwerkskammern, handwerksnahen Bildungseinrichtungen sowie Fachmessenbesucher:innen gesucht. Zu den Vorüberlegungen gehörte ebenfalls, dass im Anschluss an die Lernlabore die mehrwöchige Erprobungsphase zur Datensammlung mittels eines MixedMethods-Ansatzes begann und danach die Datenauswertung anschließt. Die aus den Daten gewonnenen Ergebnisse sollten wiederum in eine anwendungsbezogene Datenexplikation mit Einordnung und Priorisierung in thematische Schwerpunkte in das Redesign einfließen. Dieser Ablauf (Zieldimensionen bestimmen, Instrumente erstellen oder anpassen, Lernlabore durchführen, Anpassungen vornehmen) sollte über drei Erprobungen bzw. vier Prototypendesigns hinweg in der „on-going“- Phase je nach Ist-Stand auf notwendige Änderungen geprüft werden, wobei nach dem vierten Design die summative Evaluation („ex-post“-Phase) anschließen sollte. 3.2 „On-going“-Phase Die „on-going“-Phase legte den Schwerpunkt auf die konkrete Umsetzung der Maßnahmen zur formativen Evaluation gemäß der „ex-ante“-Konzeption. Für jede Designschleife wurden die Zieldimensionen in Abhängigkeit vom Ist-Stand des Lernplatzes reflektiert und Erhebungssowie Auswertungsinstrumentarien zusammengestellt. Für die formative Evaluation wurde eine Kombination aus qualitativen und quantitativen Methoden für die Erhebung der Zieldimensionen gewählt. Zum Einsatz kamen Fragebögen, Interviews, die Methode des lauten Denkens, die Hospitation der Präsenzphase gefolgt von Fokusgruppen sowie Logfileanalysen. Die komplementär eingesetzten Methoden sollten nicht nur gestalterische, akzeptanzund lernmotivationsbezogene Ergebnisse liefern und Probleme identifizieren, sondern auch konkrete Verbesserungsund Lösungsvorschläge generieren. Die Zieldimension des in der ersten Erprobung noch rudimentären Prototyps lag im intuitiven Aufbau des Lernplatzes (Navigation, Platzierung der Buttons, NutK Formative Evaluation digitaler Weiterbildung im Handwerk: Eine Prozessbeschreibung zur... 1485 Der SUS-Score verzeichnete im Vergleich zur vorherigen Erprobung einen Anstieg auf 75,93%. Der im Zuge der Präsenzphase für die Hospitation pilotierte Telepräsenzroboters erwies sich als geeignet, da er eine effektive Präsenz und Interaktion in Echtzeit ermöglichte, ohne die Notwendigkeit physischer Anwesenheit, was die Zugänglichkeit und Flexibilität der Beobachtungsprozesse signifikant verbesserte. Trotz der erhöhten Lautstärke in der Werkstatt wurde die Hospitation mit dem TPR durch die fahrende Person positiv gewertet. Darüber hinaus wurde durch die Beobachtung an einer Bildungsstätte sowie Fokusgruppen mit Lehrpersonen und Lerner:innen deutlich, wie divers die Rahmenbedingungen je Präsenzstandort sind. Neben variierenden zeitlichen Ressourcen für die Herstellung einer anhand einer Aufgabe aus dem Lernplatz zu erstellenden Obstkiste (zwischen 4 und 8h) waren unterschiedliche Maschinenkonfigurationen und Wissensstände die Hauptanmerkungen. Insgesamt lässt sich ableiten, dass für die erstmalige Erschließung der Präsenzphase die Beobachtung sowie Fokusgruppen mit Lehrpersonen und Lerner:innen unabdinglich sind. Abschließend ist für die Bewertung der Lernaufgaben bzw. des Lernplatzes die Implementierung von Kurzfragebögen zur Usability und zum Schwierigkeitsgrad empfehlenswert. 4.4 Einordnung des Nutzens der eingesetzten Methoden Essenziell für die Durchführung der formativen Evaluation war die Einbindung nutzer:innennaher Stakeholder, welche kontinuierlichen Zugang zur Zielgruppe ermöglichten, was die fortlaufende Integration der Nutzer:innenperspektive sicherstellte und das Multiplikationspotenzial innerhalb der Betriebe durch die Fachverbände erhöhte. Diese Zusammenarbeit förderte die Sensibilisierung der Nutzer:innen und Umsetzungspartner:innen für notwendige methodisch-didaktische Anpassungen. Die effektive Einbindung von Stakeholdern bildet demnach eine solide Grundlage für die vorgestellte formative Evaluation deren angewandte Methoden nachfolgend nach Wirksamkeit und Praktikabilität eingeordnet werden. Hinsichtlich der Darstellung gegenüber den Umsetzungspartner:innen eigneten sich insbesondere die Ergebnisse der qualitativen Methoden, da diese durch ihre Unmittelbarkeit in der Regel sofort verständlich in Bezug auf aufgetretene Probleme und Verbesserungsvorschläge waren. Der hohe Informationsgehalt rechtfertigte den nicht unerhebliche Zeitaufwand für Transkription und Auswertung der Daten. Der Mangel an Validität lässt sich durch Transparenz in Bezug auf die Dokumentation des Vorgehens ausgleichen. Darüber hinaus verlangte die gesonderte Ansprache der Teilnehmer:innen für die Teilnahme an den Interviews und Fokusgruppen einen hohen zeitlichen Aufwand, da diese zum Teil mehrfach kontaktiert werden mussten. Die quantitativen Methoden, wie Logfiles und Fragebogendaten, erforderten dahingehend einen Mehraufwand hinsichtlich der Transformation in ein leicht verständliches und präsentierbares Format für die Umsetzungspartner:innen. Der sofortige Nutzen der Fragebogendaten war für diese nicht direkt ersichtlich, jedoch boten sie im Kontext der Vergleichbarkeit der Ergebnisse validierter Instrumente über drei Erprobungsphasen hinweg einen deutlichen Zugewinn. Dies äußert sich besonders in den Bereichen der Usability, der Akzeptanz und der Lernmotivation. K 1486 I. Friedrich et al. Zudem lieferte ein validiertes Instrument wie der SUS-Score widersprüchliche Ergebnisse durch den anfänglichen sehr hohen Score in der ersten Erprobung und einer deutlichen Abnahme bei den nachfolgenden Erprobungen. Der Verlauf des SUSScores ließ sich unter Zuhilfenahme der qualitativen Daten interpretieren. Während die Lerner:innen beim ersten Prototyp Begeisterung über die Idee eines digitalen CNC-Lernplatzes äußerten und insbesondere die Baumstruktur als intuitiv empfanden, sank die Usabilityeinschätzung für den zweiten Prototyp, der erstmalig komplexere Aufgaben implementierte. Deren Funktionen waren zwar in Zügen nutzbar, allerdings wurde insbesondere für die Gestaltung der Oberfläche und dem Fehlen von Speicherungsmöglichkeiten Unmut geäußert, was sich auch in der Usabilityeinschätzung widerspiegeln könnte. Diese Probleme wurden wiederum für den dritten Prototyp behoben, weshalb ein leichter Anstieg des Scores zu erkennen war. Gleichzeitig wurden vier weitere Lernaufgaben mit steigendem Schwierigkeitsgrad implementiert. Hinsichtlich dieser wurde betont, dass die Rückmeldungen bei auftretenden Problemen nicht hilfreich waren. So konnten zwar Verlinkungen zu unterschiedlichen Hilfestellungen genutzt werden, allerdings könnte die Unspezifität als benutzer:innenunfreundlich wahrgenommen worden sein, weshalb der eingangs erfasste SUS-Score nicht erreicht werden konnte. Über alle drei Erprobungen hinweg kritisierten einige Teilnehmer:innen die Länge und Anzahl der Fragebögen. Die variierende Anzahl an ausgefüllten Fragebögen für die zweite und dritte Erprobung deutet darauf hin, dass möglicherweise die Platzierung der Fragebögen im Lernplatz nicht ausreichend sichtbar war oder dass die Teilnehmer:innen zum Zeitpunkt der Befragung möglicherweise nicht motiviert waren, diese auszufüllen. Dies legt nahe, dass sowohl die visuelle Integration der Fragebögen in den Evaluationsbereich als auch die situative Bereitschaft der Teilnehmer:innen zum Ausfüllen der Fragebögen zukünftig Beachtung finden sollten. Die Logfiles bildeten eine fundierte Basis um unabhängig von intendierten Teilnehmer:innenfeedback Diskrepanzen aufzudecken. Dafür ist es essenziell im Vorfeld der Logfile-Aufzeichnung eine sorgfältige Planung der zu dokumentierenden Logs und Interaktionen durchzuführen. 5 Fazit und Ausblick Der vorgestellte Prozess einer formativen Evaluation eines digitalen Weiterbildungsangebots im Tischlerund Steinmetzhandwerk unterstreicht die zentrale Rolle einer methodisch fundierten, nutzer:innenzentrierten Gestaltung in der der digitalen Weiterbildung. Durch die Integration der DBRund UCD-Ansätze wurde ein adaptives und responsives Entwicklungsframework geschaffen, das es ermöglicht, ein Weiterbildungsangebot präzise auf die spezifischen Bedürfnisse der Nutzer:innen abzustimmen. Die systematische und fortwährende Erfassung der Zielgruppenanforderungen mittels diversifizierter Methoden und die Integration relevanter Stakeholder trugen signifikant zur Berücksichtigung der spezifischen Charakteristika des Handwerkssektors und damit verbunden zur Optimierung des Lernangebotes bei (Li und Earnest 2015). Diese fortlaufenden Bemühungen führten während der iterativen Erprobungen nicht nur zur Behebung von „programmiertechnischen KinderkrankK Formative Evaluation digitaler Weiterbildung im Handwerk: Eine Prozessbeschreibung zur... 1487 heiten“, sondern ermöglichten auch funktionale, gestalterische und lernmotivationsbezogene Verbesserungen (Hochholdinger et al. 2007). Die Evaluation wurde während der „on-going“-Phase adaptiv gestaltet und orientierte sich reaktiv an den Erkenntnissen aus den erhobenen Daten. Dies ermöglichte eine flexible Anpassung der Evaluationsmethoden an die sich ändernden Anforderungen und Bedürfnissen der Nutzer:innen. Durch die Anwendung des Mixed-Methods-Ansatz und den resultierenden subjektiven (Fragebögen, Interviews) und objektiven Daten (Logfiles) konnte zudem die Validität der erhobenen Informationen überprüft werden. Insbesondere ließ sich mithilfe der Logfiles teilweise eine Erinnerungsverzerrung bei den Antworten der Fragebögen (z.B. hinsichtlich der Nutzungsintensität) identifizieren. Andererseits lieferten die qualitativen Daten spezifische Problemfelder und Verbesserungsvorschläge für das digitale Weiterbildungsangebot. Die angewandten Forschungsmethoden können, bei geeigneter Studienkonzeption, zum Vergleich des weiterentwickelten Lernplatzes mit den jeweiligen Vorgängerversionen genutzt werden. Jedoch limitierten unterschiedliche Stichprobenzusammensetzungen die Möglichkeit eines umfassenden experimentellen Vergleichs dieser Varianten. Bisher wurde nicht umfassend erforscht, wie Personen im Handwerk digital lernen und welche spezifischen Bedürfnisse für die Transferierbarkeit von praktischem Wissen in den digitalen Raum erfüllt sein müssen. Der präsentierte formative Evaluationsprozess und die damit verbundenen Erkenntnisse erwiesen sich im Kontext des gemäß DBR und UCD entwickelten digitalen Weiterbildungsangebots als gegenstandsadäquat. Der in diesem Beitrag beschriebene Prozess ist so konzipiert, dass er als Handlungsimpuls für zukünftige Evaluationen digitaler Lernangebote dient, besonders in Bereichen, in denen das Handwerk mit technischen Systemen interagiert. Gleichzeitig stellt er eine bedeutende Ergänzung zur Forschung über digitale Bildung im Handwerk dar und bildet eine solide Grundlage für weitere Arbeiten, die darauf abzielen, durch die Entwicklung und Evaluation von Weiterbildungsangeboten die digitale Transformation in diesem Sektor voranzutreiben. Angesichts der sich schnell entwickelnden technologischen Landschaft wird die kontinuierliche Anpassung und Verbesserung der Bildungsressourcen entscheidend sein, um die Wettbewerbsfähigkeit und Innovationskraft des Handwerks zu erhalten und zu stärken. Förderung Diese Forschungsarbeit wurde vom Bundesministerium für Bildung und Forschung bzw. Bundesinstitut für Berufsbildung (Projekt ComP-ASS, FKZ: 21INVI3202) unterstützt. Der Geldgeber hatte keinen Einfluss auf das Studiendesign, die Erhebung, die Analyse und Interpretation der Daten, auf das Verfassen des Berichts oder die Einreichung des Artikels. Funding Open Access funding enabled and organized by Projekt DEAL. Open Access Dieser Artikel wird unter der Creative Commons Namensnennung 4.0 International Lizenz veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden. Die in diesem Artikel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betrefK 1488 I. Friedrich et al. fende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen. Weitere Details zur Lizenz entnehmen Sie bitte der Lizenzinformation auf http://creativecommons.org/ licenses/by/4.0/deed.de. Literatur Anderson T, Shattuck J (2012) Design-based research: a decade of progress in education research? Educ Res 41(1):16–25. https://doi.org/10.3102/0013189X11428813 Bevan N (2009) International standards for usability should be more widely used. J Usability Stud 4:106–113 BIBB (2022) VET data report Germany 2019. Facts and analyses to accompany the federal government report on vocational education and training—selected findings. BIBB, Bonn Bosbach J, Helms M, Umel A, Lattemann C (2024) Digitale Transformation im Handwerk – Motivatoren, Wünsche und Ängste von Mitarbeiter*innen im Change Prozess. HMD 61:128–140. https://doi.org/ 10.1365/s40702-023-01040-5 Bosse CK, Hellge V, Schröder D, Dupont S (2019) Digitalisierung im Mittelstand erfolgreich gestalten. In: Zink KJ, Bosse CK (Hrsg) Arbeit 4.0 im Mittelstand. Chancen und Herausforderungen des digitalen Wandels für KMU. Springer, Berlin, S 13–34 https://doi.org/10.1007/978-3-662-59474-2_2 Brown KG, Gerhardt MW (2002) Formative evaluation: an integrative practice model and case study. PERSONNEL PSYCHOLOGY 55(4):951–983. https://doi.org/10.1111/j.1744-6570.2002.tb00137.x De Witte K, Chénier MA (2023) Learning analytics in education for the twenty-first century. In: Bertoni E, Fontanam, Gabrielli L, Signorelli S, Vespe M (Hrsg) Handbook of computational social science for policy. Springer, Cham, S 305–326 https://doi.org/10.1007/978-3-031-16624-2_16 DIN (2020) EN ISO 9241-210:2020-03, Ergonomie der Mensch-System-Interaktion – Teil 210: Menschzentrierte Gestaltung interaktiver Systeme (ISO_9241-210:2019); Deutsche Fassung EN_ISO_9241210:2019. Beuth, Berlin https://doi.org/10.31030/3104744 Ehlert A, Hennecke HJ (2022) Personenzentrierte Digitalisierung zur Zukunftssicherung des Handwerks: Ergebnisse des Forschungsprojekts „Athene 4.0“. HANDWERK.NRW e.V, Düsseldorf Franke T, Attig C, Wessel D (2019) A personal resource for technology interaction: development and validation of the affinity for technology interaction (ATI) scale. Int J Human–computer Interact 35(6):456–467. https://doi.org/10.1080/10447318.2018.1456150 Friedrich I, Schwarzkopf M, Bullinger AC (2024) Zielgruppenidentifikation und Anforderungsanalyse: Ein praxisorientiertes Vorgehensmodell. In: GfA e.V. (Hrsg) Arbeitswissenschaft in-the-loop: MenschTechnologie-Integration und ihre Auswirkung auf Mensch, Arbeit und Arbeitsgestaltung. 70. Kongress der Gesellschaft für Arbeitswissenschaft e.V. GfA-Press, Dortmund Gao M, Kortum P, Oswald FL (2020) Multi-language toolkit for the system usability scale. Int J Human–computer Interact 36(20):1883–1901. https://doi.org/10.1080/10447318.2020.1801173 Gediga G, Hamborg KC (2002) Evaluation in der Software-Ergonomie: Methoden und Modelle im Software-Entwicklungsprozess. Z Psychol 210(1):40–57 Gläser J, Laudel G (2010) Experteninterviews und qualitative Inhaltsanalyse: Als Instrumente rekonstruierender Untersuchungen. VS, Wiesbaden Gollwitzer M, Jäger RS (2014) Evaluation kompakt. Beltz, Weinheim, Basel Goppold M, Müller ML, Thiem S, Tackenberg S, Frenz M, Nitsch V (2022) Lernmedienentwicklung für handlungsund gestaltungsorientiertes, Augmented Reality-gestütztes Lernen aus Fehlern an CNCDrehmaschinen – Zielkonflikte zwischen didaktischem Anspruch und technischer Umsetzung. BerufsWirtschaftspädagogik Online : Bwp@ 43:1–26. https://doi.org/10.18154/RWTH-2023-00952 Gould DJ, Terrell MA, Fleming J (2008) A usability study of users’ perceptions toward a multimedia computer-assisted learning tool for neuroanatomy. Anatomical Sciences Ed 1(4):175–183. https:// doi.org/10.1002/ase.36 Guhlemann K, Best C, Ali A (2023) Handwerk 4.0: Bedarf und Existenz digitaler Kompetenzen und Qualifizierungsvorlieben im Handwerksbetrieb vor dem Hintergrund der Implementierung und Etablierung der neuen Servicesoftware Athene 4.0. In: Lattemann C, Robra-Bissantz S (Hrsg) Personennahe Dienstleistungen der Zukunft – Edition HMD. Springer, Wiesbaden, S 135–148 https://doi.org/10. 1007/978-3-658-38813-3_8 K Formative Evaluation digitaler Weiterbildung im Handwerk: Eine Prozessbeschreibung zur... 1489 Hadwin AF, Nesbit JC, Jamieson-Noel D, Code J, Winne PH (2007) Examining trace data to explore selfregulated learning. Metacognition Learning 2:107–124. https://doi.org/10.1007/s11409-007-9016-7 Hayat AA, Keshavarzi MH, Zare S, Bazrafcan L, Rezaee R, Faghihi SA, Amini M, Kojuri J (2021) Challenges and opportunities from the COVID-19 pandemic in medical education: a qualitative study. BMC Med Educ 21(1):247. https://doi.org/10.1186/s12909-021-02682-z Hense JU (2010) Formative Evaluation von eLearning: Grundlagen und Anwendungsbeispiele. In: Mayer O, Kriz W (Hrsg) Evaluation von eLernprozessen: Theorie und Praxis. Oldenbourg, München, S 39–60 https://doi.org/10.1524/9783486704747.39 Hix D, Hartson HR (1993) Developing user interfaces: Ensuring usability through product and process. John Wiley & Sons, New York https://doi.org/10.1002/stvr.4370040109 Hochholdinger S, Schaper N, Sonntag K (2007) Formative Evaluation einer situierten E-Learning-Umgebung in der betrieblichen Bildung. Z Medienpsychologie 19(3):105–115. https://doi.org/10.1026/ 1617-6383.19.3.105 Huber K, Bannert M (2023) Investigating learning processes through analysis of navigation behavior using log files. J Comput High Educ. https://doi.org/10.1007/s12528-023-09372-3 Konrad K (2010) Lautes Denken. In: Mey G, Mruck K (Hrsg) Handbuch Qualitative Forschung in der Psychologie. VS, Wiesbaden, S 476–490 https://doi.org/10.1007/978-3-531-92052-8_34 Li J, Earnest J (2015) Das Beste aus zwei Welten – Vorteile einer Kombination von qualitativen und quantitativen. Forschungsmethoden. Wzb Mitteilungen 150:30–33 Mavrikis M, Geraniou E, Santos SG, Poulovassilis A (2019) Intelligent analysis and data Visualisation for teacher assistance tools: the case of exploratory learning. Brit J Educational Tech 50(6):2920–2942. https://doi.org/10.1111/bjet.12876 Richey RC, Klein J, Nelson W (2004) Developmental research: studies of instructional design and development. In: Jonassen D (Hrsg) Handbook of research for educational communications and technology. Lawrence-Erlbaum Associates, New Jersey, S 1099–1130 Sarodnick F, Brau H (2016) Methoden der Usability Evaluation: wissenschaftliche Grundlagen und praktische Anwendung, 3. Aufl. Hogrefe, Bern Schmiedebach M, Wegner C (2021) Design-Based Research als Ansatz zur Lösung praxisrelevanter Probleme in der fachdidaktischen Forschung. Bildungsforschung 2:1–10. https://doi.org/10.25656/01: 23920 Scriven M (1996) Types of evaluation and types of evaluator. Eval Pract 17(2):151–161. https://doi.org/10. 1177/109821409601700207 Seidel T, Prenzel M, Duit R, Lehrke M (2003) Technischer Bericht zur Videostudie „Lehr-Lern-Prozesse im Physikunterricht“. IPN-Materialien. Leibniz-Institut für die Pädagogik der Naturwissenschaften, Kiel Tasliarmut M, Langer D, Birke J, Zeiner-Fink S, Bullinger AC (2022) Digital literacy & motivation: creating personas with mixed-methods to tailor online training to the craft industry. In: Gómez C, López Martinéz A, Lees J (Hrsg) ICERI2022 proceedings 15th annual international conference of education, research and innovation, IATED academy. In, S 5261–5268 https://doi.org/10.21125/iceri.2022. 1280 Tasliarmut M, Schwarzkopf M, Bullinger AC (2024) Daten, Nutzen und Risiken: Der Einsatz von Logfileanalysen in der nutzer:innenzentrierten Entwicklung von digitalen Lernplattformen im Handwerk. In: GfA e.V. (Hrsg) Arbeitswissenschaft in-the-loop: Mensch-Technologie-Integration und ihre Auswirkung auf Mensch, Arbeit und Arbeitsgestaltung. 70. Kongress der Gesellschaft für Arbeitswissenschaft e.V. GfA-Press, Dortmund Thonipara A, Höhle D, Proeger T, Bizer K (2020) Digitalisierung im Handwerk – ein Forschungsüberblick. Göttinger Beiträge zur Handwerksforschung, Bd. 36. Volkswirtschaftliches Institut für Mittelstand und Handwerk an der Universität Göttingen, Göttingen https://doi.org/10.3249/2364-3897-gbh-36 Yamada M, Goda Y, Matsukawa H, Hata K, Yasunami S (2016) A computer-supported collaborative learning design for quality interaction. Ieee Multimed 23(1):48–59. https://doi.org/10.1109/MMUL. 2015.95 ZWH (2021) Digitaler Aufbruch im Handwerk: Eine Untersuchung zum Weiterbildungsbedarf des Lehrpersonals in den Bildungszentren. https://pronethandwerk.de/wp-content/uploads/2021/12/DigitalerAufbruch-im-Handwerk-eine-Untersuchung-zum-Weiterbildungsbedarf-des-Lehrpersonals-inden-Bildungszentren.pdf. Zugegriffen: 18. Apr. 2024 Hinweis des Verlags Der Verlag bleibt in Hinblick auf geografische Zuordnungen und Gebietsbezeichnungen in veröffentlichten Karten und Institutsadressen neutral. K