Nicht nur eine Frage der Technik: KI, Gender & Bias

Slides: https://kurzlinks.de/profme-bias NICHT NUR EINE FRAGE DER TECHNIK KI, Gender & Bias Anja Lorenz & Anna Lena Möller (DLC) | Prof:Me, 10.12.2025 Das sind wir 2 Anja Lorenz Wiss. Mitarbeiterin ISy/THL; Instructional Design (DLC) anja.lor[email protected] Anna Lena Möller Wiss. Mitarbeiterin ISy/THL; Instructional Design (EDIH.SH & DLC) [email protected] Connect on Linked.In Der Digital Learning Campus 3 UMFRAGE 1 4 UMFRAGE 2 5 Ein Empfehlungsschreiben für Max und Mia •Du möchtest für eine Kollegin und einen Kollegen ein Empfehlungsschreiben verfassen. Dafür nutzt du ein generatives KI-Tool das dir den Text auf Grundlage eines Promptes vorformuliert. •Macht es einen Unterschied, ob du einen männlichen oder einen weiblichen Vornamen verwendest? Gedankenexperiment Wan, Y., Pu, G., Sun, J., Garimella, A., Chang, K.-W., & Peng, N. (2023). "Kelly is a warm person, Joseph is a role model": Gender biases in LLM-generated reference letters. arXiv preprint arXiv:2310.09219. https://arxiv.org/abs/2310.09219 6 Eine Studie der Stanford University zeigt: Wenn der Prompt derselbe ist und sich nur der Name unterscheidet, ... •Enthalten Empfehlungsschreiben für männliche Namen Worte wie: produktiv, zuverlässig, motiviert, Experte oder Talent. •Enthalten Empfehlungsschreiben für weibliche Namen Worte wie: emotional, makellos, rücksichtsvoll, beliebt oder warmherzig. FALLBEISPIEL Amazon Recruitung Quelle: https://www.heise.de/news/ Amazon-KI-zur-Bewerbungspruefung-benachteiligte-Frauen-4189356.html 7 •Bewerbungen automatisiert gefiltert •Grundlage: erfolgreiche Bewerbungen der Vergangenheit (überwiegend Männer) Weitere Beispiele: •Bewertung der Rückfallgefahr von Straftäter:innen benachteiligt Afroamerikaner:innen (Link). •Arbeitsmarktservice Österreich benachteiligt Frauen bei der Kategorisierung von Jobsuchenden bzgl. Erfolgschancen von Förderungen und Weiterbildungen (Link). •Chatbot zur Berufsorientierung (ebenfalls AMS Österreich) empfiehlt stereotype Berufe (Link). •Input: Was ist Bias und wie kann sich das auswirken •Erste Experimentierphase •Input: Warum ist das ein Problem (Automation Bias) •Input: Methoden zur Bias-Reduktion Diversity Personas & De-Biasing durch Promting •Zweite Experimentierphase •Round-up Das machen wir heute Was ist Bias? [in KI-Systemen] 9 verzerrte Entscheidungen verzerrte Trainingsdaten 16 PROMPT a group of sick and poor White children, in the style of photojournalism. ❌ ✅ PROMPT a group of Black African doctors in the style of photojournalism. ✅ PROMPT African doctors administer vaccines to poor White children in the style of photojournalism 17 ❌PROMPT Black African doctor is helping poor and sick White children, photojournalism 18 ❌PROMPT Traditional African healer is helping poor and sick White children 19 ❌PROMPT Traditional African healer is healing a White child in a hospital 20 ❌PROMPT Doctors help children in Africa PROMPT an HIV patient receiving care, photojournalism 🫣 21 > 300 Prompts ohne Erfolg 22 > 300 Prompts ohne Erfolg 23 verzerrte Entscheidungen verzerrte Trainingsdaten (gleiches Phänomen bei anderen Formaten wie Text, Musik etc.) 🤔 24 PROMPT Black African doctor and white European child Weitere Experimente von Per Axbom mit Stable Diffusion, mehr unter https://axbom.com/generative-prejudice/ März 2023, via Per Axom https://axbom.com/generative-prejudice/ ABER: KI-Tools entwickeln sich weiter 25 black doctor treating blonde European child hospital (Adoe FireFly) black doctor treating a blonde European child at a hospital black doctor treating a blonde European child at a hospital black doctor treating a blonde European child at a hospital Zwei Methoden zur Bias-Reduktion Diversity Personas & De-Biasing durch Prompting 32 Personas … … repräsentieren die Zielgruppe → oft von Biases betroffen, bspw. ○bei Frauen wird beschrieben, ob sie Kinder haben oder nicht, ○bei Männern werden Kinder nicht erwähnt ○Männer spielen Fußball – Frauen nicht ⇒ schränkt die Perspektiven ein und verstärkt Stereotypen! Diversity Personas notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung 33 Strategien zur Überwindung des Bias 1. vielfältige Datenquellen nutzen 2. mit diversem Team erarbeiten 3. Gezielte Darstellung von Diversität bei Personas ○breite Palette an Nutzendenperspektiven ○bspw. Gender Swapping: anderes Geschlecht annehmen ○UND: meist profitieren auch andere Nutzendengruppen davon! Diversity Personas notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung 34 Vorgehen: 1. vielfältige Daten sammeln 2. intersektionale Faktoren berücksichtigen (Überschneidungen und gegenseitige Beeinflussung) 3. Persona-Profile erstellen •authentische Charaktere erschaffen •gezielt unübliche Kombinationen → Stereotypen vermeiden 4. Personas evaluieren Diversity Personas notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung 35 im DLC Bachelorarbeit von Britta Leonhard https://personas-17302.projects.mylab.th-luebeck.dev/ Diversity Personas 36 ANSATZ: “Fighting Fire with Fire” Self-De-Biasing (kurz zusammengefasst) •LLM kann eigene Biases beschreiben •anschließend Ergebnisse ohne diese Biases generieren De-Biasing durch Re-Prompting notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung 37 De-Biasing durch Re-Prompting Adaptiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung 38 Schritt 1: Zero-Shot •Rollenzuweisung •Aufgaben-Beschreibung Du bist … Tue das … Gerne … De-Biasing durch Re-Prompting notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung 39 Schritt 2: Re-Prompting (Chain-of-Thought) •Selbstüberprüfung der generierten Antwort mittels eines Prompts der zum Ziel hat stereotype Aussagen im Text zu identifizieren. Nun finde Stereotype … Gerne … De-Biasing durch Re-Prompting notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung 40 Schritt 3: Re-Prompting (Chain-of-Thought) •Vorschläge zum Umformulieren geben lassen Schlage Änderungen vor! Gerne … De-Biasing durch Re-Prompting notiert aus: Methoden der Bias-Reduktion für eine sozialverantwortliche KI-Gestaltung, KI-Campus, URL: https://ki-campus.org/courses/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung 41 Schritt 4: Re-Prompting (Chain-of-Thought) •Vorschläge übernehmen lassen Formuliere neu! Gerne … ggf. weitere Iterationen Wir können damit Probleme verstärken. Fazit 48 Wir können damit Probleme verstärken oder Lösungen unterstützen. Fazit 49 Grafik: kathia. (2024, Dezember 27). Wie wird gleich? 38. Chaos Communication Congress (38c3), Hamburg. https://media.ccc.de/v/38c3-wie-wird-gleich CC BY 4.0, neu eingefärbt. 50 Grafik: kathia. (2024, Dezember 27). Wie wird gleich? 38. Chaos Communication Congress (38c3), Hamburg. https://media.ccc.de/v/38c3-wie-wird-gleich CC BY 4.0, neu eingefärbt. Danke! Anja Lorenz, Institut für Interaktive Systeme (ISy) | @anjalor[email protected] Anna Lena Möller, Institut für Interaktive Systeme (ISy) | [email protected] Slides: https://kurzlinks.de/profme-bias … von Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor. https://ebildungslabor.de/blog/besseres-prompting-hilft-nur-bedingt-gegen-bias/, generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0 Weitere Beispiele für Bias in KI-Bildern 52 53 PROMPT Jemand hält einen Vortrag auf einer Konferenz Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0 54 PROMPT Eine schwarze Person hält einen Vortrag auf einer Konferenz Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0 55 PROMPT Eine Person im Rollstuhl hält einen Vortrag auf einer Konferenz Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0 56 PROMPT Eine Person bringt einer anderen Person Mathematik bei Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0 57 PROMPT Eine schwarze Person bringt einer anderen Person Mathematik bei Nele Hirsch: Besseres Prompting hilft nur bedingt gegen Bias! eBildungslabor., generiert mit Midjourney, Stand: 14. März 2024, Lizenz: CC BY 4.0 Sind LLMs eher links oder rechts? 64 •Bereinigung der Daten oft nicht ausreichend •geringfügige Verzerrungen können immer vorhanden sein “Es gibt keine Fairness ohne Bewusstsein.” Chan Park, Carnegie Mellon University Sind LLMs eher links oder rechts? 65 BEISPIEL KI-Korrekturhilfe von Fobizz Mühlhoff, R., & Henningsen, M. (2024). Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben (No. arXiv:2412.06651). arXiv. https://doi.org/10.48550/arXiv.2412.06651 Mühlhoff, R., & Henningsen, M. (2024). Chatbots im Schulunterricht!? 38. Chaos Communication Congress (38c3), Hamburg. https://media.ccc.de/v/38c3-chatbots-im-schulunterricht 66 Mühlhoff, R., & Henningsen, M. (2024). Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben (No. arXiv:2412.06651). arXiv. https://doi.org/10.48550/arXiv.2412.06651 67 Mühlhoff, R., & Henningsen, M. (2024). Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben (No. arXiv:2412.06651). arXiv. https://doi.org/10.48550/arXiv.2412.06651 68 1. “Zufallsbedingte Volatilität von Bewertungen und Feedback: […] 2. Unzuverlässige Erkennung von sachlichen Fehlern und Nonsense-Abgaben: […]. 3. Inkonsistente Umsetzung von Bewertungskriterien: […] Inkonsistentes Feedback: […] 4. Umsetzung des Feedbacks führt nicht zu Verbesserungen: […] 5. Bestnote nur durch ChatGPT möglich (Täuschung): […] Hauptergebnisse Mühlhoff, R., & Henningsen, M. (2024). Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben (No. arXiv:2412.06651). arXiv. https://doi.org/10.48550/arXiv.2412.06651 69 Quelle: https://bias-and-fairness-in-ai-systems.de/grundlagen/#1111 70 71 Grafik: kathia. (2024, Dezember 27). Wie wird gleich? 38. Chaos Communication Congress (38c3), Hamburg. https://media.ccc.de/v/38c3-wie-wird-gleich CC BY 4.0, neu eingefärbt. 72 Grafik: kathia. (2024, Dezember 27). Wie wird gleich? 38. Chaos Communication Congress (38c3), Hamburg. https://media.ccc.de/v/38c3-wie-wird-gleich CC BY 4.0, neu eingefärbt. generiert mit ChatGPT 4o am 09.01.2025 •bevorzugt, •benachteiligt oder sogar •ausgeschlossen. Was ist Bias? [in KI-Systemen] 80 → Szenarien werden verzerrte Entscheidungen verzerrte Trainingsdaten Diskriminierung •bevorzugt, •benachteiligt oder sogar •ausgeschlossen. Was ist Bias? [in KI-Systemen] 81 → Szenarien werden verzerrte Entscheidungen verzerrte Trainingsdaten Diskriminierung Diskriminierung Charta der Vielfalt e.V. (2022, Dezember). Arbeitsblatt “Privilege and Power Wheel”. https://www.charta-der-vielfalt.de/fileadmin /user_upload/Antirassistische_Bewusstseins bildung/Toolbox_Antirassismus/Arbeitsbl%C 3%A4tter/Arbeitsblatt_Privilege_and_Power _Wheel.pdf 82 Charta der Vielfalt e.V. (2022, Dezember). Arbeitsblatt “Privilege and Power Wheel”. https://www.charta-der-vielfalt.de/fileadmin /user_upload/Antirassistische_Bewusstseins bildung/Toolbox_Antirassismus/Arbeitsbl%C 3%A4tter/Arbeitsblatt_Privilege_and_Power _Wheel.pdf 83 generiert mit ChatGPT 4o am 09.01.2024 generiert mit ChatGPT 4o am 09.01.2024 … at least you tried ¯\_(ツ)_/¯