S a is ische Sp achmodelle selbs kons uie en und
explo ie en mi SoekiaGPT
Michael Hielsche
1
, Bea Döbeli Honegge
1
, Nico S einbach
1
und We ne Ha mann
1
Abs ac : Cha bo s wie Cha GPT sind inzwischen Teil des digi alen All ags. De In o ma ikun e ich
kann hel en, ih e Funk ionsweise zu e klä en. Die in diesem P axisbei ag besch iebene Un e -
ich seinhei hema isie Sp achmodelle, insbesonde e s a is ische Wah scheinlichkei s e eilungen
anhand e schiedene unplugged-Ak i i ä en und de zu diesem Zweck en wickel en Le numgebung
SoekiaGPT. Die Schüle innen und Schüle e s ellen eigene N-G amm-Modelle und explo ie en
diese in einem ein achen Tex gene a o . Dami läss sich de Ein luss on T ainingsda en und das
g undlegende P inzip on s a is ischen Sp achmodellen au zeigen.
Keywo ds: Un e ich , Sp achmodelle, N-G amm-Modelle, Leh - und Le numgebung
1 Einlei ung
Cha bo s wie Cha GPT und Gemini sind inzwischen all ägliche Hil smi el und we den
on Schüle innen und Schüle iel äl ig genu z . De In o ma ikun e ich kann und soll
digi ale All agsphänomene au g ei en und im Sinne de Allgemeinbildung e klä en. Dies
mi dem Ziel, komplexe Sys eme zu en mys i izie en und Schüle innen und Schüle n
g undlegende P inzipien dahin e au zuzeigen. Die Basis de Cha bo s sind Sp achmodelle,
genaue La ge Language Models (LLM), die aus seh ielen o handenen Tex en s a is ische
Zusammenhänge zwischen Wö e n (genaue Token) abbilden und mi de en Hil e man u.a.
Tex e gene ie en ode e olls ändigen kann. Zu E s ellung s a is ische Sp achmodelle
e wende man maschinelles Le nen, um eine Wah scheinlichkei s e eilung übe Wö e
zu e s ellen, die zu Vo he sage des wah scheinlichs en nächs en Wo es in einem Tex
e wende we den kann.
Wi habe eine Un e ich seinhei zu Sp achmodellen en wickel , um die g undlegenden
P inzipien hin e solchen Sys emen zu e mi eln. Die Schüle innen und Schüle sollen
le nen, dass s a is ische Sp achmodelle aus einem T ainingsda ensa z on Tex en gewonnen
we den können und dass de Da ensa z massgeblich die Ausgabe beein luss . Mi eine in e -
ak i en Le numgebung können die Schüle innen und Schüle selbs kleine Sp achmodelle
e zeugen und diese in einem Tex gene a o e wenden. Dabei können sie die s a is ischen
Zusammenhänge on Wö e n und die A bei sweise eines Tex gene a o s explo ie en.
1
Pädagogische Hochschule Schwyz , Ins i u ü Medien & Schule, Zays asse 42, CH-6410 Goldau , Schweiz,
michael.hielsc[email p o ec ed], h ps://o cid.o g/0009-0001-8437-7889;
[email p o ec ed], h ps://o cid.o g/0000-0002-0199-9712; nico.s[email p o ec ed]h;
we ne .ha [email p o ec ed]h
cba doi:10.18420/in os2025_p _5
M. G illenbe ge & A. G illenbe ge (H sg.): G enzen übe winden - oneinande le nen,
Lec u e No es in In o ma ics (LNI), Gesellscha ü In o ma ik, Bonn 2025 89
Ak uelle Cha bo s wie Cha GPT sind seh komplexe So wa ep oduk e, die nich nu
aus einem La ge Language Model bes ehen, sonde n noch iele o - und nachgelage -
e Ve a bei ungssch i e e wenden. LLM basie en au um ang eichen T ainingsda en
und benö igen iel Rechenleis ung ü den Le np ozess (T aining). Au einem einzelnen
Compu e mi eine ak uellen Hochleis ungsg a ikka e wü de das T aining on GPT 3.0
e wa 350 Jah e daue n. De a leis ungs ähige LLMs mi Schüle innen und Schüle n im
Un e ich selbs he zus ellen und zu e g ünden is dami ak uell nich p ak ikabel, da die
da ü nö igen Da enmengen, Rechenleis ung und Zei im Schulall ag nich gegeben sind.
Kleine e ainie e Modelle (z.B. LAMA3-8B, Mis al Ins uc ) lassen sich hingegen on
e schiedenen Quellen wie Hugging ace ode in We kzeugen wie GPT4all he un e laden
und be ei s mi Desk op-Compu e n nu zen, jedoch kann man p inzipbeding in die Ne z-
we ke nich hineinschauen und so de en A bei sweise nich nach ollziehen. Diese Ums and
mach es schwie ig, komplexe Sp achmodelle im Un e ich übe die eine Anwendung
hinaus zu explo ie en. Möch en wi die g undlegende A bei sweise zeigen, können wi
eine didak ische Reduk ion o nehmen und au ein ache e Modelle zu ückg ei en. Wi
e zich en im hie besch iebenen Ansa z bewuss au die E klä ung on neu onalen Ne zen,
Wo d Embeddings ode Mul i-Head-La en -A en ion. Obwohl diese Komponen en ganz
zen ale E olgs ak o en de heu igen GPT-Modelle sind, sehen wi sie ü die E klä ung de
G undp inzipien - wie de Compu e übe haup aus g ossen Tex sammlungen s a is ische
In o ma ionen übe Sp ache gewinnen und da aus neue Tex e gene ie en kann - als nich
zwingend nö ig an. Fü eine um ang eiche E klä ung zu Sp achmodellen emp ehlen wi den
in e ak i e Ku s on Lena Voi a [Vo23]. De im Folgenden besch iebene Un e ich sen wu
ich e sich an Schüle innen und Schüle de 7. Klasse. Je nach Schuls u e kann man wei e e
Aspek e au g ei en und e ie en.
2 Sp ache und Wah scheinlichkei en
Wi möch en mi den Schüle innen und Schüle n o allem die Bedeu ung de T ainingsda en
ü s a is ische Sp achmodelle he ausa bei en und wie ein solches Modell genu z we den
kann, um Wo ü Wo einen Tex au Basis on Wah scheinlichkei en o zuse zen. Zu
Vo be ei ung nu zen wi in einem e s en Teil e schiedene CS-Unplugged-Ak i i ä en
(wei e e unplugged Ideen z.B. in [ZOR23]).
Wö e mi A, B, C: Die Schüle innen und Schüle no ie en alle gleichzei ig ein Tie mi
“A”, eine F uch mi “B” und ein Wo mi “C”. Anschliessend wi d schnell gezähl , wie
iele Schüle :innen “A e” und “Banane” gewähl haben. Da an läss sich be ei s zeigen,
dass wi in de Sp ache bes imm e Vo e ah ungen haben und einige Wö e häu ige im
Sp achgeb auch sind als ande e. Ohne zu s a k in die Ma hema ik und die S ochas ik
ein auchen zu müssen, kann an diesem Beispiel übe Wah scheinlichkei en on bes imm en
Wö e n gesp ochen we den.
Wie geh es wei e ?: Die Schüle innen und Schüle e hal en einige Sa zan änge und sollen
diese jeweils o se zen. E wa “Es wa . . . ” ode “De ühe Vogel . . . ” Auch hie p o i ie en
90 Michael Hielsche , Bea Döbeli Honegge , Nico S einbach, We ne Ha mann
wi als Mensch on unse em Vo wissen und können solche Sä ze ein ach o se zen und sind
dabei o he sehba . Die in de o he igen Au gabe ad essie e Häu igkei on einzelnen
Wö e n wi d somi au Wo olgen ausgewei e .
Fo se zungsgeschich e: Die Schüle innen und Schüle e zählen mündlich eine ik i e Ge-
schich e. Hin e einande soll dabei jedes Kind möglichs schnell genau ein Wo hinzu ügen.
Die Fo se zung geling uns als Menschen ein ach, da wi um ang eiche Sp ache ah ungen
haben. Typische weise konzen ie man sich s a k au das zule z genann e Wo . Be ei s
nach wenigen Sä zen geh deshalb häu ig de Sinn de Geschich e komple e lo en.
Knick ex : Die Schüle innen und Schüle sch eiben au einem Bla Papie eine Fo -
se zungsgeschich e. Es wi d jeweils eine neue Zeile zu Geschich e hinzuge üg und de
bishe ige Tex e lau umgeknick , sodass imme nu die le z e Zeile sich ba bleib . Das
Bla wi d nach jede Zeile wei e gegeben und du ch wei e e Schüle innen und Schüle
e gänz . Am Ende wi d das Bla au ge al e und die gesam e Geschich e o gelesen. Die
Ak i i ä e deu lich be ei s ein P inzip eines Tex gene a o s au Basis eines s a is ischen
Sp achmodells: Es wi d imme au eine beg enz e Anzahl Wö e zu ückgeschau , um das
nächs e Wo zu gene ie en. Je meh “Kon ex ” wi haben, des o besse und konsis en e
können wi die Geschich e o se zen.
Als Mensch können wi diese Au gaben p oblemlos lösen, weil wi be ei s iel E ah ung
mi de eigenen Sp ache haben. In eine uns emden Sp ache wü de uns das nich
gelingen bzw. wi müss en zue s die emde Sp ache le nen und mi diese e au we den.
Genauso kann ein Compu e aus ielen Tex en le nen, wie Tex e au gebau sind bzw.
welche Wö e ypische weise au ande e olgen. Ein s a is isches Sp achmodell is eine
Abbildung diese Zusammenhänge zwischen Wö e n in einem ma hema ischen Modell.
Ganz e ein ach können wi das du ch ein aches Auszählen he s ellen. Zum Beispiel
können die Schüle innen und Schüle in eine Tabelle ü ein häu iges Wo (z.B. “eine”)
in einem Buch alle Folgewö e no ie en und mi eine S ichlis e zählen, wie häu ig diese
nach dem Wo o kommen. Da diese A bei schnell mühsam wi d, beau agen wi liebe
den Compu e dami .
3 Ein eigenes Sp achmodell
Wi wechseln mi den Schüle innen und Schüle n in die in e ak i e Le numgebung Soe-
kiaGPT ( gl. [Hi23]). SoekiaGPT äg zwa in Anlehnung an Cha GPT ein GPT im Namen,
is abe kein Gene a i e P e ained T ans o me sonde n ein didak isches We kzeug, um
ein ache s a is ische Sp achmodelle, genaue N-G amm-Modelle, aus eine Dokumen-
enkollek ion zu gene ie en. Anhand ein ache Auswahlalgo i hmen (in Anlehnung an
Ma kow-Ke en) wi d bei de Tex gene ie ung das wah scheinlichs e nächs e Wo bes imm ,
um Sch i ü Sch i eine An wo in einem an Cha GPT angelehn en Dialog ens e zu
eine Eingabe (P omp ) zu gene ie en.
S a is ische Sp achmodelle selbs kons uie en und explo ie en mi SoekiaGPT 91
Ein N-G amm-Modell bes eh ypische weise aus meh e en Tabellen on N-G ammen
(Wo olgen de Länge N) und de en ange o ene Häu igkei . Die Wo olge “Es wa
einmal” is beispielsweise ein 3-G amm, das einzelne Wo “Wald” hingegen ein 1-G amm.
Es wi d ausgezähl , wie häu ig jedes N-G amm in de Dokumen enkollek ion o komm .
Das Ve ah en eigne sich nich ü La ge Language Modelle, da es nich skalie , die
Tabellen unglaublich g oss we den und nu exak e Übe eins immungen gezähl we den.
Dies is ein G und, wa um LLMs mi neu onalen Ne zwe ken a bei en, da sie mi eine
gewissen Unschä e ähnliche Inhal e wie Synonyme gleich behandeln können (z.B. Mee ,
See, Ozean). Fü kleine e Dokumen enkollek ionen on einigen hunde Sei en, eigne sich
ein N-G amm-Modell didak isch jedoch gu , da man im Gegensa z zu einem neu onalen
Ne zwe k hineinschauen und die N-G amme und de en Häu igkei en isualisie en kann. Fü
eine übe schauba e Menge on Tex en läss sich ein N-G amm-Modell in einem B uch eil
eine Sekunde on einem Compu e e zeugen und anwenden, womi sie sich p oblemlos im
Un e ich einse zen lassen.
Nach dem Au u de Le numgebung SoekiaGPT is be ei s ein Sp achmodell zu klassischen
Mä chen o geladen. Mi “Schau hinein” kann man hin e die Kulissen blicken und die
ü das Modell e wende en T ainingsda en einsehen und manipulie en. Die Schüle innen
und Schüle können wahlweise aus o ge e ig en Dokumen enkollek ionen (zu Mä chen,
We e be ich e,Tie geschich en / Tie besch eibungen, Musik) wählen ode selbs beliebige
Tex e zusammen agen. Mi einem Klick we den die Dokumen e analysie und ein N-
G amm-Modell mi einem zu o gewähl en maximalen N gene ie (Vo eins ellung N<=5).
Es we den somi au oma isch alle 1-G amme, 2-G amme . . . bis 5-G amme aus allen
Dokumen en gene ie (siehe Abb. 1).
Abb. 1: Gene ie e Tex , N-G amme und Dokumen e in SoekiaGPT
Die Schüle :innen können nun ein ache s a is ische F ages ellungen zu ih en Tex en bean -
wo en: Welches 3-G amm is das häu igs e in allen Dokumen en? Welches is das häu igs e
Wo (1-G amm)? Was sind sel ene Wö e ? Die Le numgebung übe nimm die Fleissa bei ,
alle Tex e zu ze legen und Wö e und Wo olgen zu zählen. Den Algo i hmus kann man
92 Michael Hielsche , Bea Döbeli Honegge , Nico S einbach, We ne Ha mann
abe p oblemlos auch pe Hand au Papie du chspielen und einen beliebigen Tex z.B. in
3-G amme ze legen. Mi eine gedanklichen “3-Wo -Schablone” wande man übe den
gesam en Tex , indem man die Schablone imme ein Wo wei e schieb und das 3-G amm
in eine Tabelle no ie .
Is das Sp achmodell mi allen N-G ammen e s ell , kann es ü die E zeugung on neuen
Tex en in einem ein achen Tex gene a o e wende we den. SoekiaGPT bie e einen
ein achen Dialog in Anlehnung an ypische Cha bo s. Die An wo au einen P omp wi d
Wo ü Wo gene ie . Die En scheidung, welches Wo als nächs es gewähl wi d, wi d
in de Le numgebung in de o en Spal e isualisie . Alle “passenden” N-G amme we den
do au gelis e und nach de Länge (N) und ih e Häu igkei so ie da ges ell . In jedem
Sch i we den alle N-G amme au Übe eins immung mi den le z en Wo en de Ausgabe
e glichen. De Tex an ang “Es wa ” pass zum 3-G amm “Es wa einmal”, da alle N-1
Wö e des N-G amms übe eins immen. Das Wo “einmal” is also ein wah scheinliches
nächs es Wo . Die Länge des N-G amms (N) en scheide in de Le numgebung übe die
Pla zie ung in de Lis e. E s danach wi d die Häu igkei des N-G amms inne halb de
Kollek ion ü die So ie ung he angezogen. Ein sel enes 3-G amm is höhe we ig als ein
seh häu iges 2-G amm usw. Pass kein N-G amm, so gewinn das häu igs e 1-G amm. De
Algo i hmus ü die Bildung diese Reihen olge läss sich eben alls ein ach besch eiben und
manuell du ch üh en. Um nun au oma isie einen Tex zu gene ie en, wi d in jedem Sch i
de höchs we ige Ein ag in de Lis e gewähl und de Tex mi dem le z en Wo dieses
N-G amms o gese z .
SoekiaGPT bie e e schiedene Op ionen an, um das Ve hal en des Auswahlalgo i hmus zu
beein lussen. So kann die sogenann e Tempe a u einges ell we den. Je höhe die Tempe a u ,
je zu ällige wi d de Algo i hmus N-G amme aus de Lis e alle passenden N-G amme
ziehen. Bei de Tempe a u Null wi d SoekiaGPT imme das iden ische, ep oduzie ba e
E gebnis zu einem P omp lie e n. Die Schüle innen und Schüle können dami selbs
expe imen ie en und das Ve hal en des Tex gene a o s bei un e schiedlichen Eins ellungen
beobach en. Die Tempe a u en scheide bei g ossen Sp achmodellen, wie “k ea i ” das
Modell a bei e . Auch Cha GPT ode Gemini haben eine Tempe a u -Eins ellung, die dem
no malen Nu ze abe in de Regel e bo gen bleib (z.B. nu bei OpenAI-Playg ound
eins ellba ). Die Vo eins ellung de Tempe a u is bei den g ossen Sp achmodellen in de
Regel nich Null. Das e möglich es z.B., dass die Nu zenden mi dem gleichen P omp
leich e schiedene Tex o mulie ungen e zeugen und dann selbs eine Auswahl e en
können.
Die Schüle innen und Schüle e hal en nun meh e e kleine Au äge, um mi e schiedenen
Kollek ionen und Pa ame e eins ellungen zu expe imen ie en. Dabei können auch eigene
Kollek ionen mi beliebigen Tex en angeleg we den. Es bes eh die Möglichkei mi de
Klasse eine gemeinsame Kollek ion anzulegen, zu de alle Dokumen e bei agen können.
Zunächs kann mi ganz ku zen Tex en ode einem einzelnen Sa z begonnen we den. Spä e
können die T ainingsda en (Tex e) auch ganz bewuss manipulie we den. Möch e ich e wa
ein Mä chen mi eine “Königin” gene ie en, wi d dies mi de o einges ell en Kollek ion
S a is ische Sp achmodelle selbs kons uie en und explo ie en mi SoekiaGPT 93
zu Mä chen nich möglich sein, da do imme nu ein “König” o komm . Es läss sich eine
Diskussion übe Bias in Da en üh en, wa um du ch T ainingsda en auch S e eo ypen und
Ungleichhei en ge ö de we den können und die Auswahl de T ainingsda en nie “neu al”
is . Die Schüle innen und Schüle können die Dokumen e di ek in de Le numgebung
edi ie en und so ein une wünsch es Ve hal en ko igie en - indem sie zum Beispiel meh e e
Sä ze zu eine Königin ein ügen und e neu Tex e gene ie en lassen. Ein Tex gene a o mi
einem s a is ischen Sp achmodell kann nu das wiede geben und neu kombinie en, was
be ei s in den T ainingsda en o kam. Kommen bes imm e Wo olgen häu ig in den Da en
o , we den sie auch häu ige gene ie .
Dami sind wi be ei s im Be eich de Re lexion zu gesellscha lichen F agen und um den
Einsa z on Sp achmodellen und gene a i e “Küns liche In elligenz” angekommen. Die
Schüle innen und Schüle sollen e kennen, dass Sp achmodelle nu mi Wah scheinlichkei en
a bei en und kein ie gehendes Ve s ändnis des Tex es besi zen. Die Sys eme lie e n
g amma ikalisch und s ilis isch wohlge o m e Sä ze, die au den e s en Blick glaubwü dig
e scheinen. Expe imen e mi Nischen hemen ode wenig bekann en Pe sönlichkei en lie e n
auch bei den gängigen Cha bo s schnell alsche ode e undene Fak en (Halluzina ion).
Ve s eh man die A bei sweise solche Sys eme, wi d kla , wa um s a is isch wah scheinliche,
abe nich zwingend ich ige Aussagen gene ie we den. Cha bo s wie Pe plexi y und
Cha GPT we den diesbezüglich imme leis ungs ähige und üh en inzwischen bei Beda
selbs s ändig eine Websuche du ch. Die G enzen zwischen Suchmaschine und Sp achmodell
e schwimmen zunehmend. Dennoch wi d man auch in Zukun mi einem La ge Language
Model, welches mi Tex en on Websei en, Lexika und klassische Li e a u ge ü e wu de,
jene F ages ellungen zu e lässige bean wo en können, die do häu ig o gekommen sind.
Dami läss sich übe die E wa ungshal ung sp echen, welche F agen und Au gaben ein
Cha bo endenziell besse ode schlech e lösen kann.
Abb. 2: Gene ie es Lied in ABC-No a ion und MIDI-Playe
94 Michael Hielsche , Bea Döbeli Honegge , Nico S einbach, We ne Ha mann
Abschliessend kann mi den Schüle innen und Schüle n besp ochen we den, dass sich das
gezeig e P inzip de s a is ischen Auswe ung und Gene ie ung nich nu ü Tex e wenden
läss , sonde n po enziell ü alle Fo men on Da en. Dazu wi d in SoekiaGPT z.B. eine
Dokumen enkollek ion mi meh e en Musiks ücken in ABC-No a ion be ei ges ell . Bei
ABC no ie man No en als Buchs aben und nu z spezielle Zeichen ü Wiede holungen,
No enlänge ode Pausen. Die Schüle innen und Schüle können expe imen ie en, wie neue
Musiks ücke du ch Neukombina ion on Ve sa zs ücken en s ehen. In de Le numgebung
können die so gene ie en Musiks ücke di ek abgespiel und angehö we den (siehe Abb. 2).
Jens Möning besch eib in seinem Bei ag zu Snap!GPT ( gl. [Mö24]) wie neben Tex und
Musik auch die nächs en S iche eine Zeichnung nach dem gleichen P inzip o he gesag
we den können.
4 Diskussion und Fazi
Die besch iebene Un e ich ssequenz mi CS-unplugged Übungen und de Le numgebung
SoekiaGPT wu de in meh e en Klassen (ab de 5. Klasse) du chge üh . Als Eins ieg wu de
dabei imme zue s mi einem p o essionellen Sp achmodell expe imen ie und die F age
mo i ie , wie diese Sys eme wohl unk ionie en. Die Un e ich seinhei ha zum Ziel, die
Sp achmodelle hin e Cha bo s zu en mys i izie en und die G undp inzipien handlungso ien-
ie und nach ollziehba zu e mi eln. N-G ammen und Wah scheinlichkei s e eilungen
sind seh hil eich ü das g undlegende Ve s ändnis de Sp achmodellie ung. N-G amm-
Modelle sind ein ach und in e p e ie ba , sie haben abe Einsch änkungen, die LLMs
du ch o sch i liche A chi ek u en und g osse Da ensä ze übe winden. Auch LLMs wie
GPT-4 nu zen Wah scheinlichkei s e eilungen zu Vo he sage und Gene ie ung on Tex ,
e assen jedoch komplexe Mus e in Da en mi hil e neu onale Ne zwe ke, ans a sich au
N-G amm-Häu igkei en zu s ü zen. Zudem nu zen sie wei e e s a is ische In o ma ionen,
e wa an welchen S ellen im Sa z bes imm e Wö e e wende we den.
Kleine Sp achmodelle können deshalb nich die eind ücklichen E gebnisse eines Cha GPT
eplizie en. Sie können z.B. nich au beliebige F agen sinn olle An wo en lie e n. Dies üh
bei Expe imen en mi kleinen Modellen schnell zu eine En äuschung bei den Le nenden.
Es is ü uns Menschen schwe o s ellba , dass du ch die s eigende Da enmenge und
Anzahl Pa ame e (e wa die Anzahl de Ve bindungen in den neu onalen Ne zwe ken) und
du ch Fein uning (z.B. du ch Rein o cemen Lea ning om Human Feedback, RLHF) die
Fähigkei en eines Sp achmodells eilweise sp ungha zunehmen können (Eme genz). Es
bleib eine o ene F age, ob die hie skizzie e um ang eiche didak ische Ve ein achung
den anges eb en Zielen ge ech we den kann, ode ob zwingend wei e e Konzep e e klä
we den müss en.
In den Eins ellungen on SokiaGPT läss sich zum Beispiel ein Modus zu Simula ion on
Au me ksamkei (A en ion, gl. [Va17]) in Anlehnung an T ans o me -Modelle ak i ie en.
Mi diesem läss sich au zeigen, dass das Sp achmodell in Abhängigkei on de An age
(P omp ) bes imm e Regionen s ä ke gewich en kann. Bei eine An age “Sch eibe ein
S a is ische Sp achmodelle selbs kons uie en und explo ie en mi SoekiaGPT 95
Mä chen zu einem F osch” we den dann in SoekiaGPT N-G amme aus Dokumen en
mi “F osch” höhe gewich e und häu ige gewähl . Um Konzep e wie Embeddings und
Ähnlichkei en on Wö e n bei de Gene ie ung einzubeziehen, bie e SoekiaGPT die
Op ion eine Synonym-Da enbank zu ak i ie en und syn ak isch ähnlich Wö e gleich zu
behandeln (übe Ja o-W inke -Dis anz). Ob und ab welche Schuls u e sich eine in ensi e e
Auseinande se zung und de Ve gleich mi ech en LLMs und de en Funk ionsweise lohn ,
haben wi bislang noch nich un e suchen können.
Eine meh pe spek i ische Be ach ung des Phänomens Tex gene a o im Sinne des Dags uhl-
D eiecks beinhal e die kompe en en Anwendung und den Umgang mi Sys emen wie
Cha GPT, gesellscha liche F agen und um den e hischen Einsa z und die E klä ung de
Funk ionsweise aus Sich de In o ma ik. SoekiaGPT als Expe imen ie umgebung eigne
sich insbesonde e ü die echnische “Wie unk ionie das?”-Pe spek i e und als Eins ieg
in das Thema Sp achmodelle. Die webbasie e Le numgebung, eine Hand eichung ü
Leh pe sonen und ein E klä ideo s ehen au h ps://soekia.ch kos en ei zu Ve ügung.
Li e a u e zeichnis
[Hi23]
Hielsche , M.: SoekiaGPT - ein didak isches Sp achmodell. In o ma ische Bildung in
Schulen (IBiS) 1(1), 2023.
[Mö24]
Mönig, J.: Snap!GPT – Baus eine ü gene a i e küns liche In elligenz. In o ma ische
Bildung in Schulen (IBiS) 2(1), 2024.
[Va17]
Vaswani, A. e al.: A en ion is All you Need. In: Ad ances in Neu al In o ma ion
P ocessing Sys ems. Bd. 30, Cu an Associa es, Inc., 2017.
[Vo23]
Voi a, L.: Language Modeling, h ps://lena- oi a.gi hub.io/nlp_cou se/language_
modeling.h ml, Accessed: 2025-02-15, 2023.
[ZOR23]
Zoppke, T.; Ola i, V.; Romeike, R.: Sp achmodelle unplugged mi G imms Mä chen,
INFOS 2023 - In o ma ikun e ich zwischen Ak uali ä und Zei losigkei , 2023.
96 Michael Hielsche , Bea Döbeli Honegge , Nico S einbach, We ne Ha mann
