Magazin 32
Llab és Llo e , Celia: Cha GPT en la c eación de exámenes de alemán como lengua ex anje a
Magazin 32, ISSN 1136-677X. 2024/25, pp. 24-38. h ps://dx.doi.o g/10.12795/mAGAzin.2024.i32.03 24
Wissenscha liche A ikel/A ículos Cien í icos
Cha GPT en la c eación de exámenes de
alemán como lengua ex anje a
Cha GPT in c ea ing exams on Ge man as a o eign
language
Celia Llab és Llo e
Uni e si a de les Illes Balea s
[email p o ec ed]
h ps://o cid.o g/0009-0002-8692-8135
Recibido: 09/07/2024
Acep ado: 10/11/2024
DOI: h ps://dx.doi.o g/10.12795/mAGAzin.2024.i32.03
Resumen:
Cha GPT se dis aza de se humano. Po es e mo i o, se
p e ende comp oba si es a in e az es capaz de c ea
p uebas de e aluación de alemán como lengua ex anje a
de calidad. El p incipal obje i o de es a in es igación es
e idencia si Cha GPT iene la capacidad de sus i ui la
labo docen e de c ea exámenes.
La me odología del p esen e es udio ha consis ido en el
en ío de dos encues as simila es, una a p o eso ado y
o a a alumnado de alemán del ámbi o uni e si a io, pa a
comp oba si son capaces de dis ingui en e ex os
p oducidos po humanos, especí icamen e exámenes de
la Escuela O icial de Idiomas, o ex os simila es c eados
po Cha GPT.
En ocasiones, Cha GPT come e e o es y exp esa
incohe encias, lo cual no puede pe mi i se en la
e aluación de conocimien os de lenguas ex anje as,
sob e odo, si los humanos son capaces de c ea esos
mismos exámenes de mane a más e icien e y ápida.
Palab as cla e:
Cha GPT, EOI, cohe encia, p o eso ado,
alumnado
Abs ac :
Cha GPT p e ends o be a pe son. The e o e, he aim o
his a icle is o p o e i he cha bo can c ea e quali y
exams on Ge man as a o eign language. The main
pu pose o he in es iga ion is o p o e i Cha GPT is
able o subs i u e he p o esso s’ ask o c ea ing exams
and, consequen ly, subs i u e hem in his speci ic du y.
The me hodology conduc ed has consis ed o wo
simila su eys sen o Ge man p o esso s and uni e si y
s uden s, one o each, in o de o obse e i hey a e
capable o dis inguishing be ween ex s w i en by
humans, speci ically exams om he Spanish O icial
School o Languages, o simila ex s w i en by Cha GPT.
Aside om he pe sonal iews o he pa icipan s,
Cha GPT bo h makes mis akes and is occasionally
incohe en , which canno be pe mi ed in he assessmen
o o eign language knowledge, mainly i humans can
c ea e hese same exams in a as e and mo e e icien
manne .
Keywo ds:
Cha GPT, Spanish O icial School o
Languages, cohe ence, p o esso s, s uden s
Magazin 32
Llab és Llo e , Celia: Cha GPT en la c eación de exámenes de alemán como lengua ex anje a
Magazin 32, ISSN 1136-677X. 2024/25, pp. 24-38. h ps://dx.doi.o g/10.12795/mAGAzin.2024.i32.03
25
E
Gene a i e P e- ained T ans o me desa ollado po la
emp esa OpenAI, ue inminen e, supe ando en pocos
meses las ci as que las pla a o mas que lide aban los
éco ds del momen o, TikTok e Ins ag am, habían
a dado años en consegui (Ichbiah 2023: s.p.). La
di e encia no o ia es el o ma o con e sacional de
es a in e az in eligen e, pues da la imp esión de que
se a e de una pe sona expe a en cualquie ema
debido a la cohe encia y a la cohesión de la mayo ía
de sus espues as, aunque hay que ene en cuen a
que ealmen e no en iende el mensaje que comunica
(ibid), sino que se nu e de muchísimas bases de da os,
con las cuales in en a p opo ciona la espues a que
apa en a se más na u al en el idioma que se le pide,
no necesa iamen e co ec a.
La g an no edad es que Cha GPT «can gene a e
new con en a he han simply analyze exis ing
da a» (Bake 2023: s.p.), lo cual se equipa a a lo que,
has a el momen o, se en endía que solo podía hace
un humano: c ea nue o con enido «desde ce o».
Su mayo obje i o es la cohesión, mien as que «en
muchos emas es poco p ecisa» (Fe nández 2024: s.p.).
1.1. La aplicación de Cha GPT en la educación
En pa icula , el campo de la educación con i e
con es a nue a ealidad: Cha GPT se u iliza a dia io
en las aulas con el in de acili a el abajo. Po ello,
es u gen e el es udio de sus bene icios, incon enien es
y limi aciones; pa a pode , así, inclui lo en el aula
de mane a bene iciosa a odos los pa icipan es del
p oceso educa i o.
Al analiza el endimien o de o as he amien as
que se habían diseñado «pa a lle a a cabo a eas
pedagógicas» (Sabzalie a & Valen ini 2023: 29), has a
aho a siemp e se esal aba el papel undamen al que,
a cualquie ni el en cualquie ámbi o educa i o,
iene el p o eso ado. En cuan o al es udian e, pa a
consegui in o mación aliosa po pa e de Cha GPT,
Bake (2023: s.p.) menciona que debe p egun a a
la in e az la espues a co ec a, lo cual implica un
análisis c í ico p e io po pa e del alumnado que
desee u iliza dicha he amien a como ayuda en sus
labo es. De hecho, Engelke & Engelke (2023: s.p.)
en a izan la impo ancia del uso de es as ecnologías
en clase, ya que a gumen an que los alumnos que no
se ean impulsados a u iliza las se e án ezagados
en e aquellos que sí ap o echen los bene icios de su
uso po que «a majo AI se ice like Cha GPT has he
po en ial o be a g ea educa ional ool i u ilized well»
(Kim 2023: s.p.).
¿Pe o qué ocu i á con los p o eso es: deja án de
hace (pa e de) su abajo? ¿Se educi á plan illa en
las ins i uciones educa i as? De ahí su ge una c eci-
en e p eocupación. Aho a bien, la espues a a es a in-
cógni a an solo nos la pod á da el iempo; así y odo,
es udios como el de Loos e al. (2023) concluyen que
Cha GPT no es capaz de eemplaza al maes o: «The
answe s gi en by Cha GPT seemed co ec , bu hey
we e also supe icial» (2023: 13). La mayo ía de pa ic-
ipan es de o as in es igaciones como la de Alenizi e
al. (2023: 17) ecomiendan no eemplaza la enseñan-
za pe sonal y el apoyo indi idualizado, sino que la IA
si a de suplemen o.
No se debe ol ida que Cha GPT come e e o es
ocasionalmen e, lo cual pod ía e i a se con la
p eeminencia de un p o eso . Asimismo, «al menos
po aho a, Cha GPT no puede sus i ui a la c ea i idad
humana y [a]l pensamien o c í ico» (Sabzalie a &
Valen ini 2023: 14); no es capaz —po lo menos,
de momen o— de p opo ciona « eedback», guia
o anima indi idualmen e a los alumnos, además
de ca ece de las habilidades que debe ía ene un
p o eso como la empa ía o la ine i able in e acción
humana (CE No icias Financie as 2023: 1-3). Mondal
e al. (2023: 204) desc iben el p oceso de ap endizaje
como una posible expe iencia emocional, en la cual los
es udian es pod ían necesi a un p o eso que les apoye
y o ien e. De lo que pa ece no cabe duda es que « he
ole o humans will change as echnology ad ances»
(Kim 2023: s.p.), aunque Bake (2023) es i me en la
con icción de que «educa o s a e he ones who mo e a
socie y o wa d and enable i o adap » (s.p.).
O as in es igaciones (Sabzalie a & Valen ini
2023: 13) sugie en e aluaciones p esenciales o
l 30 de no iemb e de 2022 los
humanos nos despe amos con
una nue a ealidad, con una
idea de la que pocos habían oído
habla y que, desde en onces, no
pa a de epe i se en odos los
medios e ins i uciones: Cha GPT
había llegado pa a queda se,
el mayo exponen e de la
in eligencia a i icial (IA) ac ual.
1. El concep o de Cha GPT
El éxi o de Cha GPT, un
Wissenscha liche A ikel/A ículos Cien í icos
Magazin 32
Llab és Llo e , Celia: Cha GPT en la c eación de exámenes de alemán como lengua ex anje a
Magazin 32, ISSN 1136-677X. 2024/25, pp. 24-38. h ps://dx.doi.o g/10.12795/mAGAzin.2024.i32.03 26
mundo p o esional del docen e es el alemán, al a a se
de un idioma cada ez más hablado y, po ende,
es udiado; y que, además, en cie a medida, se aleja del
cons an e oco de es udio de lenguas ex anje as que se
cen a en el inglés.
Así, median e el p esen e abajo, se p e ende
analiza los pun os ue es y débiles de los exámenes de
ni el B1 de alemán que c ea Cha GPT con los mismos
enunciados que un examen modelo de una Escuela
O icial de Idiomas de España median e a iables
cuan i a i as y cuali a i as po pa e de p o eso es que
impa en es a lengua y alumnos o exalumnos que han
ecibido clases de la misma.
La hipó esis p e ia al es udio es posi i a pa a las
TICS, a la ez que nega i a pa a el sec o p o esional:
la au o a espe a que Cha GPT sea capaz de c ea
exámenes a pa i de ins ucciones cla as y especí icas.
Es o pod ía supone una educción del abajo de los
docen es en lo que, has a aho a, o maba pa e de su
jo nada labo al. No obs an e, se pa e de la p emisa
de que hab ía que e isa las p opues as de Cha GPT,
es deci , pod ía cabe la posibilidad de que hubie a
que ealiza pequeñas modi icaciones — eniendo en
cuen a que la co ección de los exámenes no debe ía
supone un mayo consumo de iempo que el de
con ecciona las—.
El mé odo seguido po es e es udio es, po o den
c onológico, el en ío de un cues iona io a p o eso es
y o o simila a alumnos de lengua alemana en ni eles
educa i os supe io es. En segundo luga , se indica án
y analiza án las espues as ecibidas. Po úl imo,
se conclui á con los p incipales hallazgos y con las
limi aciones que se han dado en es a in es igación y
sus ci cuns ancias en conc e o.
3. Me odología
3.1. Los cues iona ios
Con la inalidad de compa a los esul ados que
p opo ciona Cha GPT con los que ha c eado un
humano, se pidió a es a in e az la ealización de
eje cicios simila es a los que apa ecie on en el examen
de la Escuela O icial de Idiomas de La Rioja en 2022 del
ni el B1 de alemán (de acue do con el Ma co Común
Eu opeo de Re e encia pa a las lenguas MCER),
disponible en su si io web ( éase enlace en el «Anexo
I»).
Se eligió es e de e minado ni el (y no uno supe io )
po que una mayo di icul ad ala ga ía el iempo
modi icaciones del ipo o del o ma o de p egun as pa a
ap o echa Cha GPT en las ins i uciones educa i as,
en ez de p ohibi lo ajan emen e. Incluso, Ray (2023:
s.p.) ecoge di e en es p ác icas elacionadas con
la docencia que puede lle a a cabo Cha GPT con
segu idad, como la enseñanza pe sonalizada median e
ma e iales y ac i idades y el apoyo al docen e a a és
de ecomendaciones del plan de es udios.
En esumen, los es udios mencionados se cen an
en las capacidades que Cha GPT puede ene a la
ho a de enseña ; sin emba go, no ienen en cuen a
aspec os que ambién juegan un papel undamen al en
es a p o esión: la e aluación de la ma e ia que se ha
enseñado p e iamen e en el aula.
2. El p esen e abajo
An e es as inno aciones ecien es se hace necesa io
in es iga de qué mane a el p o eso ado puede
ap o echa la IA en la e aluación del alumnado. En
es e abajo en conc e o, se ha elegido analiza la pues a
en p ác ica de Cha GPT po dos azones en especial:
po su popula idad ex endida a p ác icamen e odas
las naciones y a odos los g upos de edad y sociales, y
po se la e iden e demos ación de has a dónde puede
llega la IA (Ichbiah 2023: s.p.). Es, indudablemen e,
la aplicación de la IA de la que más han hablado los
medios, p obablemen e, po la ince idumb e que
gene a y, consecuen emen e, po el pánico que puede
llega a causa .
Asimismo, se ha abajado con la e sión g a ui a
de Cha GPT pues, de es a mane a, es á al alcance
de cualquie a, independien emen e del ni el
socioeconómico del indi iduo. Hay que ene en
cuen a que la e sión de pago de Cha GPT iene un
mejo mo o (se a a de GPT-4, en ez del modelo
GPT-3.5 de la e sión g a ui a), además de un «acceso
p io i a io a nue as unciones» (Fe nández 2023: s.p.).
Además, es e abajo se cen a en la enseñanza de
lenguas ex anje as, ya que el desempeño del abajo de
p o eso es de lenguas ex anje as a ec a p ác icamen e
a odas las pe sonas, independien emen e de su
campo de especialización en el mundo labo al, pues
odos ap endemos, hemos ap endido o ap ende emos
algún idioma di e en e a nues a lengua ma e na. En
es e caso, el posible uso de Cha GPT pa a e alua las
compe encias ap endidas en el aula ambién a ec a al
alumnado. Especí icamen e, la lengua ex anje a con la
que se a a in es iga el desempeño de Cha GPT en el
Magazin 32
Llab és Llo e , Celia: Cha GPT en la c eación de exámenes de alemán como lengua ex anje a
Magazin 32, ISSN 1136-677X. 2024/25, pp. 24-38. h ps://dx.doi.o g/10.12795/mAGAzin.2024.i32.03
27
que había c eado quién, jun o a su debida jus i icación.
Sin emba go, se di igió, po una pa e, un cues iona io
a p o eso es y, po o a pa e, o o a alumnos, en el que
la di e encia adicaba en las p egun as demog á icas,
que se explica án más adelan e, en es a misma sección
de Me odología.
necesa io pa a ellena lo debidamen e. En segundo
luga , es es udian es que han cumplimen ado la
encues a se encuen an ac ualmen e cu sando clases
de alemán B1+; de es a mane a, se ampliaba el núme o
de pa icipan es del cues iona io. Po úl imo y más
impo an e, Cha GPT se negó, en epe idas ocasiones,
a p o ee ex os de una longi ud conside able,
p opios de ni eles supe io es a B1. De hecho, como
se comen a á más adelan e, se le u o que solici a
que aumen a a la ex ensión de los ex os po que, de
lo con a io, los pa icipan es de los cues iona ios
hubiesen sabido, sin necesidad de e lexión, qué ex o
había c eado Cha GPT y qué o o, la EOI.
Adicionalmen e, los exámenes pa a alcanza
los ce i icados de los ni eles a pa i del B1 «es án
egulad[o]s y o ganizad[o]s po las adminis aciones
educa i as de acue do a unos p incipios comunes»
(EDUCAGOB s. .). En consecuencia, dicho ni el se
pod ía conside a el mínimo pa a pode in es iga ,
ya que cumple cie os equisi os es ablecidos po las
au o idades españolas.
Además, se seleccionó es a de e minada Escuela
O icial española de mane a alea o ia. De los cinco
pa icipan es que han abajado en una Escuela
O icial de Idiomas en e i o io español, dos de ellos
se encon aban en Cas illa y León, uno en Có doba,
o o en Mad id y un úl imo pa icipan e en las Islas
Balea es, Ca aluña y La Rioja. Únicamen e uno de ellos
eje cía en el momen o en el que se ealizó el es udio.
La comunicación con Cha GPT ue en español
en odo momen o. Pa a cada una de las pa es que se
solici aba se iniciaba un nue o cha pa a que no hubiese
in e e encias con el es o de esul ados, es deci , se
e i ó en odo momen o que el hilo de la con e sación
que se es aba man eniendo con Cha GPT pudiese
in lui en la c eación de las nue as p uebas. En cuan o
al p ocedimien o, se p o eía a Cha GPT del enunciado
exac o de que cons aba cada una de las pa es del
examen o iginal; seguidamen e, se solici aba que
c ease una ac i idad de la misma índole con ese mismo
enunciado. En la mayo ía de casos, e a necesa io
solici a le en epe idas ocasiones que ala ga a el ex o
o añadie a huecos en blanco o p egun as pa a iguala lo
al eje cicio de la EOI o iginal y que, consecuen emen e,
la di e encia en e ambos ue a mínima.
Ambos cues iona ios, de Fo mula ios de Google,
ecogían las mismas secciones con las mismas
p egun as compa ando los exámenes de la EOI y de
Cha GPT, en las cuales se debía con es a cuál se c eía
[ ]
Apa e de las p egun as pe sonales, cada una de las
pa es del cues iona io e an las di e en es secciones
del examen: la comp ensión de ex os esc i os, la
p ueba de mediación esc i a en alemán y en español,
la p oducción y cop oducción de ex os esc i os
y la p oducción y cop oducción de ex os o ales.
Igualmen e, se han desca ado la comp ensión de
ex os o ales y la p ueba de mediación o al, ya que
Cha GPT no es capaz de c ea con enido mul imedia,
es deci , audios e in og a ías espec i amen e, las
cuales apa ecían en el examen seleccionado pa a la
in es igación. A la ho a de solici a le dichas secciones,
su espues a ue la siguien e: «Lo sien o, pe o como
modelo de ex o, no puedo p opo ciona a chi os de
audio. Sin emba go, puedo o ece e ansc ipciones
[…]» (OpenAI 2023, 31 de diciemb e).
Las espues as cuali a i as se han o ma eado
de mane a lib e, es deci , los pa icipan es podían
ex ende se en sus jus i icaciones cuan o quisie an
y no es aban obligados a con es a en ningún caso;
en o as palab as, las p egun as se con es aban sin
un mínimo ni máximo de ca ac e es de mane a
olun a ia, ya que se p e endía que cada pa icipan e
en ocase la espues a a su mane a y sin ninguna idea
p econcebida. No obs an e, algunos pa icipan es se
han limi ado a con es a si c eían que Cha GPT o la
EOI había c eado el examen sin explica el po qué en
algunas de las p egun as, lo cual supone una limi ación
pa a es e abajo. La in es igación an solo ha enido
Ambos cues iona ios, uno
di igido a p o eso es y o o
a alumnos, compa aban el
examen de la EOI y el de
Cha GPT.
Wissenscha liche A ikel/A ículos Cien í icos
Magazin 32
Llab és Llo e , Celia: Cha GPT en la c eación de exámenes de alemán como lengua ex anje a
Magazin 32, ISSN 1136-677X. 2024/25, pp. 24-38. h ps://dx.doi.o g/10.12795/mAGAzin.2024.i32.03 28
en cuen a las espues as de calidad, es deci , las que
incluían jus i icaciones que e lejaban de mane a cla a
una e lexión.
Es pe inen e acla a que las ins ucciones y las
p egun as de ambos cues iona ios se esc ibie on
an o en español como en inglés, ya que se an icipó
la pa icipación de docen es y alumnos que no
uesen exclusi amen e de nacionalidad española.
Pa alelamen e, se debe menciona que no odos
los pa icipan es han con es ado en el apa ado de
mediación esc i a en español dado que son ex anje os
y no en ienden el idioma español o sus conocimien os
son limi ados e insu icien es pa a esponde
adecuadamen e. En es e caso, an solo se han enido
en cuen a las espues as de los pa icipan es que
en endie on la a ea y la han espondido.
Finalmen e, se op ó po ecaba los da os de la
in es igación po medio de cues iona ios, ya que se
a a de una me odología asinc ónica, es deci , los
pa icipan es pueden esponde donde y cuando
puedan, además de oma se el iempo que conside en
necesa io. Se debe ene en cuen a que la mayo ía
de los pa icipan es se encon aban en di e en es
luga es de España a la ho a de ellena el o mula io o,
incluso, o os se hallaban en Alemania o Canadá, po
menciona dos países a modo de ejemplo. Po lo an o,
la lexibilidad ue una p io idad a la ho a de op a po
es e mé odo de in es igación. Asimismo, una encues a
asegu aba que cons a a po esc i o el anonima o de
los pa icipan es y la única y exclusi a inalidad de los
da os p opo cionados pa a el obje o de in es igación.
En el «Anexo II» se adjun a el cues iona io en iado
al p o eso ado, mien as que el «Anexo III» es á
dedicado al cues iona io en iado al alumnado, con sus
espec i os enlaces.
3.1.1. Cues iona io di igido al p o eso ado
En p ime luga , es p eciso pun ualiza que es e
cues iona io en conc e o es u o disponible a a és
de un enlace du an e ene o y eb e o de 2024, y que
espondie on dieciséis muje es y cua o homb es. En
un p ime momen o, se con ac ó con 82 p o eso es
uni e si a ios en o al, mayo i a iamen e de
uni e sidades públicas españolas, aunque ambién de
uni e sidades alemanas y canadienses y de algunas
p i adas españolas, de o ma alea o ia. En un segundo
momen o, se en ió el enlace a las dos esponsables
de las Á eas de Filología Alemana y de T aducción
e In e p e ación del Depa amen o de Filología
y T aducción de la Uni e sidad Pablo de Ola ide
(UPO), con la pe ición de que hiciesen llega el enlace
a ambas á eas en su conjun o. Cuando es o ocu ió,
una de las p o eso as, pe enecien e a la Asociación de
Ge manis as de Andalucía (AGA), asladó la pe ición
de que se ellenase la encues a a los miemb os de dicha
asociación. En cuan o al medio de con ac o po el
cual se en ió dicho cues iona io, se a ó del co eo
elec ónico. En la mayo ía de los casos, no se ob u o
espues a ninguna po pa e de los docen es. Incluso,
hubo epues as de p o eso es que no se conside aban
ap os pa a dicha in es igación po di e en es
mo i aciones.
Todos los encues ados son o han sido p o eso es
de alemán que eje cen o han eje cido su p o esión en
la uni e sidad, mayo i a iamen e en el ámbi o público
(a excepción de es, que an solo han pun ualizado
eje ce en secunda ia y bachille a o). Sin emba go,
es e no es o ha sido necesa iamen e su único abajo.
En cuan o al país en el que han abajado, en o al,
ein icua o de los pa icipan es alguna ez han
desempeñado un empleo en e i o io español, aunque
cinco han eje cido únicamen e en España. A es e
quin e o se le une un pa icipan e, sumando seis en
o al, que no ha abajado nunca en un país de habla
alemana.
En la sección de p egun as pe sonales, ambién se
les p egun ó po la inco po ación de la IA en sus clases.
P ác icamen e la mi ad de los pa icipan es, doce,
nunca la u iliza on po al a de in e és, de necesidad,
de in o mación y/o de iempo o de iabilidad. Una de
las pa icipan es con es ó que apenas la había u ilizado.
Once docen es habían u ilizado la he amien a a eces y
solo dos la u ilizaban con ecuencia en o pa a sus clases.
Los usos que más se epi en en e las espues as son
la aducción au omá ica y la c eación de ma e iales,
como eje cicios de g amá ica o de edacción. De en e
odos los pa icipan es, ca o ce comp enden el ango
de edad de 50 a 65 años; mien as que once, de 31 a
50. Tan solo uno es meno de 30.
3.1.2. Cues iona io di igido al alumnado
Los pa icipan es o ales de es e cues iona io ue on
doce; la mi ad, homb es y la o a mi ad, muje es. El
ango de edad comp endía de los 20 a los 26 años.
Cinco de los encues ados lle aban más de cinco
años ap endiendo el idioma alemán y o os cinco,
en e es y cinco años; mien as que dos, en e uno
y dos años. Es os dos úl imos, so p enden emen e, no
Magazin 32
Llab és Llo e , Celia: Cha GPT en la c eación de exámenes de alemán como lengua ex anje a
Magazin 32, ISSN 1136-677X. 2024/25, pp. 24-38. h ps://dx.doi.o g/10.12795/mAGAzin.2024.i32.03
29
es aban incluidos en los es que conside aban ene
un ni el de B1 en la lengua. También es pa icipan es
conside aban ene un ni el B2; y dos, un C2.
Finalmen e, cua o de ellos alo a on su conocimien o
en un C1.
Con elación a los es udios uni e si a ios que
cu saban, ocho pa icipan es es udiaban G ados
que inco po an el alemán, como T aducción e
In e p e ación, mien as que cua o es udiaban
Medicina, aunque habiendo cu sado clases de alemán
en la uni e sidad en a ias ocasiones.
El enlace de acceso al cues iona io se dis ibuyó
a a és de la aplicación Wha sApp y los mensajes
di ec os de Ins ag am; es u o disponible en ene o y
eb e o de 2024.
4. Discusión de los esul ados
Con la inalidad de analiza los esul ados ob enidos
en los cues iona ios, se expond án en g á icos los
po cen ajes de espues as co ec as e inco ec as de
los pa icipan es (además de «NS/NC» (No sabe/
No con es a), lo cual co esponde a odo ipo de
ambigüedades) a la ho a de econoce qué exámenes
es aban c eados po la EOI y qué o os, po Cha GPT,
eniendo en cuen a el o al de espues as, es deci ,
conjun amen e an o de la encues a de p o eso ado
como ambién la de alumnado. Cada igu a
co esponde á a una sección del examen di e en e.
T as expone los da os cuan i a i os, se analiza án las
jus i icaciones que se han dado al espec o.
4.1. Comp ensión de ex os esc i os
En odas las pa es de «Comp ensión de ex os
esc i os», más de la mi ad de los pa icipan es ha
iden i icado co ec amen e si se a aba de una máquina
o de un humano ( éase Figu as 1, 2 y 3). Además, es a
sección con iene un al o núme o de espues as y un
bajo núme o de «NS/NC». P obablemen e es o se deba
a que es la sección inicial. Igualmen e, es el apa ado
con mayo a iedad de espues as, ya que en secciones
pos e io es algunos pa icipan es han epe ido las
mismas jus i icaciones que indica on en es a sección.
Figu a 1. Comp ensión de ex os esc i os 1
Figu a 2. Comp ensión de ex os esc i os 2
Figu a 3. Comp ensión de ex os esc i os 3
Wissenscha liche A ikel/A ículos Cien í icos
Magazin 32
Llab és Llo e , Celia: Cha GPT en la c eación de exámenes de alemán como lengua ex anje a
Magazin 32, ISSN 1136-677X. 2024/25, pp. 24-38. h ps://dx.doi.o g/10.12795/mAGAzin.2024.i32.03 30
4.1.1. Respues as co ec as
La mayo ía de los pa icipan es que han elegido
la opción co ec a se han jus i icado po los e o es
que come e Cha GPT (o og á icos, g ama icales, de
ocabula io e, incluso, incohe encias), sob e odo
en la p ime a a ea de la comp ensión esc i a, pe o
ambién encon amos ejemplos en la pa e 3, en la
que con iene des aca que las soluciones a los huecos
es aban esc i as en el p opio ex o, a con inuación del
p opio hueco.
Se debe menciona que algunos de los que han
con es ado (e óneamen e) que dicho ex o e a de
la EOI se han dado cuen a de es os e o es ambién;
sin emba go, han seguido op ando po la opción
inco ec a, p obablemen e, po o os ma ices que han
conside ado más des en ajosos y que se comen a án
más adelan e.
P ecisamen e, elacionado con dichos e o es,
uno de los encues ados que ha elegido la opción
co ec a ha pun ualizado que una des en aja de
u iliza es a in e az es que «el p oceso de e isión, a
eces, esul a más la go que el de búsqueda de ex os
ya e minados». Pa adójicamen e a lo comen ado en
la sección de «In oducción» del p esen e abajo, un
conside able núme o de pa icipan es encuen an que
el ex o de Cha GPT esul a «ca en e de cohesión»,
no solo en es a sección, sino que se epi e en la
mayo ía de ellas; algunos añaden que es o es debido a
la al a de conec o es, lo cual a en a con a uno de los
p incipales obje i os de Cha GPT: la cohe encia a la
que Ichbiah (2023) aludía, con la que nos hace pensa
que se a a de un humano.
O as jus i icaciones de en e los que dis inguie on
adecuadamen e los au o es de los ex os son que la
p ueba de Cha GPT esul a es e eo ipada a causa de
«aspec os muy conc e os áciles de localiza en el
ex o» o una « ípica di isión en pá a os, cada uno con
un í ulo» sin «p og esión emá ica o a gumen al». Al
con a io de la EOI, que desa olla una his o ia, la IA
«cons an emen e […] menciona las mismas ideas».
Po añadidu a, se acusa en di e sas ocasiones a
la IA de desa olla el ema de o ma muy gene al.
De igual o ma, se ha cali icado como «demasiado
plano», «supe icial y i ial», «monó ono, con el
mismo ipo de ases», de « o mulación a i icial»,
«demasiado obje i o y desc ip i o» y de «lengua […]
neu a». Una de las azones po las que Cha GPT
gene a es e ipo de ex os es, según dos pa icipan es,
la al a de «ado nos li e a ios que sí es án p esen es en
el o o ex o». Además, la EOI ha incluido, según o o
pa de encues ados, «elemen os cul u ales cla e», que
Cha GPT ha omi ido. O as cali icaciones del ex o
son simplicidad e, incluso, en una ocasión, b e edad.
En el plano léxico, se ha de inido como «muy
desc ip i o y na a i o». Hay quienes conside an que
no siemp e se ha elegido adecuadamen e. Además,
un encues ado pun ualizaba que una des en aja de
los exámenes que c ea la IA es que «you don’ ha e
ull con ol o he ocabula y included».
Incluso, quienes ya habían obse ado el modus
ope andi de Cha GPT en un pasado han ema cado
que no suele inclui discu so di ec o, e e encias
eales ni u iliza «comillas pa a p opone exp esiones
p onunciadas po o as pe sonas». Va ios
pa icipan es han seguido la línea de uno de ellos, que
comen aba: «No me pa ece posible que un cha bo sea
capaz de esc ibi an con incen emen e omando el
pun o de is a de un pe sonaje público y conocido».
De hecho, a Cha GPT le dela a su impe sonalidad,
«gene alidades y sin ninguna e e encia cla a a
pe sonas o luga es conc e os», an solo «un cúmulo
de luga es comunes». O o usua io añadía que
Cha GPT suele p esen a la in o mación «a modo
de lis a o median e ‘bulle poin s’ […] eniendo la
des en aja de que suele alla en o iginalidad».
Es os mismos pa icipan es elogiaban los exámenes
de la EOI poniendo en alo i udes, de las cuales
conside an que Cha GPT, en consecuencia, ca ece.
Las espues as, en es e caso, e an más unánimes. La
que más se epe ía e an la mayo dedicación al ex o,
lo cual se e lejaba en el hecho de que el examinando
se ea obligado a in e i un mayo es ue zo en
la comp ensión po que «debe ene capacidad de
in e p e ación», de « elaciona unas pa es con o as»;
de la misma mane a que «no es á an ocalizado en la
comp ensión de una sola palab a conc e a» y «puede
e leja mejo el g ado de comp ensión que pueda
habe enido el es udian e o la es udian e», con lo cual
«e alúa el con enido». En cambio, la IA escaseaba de
« azonamien o lógico, una deducción po con ex o
o i un poco más allá de la li e alidad» po que «las
p egun as se han omado del ex o al pie de la le a y
no hay ninguna ‘ ampa’». Más de uno añadía que el
o den las espues as de Cha GPT enía una «conexión
muy di ec a en e el comienzo de cada pá a o y la
espues a que le co esponde». Igualmen e, en a ias
ocasiones se epi ió la di e encia de ni el en e el
ex o y las p egun as de Cha GPT, es deci , la mayo
Magazin 32
Llab és Llo e , Celia: Cha GPT en la c eación de exámenes de alemán como lengua ex anje a
Magazin 32, ISSN 1136-677X. 2024/25, pp. 24-38. h ps://dx.doi.o g/10.12795/mAGAzin.2024.i32.03
31
complejidad del ex o compa ado con la simplicidad
de las p egun as.
Po añadidu a, se des acaba con ecuencia la
na u alidad del ex o de la EOI: la ce canía «al habla
del día a día», «a la ealidad y a la pe sona», con un
« egis o muy coloquial y cul u al» y la espon aneidad.
O os adje i os que ambién desc iben es e segundo
pun o han sido «lebendig» (dinámico) y «humano».
Mien as que Cha GPT mos aba una «sencilla y
epe i i a es uc u a y con enido» o un «lenguaje
ipo máquina». Incluso, un encues ado que no
ace ó de quién e a el ex o a i maba que el ex o de
la EOI (que pensaba que e a de Cha GPT) «busca
g amá ica co ec a según manuales y no an o con
ins in o na i o». O o pa icipan e mencionaba que
p ecisamen e los «gi os lingüís icos» e an los que
dela aban a la máquina.
O o pun o que dela aba a la EOI e a el eje cicio 0
que se suele esc ibi al p incipio a modo de ejemplo
pa a que el es udian e se si úe y en ienda qué se le
es á pidiendo exac amen e, que Cha GPT no incluyó
en su examen.
Po úl imo, en e las espues as co ec as, los
emas de los ex os de la EOI se conside aban de
ac ualidad, lo cual no sucedía en el caso de la IA.
De en e los que sí econocie on la au o ía de los
ex os, uno de los pa icipan es acusaba a Cha GPT
de sin é ico, mien as que o o elogiaba a la EOI po
eso mismo.
4.1.2. Respues as e óneas
En cambio, los pa icipan es que se equi oca on
dudaban en muchos casos y sus a gumen os pa a
de ende su elección no e an an sólidos como los
de sus compañe os. No obs an e, en una espues a
(e ónea), se u ilizaba «clea ly» pa a indica la
con icción de la espues a (inco ec a); po lo an o,
no en odos los casos se dudó de la elección, aun
cuando es a ue inco ec a.
Respec o al léxico, es e g upo de pa icipan es
c eye on que el examen de la IA e a de la EOI po
el ni el de ocabula io desc i o como a iado, «más
homogéneo y bas an e ce cano a los po enciales
es udian es» o «ad anced». A di e encia del g upo
de espues as co ec as, la ela i a sencillez se ha
conside ado un asgo posi i o. Quienes lo han
jus i icado comen aban que «en ellas [las p egun as]
los alumnos no se en obligados a cons ui ases
comple as, sino que solamen e deben ealiza
una a ea de elección múl iple en e es posibles
espues as».
Asimismo, de en e es as espues as, se esal aba
posi i amen e la es uc u a, la cla idad, la luidez
y, po ex año que pa ezca, la cohesión del ex o
de Cha GPT. De la misma mane a, se alo aba
posi i amen e el uso de conec o es «habi ualmen e
empleados en los cu sos de alemán» y «a a ie y
o ad anced g amma ical s uc u es». Po lo que se
e ie e a la gene alización y a la di isión po apa ados
con su espec i o í ulo, que las espues as co ec as
an o ep ochaban, han sido obje o de elogio en es e
conjun o de con es aciones.
O o pun o que un encues ado ha ma izado es el
uso po pa e de Cha GPT de «exp esiones ípicas
que se buscan econoce en ambien es didác icos», es
deci , el uso de conec o es compues os o de e bos
jun o a p eposiciones, que se usan en cie os ni eles y
es án, po lo an o, aplicados en el examen.
De la EOI, eniendo en cuen a que c eían que
se a aba de Cha GPT, han c i icado el uso de
anglicismos y abuso de geni i os, pe o, sob e odo,
una mayo complejidad y longi ud del ex o. En
úl imo luga , cinco pa icipan es acusaban a la EOI
de al a de un hilo conduc o . Uno incluso se dejó
engaña y pensaba que «i sounds like i i we e a
ansla ion o an English ex ».
4.2. Mediación esc i a en alemán
En es e apa ado, las espues as han sido más
b e es, compa adas con las de la «Comp ensión de
ex os esc i os». A ello se suma que la na u aleza de
es a ac i idad es di e en e: de pa icipación más ac i a
po pa e del alumnado que ealiza la p ueba y, po lo
an o, mucho más co a. A pesa de ello, el núme o de
con es aciones co ec as con inúa siendo más de la
mi ad.
Wissenscha liche A ikel/A ículos Cien í icos
Magazin 32
Llab és Llo e , Celia: Cha GPT en la c eación de exámenes de alemán como lengua ex anje a
Magazin 32, ISSN 1136-677X. 2024/25, pp. 24-38. h ps://dx.doi.o g/10.12795/mAGAzin.2024.i32.03 32
decan ado po la opción co ec a.
En elación a es o, se añadía que la in o mación
de la EOI es ele an e y cla a pa a ealiza el eje cicio,
además de habe «más ma ices, más ins ucciones», a
la pa que se exp esa en « ases más comp imidas»,
mien as que un pa icipan e se a e ió a cali ica de
«in an il» el ex o de Cha GPT.
4.2.2. Respues as e óneas
De en e las espues as inco ec as, po un lado,
cua o han conside ado que las mayúsculas a las
que se acaba de hace mención «qui an se iedad y
p o esionalidad al ex o» y no pa ecen adecuadas en
es e con ex o. Además, conside aban que el «ku z»
ag a aba la in o malidad: «¿po qué ‘ku z’ si ya se
indica el núme o de palab as?». Como esul ado,
en su conjun o, «las ins ucciones inales son
inde e minadas y edundan es»; además, opinaban
que podía gene a con usión: « he exe cise isn’
o mula ed e y clea ly».
En cuan o al léxico, «while bo h Tipps and Tips
may be co ec , no pe son w i ing would include
bo h spellings in a single sen ence». Adicionalmen e,
dos pa icipan es lo conside aban e óneo: «Uso
incohe en e de la palab a Tipps (co ec o es con dos
p)», a i mación que puede in e p e a se como que
hay quienes elacionan la incohe encia con la au o ía
de Cha GPT —debe pun ualiza se que la palab a
con una sola “p” es obsole a—. Adicionalmen e, las
espues as e óneas de la encues a han conside ado
que Cha GPT des acaba po cla idad y concisión:
«s uden s […] a e old exac ly wha o do».
Asimismo, encuen an que el ema es all agsbezogen
(sob e el día a día), que «empa iza con el es udian e y
aslada la a ea a su mundo co idiano (ej.: la ies a de
cumpleaños de una amiga)».
Finalmen e, se ha c i icado la elección del ema
(pues os de abajo y el mundo labo al), al a a se
de una «si uación [que] no es an habi ual pa a los
es udian es que a menudo an a las EEOOII; muchos
de ellos son oda ía adolescen es y es án po lo an o
alejados del mundo labo al […]». Sin emba go, es e
a gumen o se des alo iza cuando se lee el siguien e
apa ado, cuyos exámenes, an o el de la EOI como el
de la IA, a an p ecisamen e la misma emá ica.
4.3. Mediación esc i a en español
En es a sección, la ci a de espues as co ec as
disminuye a poco menos de la mi ad, mien as que la de
Figu a 4. Mediación esc i a en alemán
4.2.1. Respues as co ec as
En e las espues as co ec as, se comen aba que
Cha GPT e a de « ases demasiado la gas» y, aun
siendo un agmen o b e e, dos pa icipan es han
iden i icado e o es en el ex o que p odujo la IA.
Los pun os nue os que apo an cua o encues ados
que han iden i icado con éxi o la au o ía de los ex os
son el hecho de que no se a a de un eje cicio de
mediación e dade amen e: «No se cumple el obje i o
de la mediación (acla a /explica / esumi una idea
de un ex o en un idioma a o o). Aquí, Cha GPT
pide una edacción». Po an o, la máquina ca ece,
cla amen e, de adecuación en el caso de la mediación
en alemán. Po el con a io, el ex o de la EOI «pe mi e
al alumno exp esa ideas o iginales y mos a
conocimien os en un á ea más especializada», lo cual
«busca una implicación más pe sonal [u] o iginal».
La mayo en aja que pa ecía mos a el examen de la
EOI e a una ano ación al inal en mayúsculas: «Sch eiben
Sie ih eine E-Mail (100-120 Wö e ), in de Sie ih KURZ
DAS WICHTIGSTE e klä en». Seis pa icipan es han
des acado es e asgo como el mayo indicado de que
«se pe cibe una mano humana epa ando o p e iniendo
p oblemas que ya ha i ido en o as ocasiones p e ias».
A di e encia de las demás espues as co ec as,
dos pa icipan es (que, además, habían con es ado
co ec amen e en odas las pa es de la sección an e io )
admi ían que, es a ez, les pa ecía más di ícil que en la
«Comp ensión de ex os esc i os» iden i ica a Cha GPT.
Sin emba go, ha sido la ya mencionada ano ación en
mayúsculas al inal la azón po la que uno de ellos se ha
