Desvelando errores con ChatGPT: estratégicas didácticas para el aprendizaje crítico de la Historia Económica

ENSEÑANDO HISTORIA ECONÓMICA EN LA ERA DE LA INTELIGENCIA ARTIFICIAL: NUEVOS Y VIEJOS METODOS PARA NUEVOS Y NO TAN NUEVOS DESAFÍOS Editores: Antonio M. Linares Luján, Francisco M. Parejo Moruno y José F. Rangel Preciado < o =) a < = w De — - ENSEÑANDO HISTORIA ECONÓMICA EN LA ERA DE LA INTELIGENCIA ARTIFICIAL: NUEVOS Y VIEJOS METODOS PARA NUEVOS Y NO TAN NUEVOS DESAFÍOS Editores: Antonio M. Linares Luján, Francisco M. Parejo Moruno y José F. Rangel Preciado UNIVERSIDAD ÓF DE EXTREMADURA CÁCERES, 2024 UNIVERSIDAD @H DE EXTREMADURA Esta obra ha sido objeto de evaluación y aprobación por el Consejo Asesor del Servicio de Publicaciones de la Universidad de Extremadura, reunido en sesión ordinaria el 27 de octubre de 2024, efectuada por evaluadores independientes de reconocido prestigio en el campo temático de la misma. 12 edición, 2024 Edita: Universidad de Extremadura. Servicio de Publicaciones Plaza de Caldereros, 2. 10003 Cáceres (España) Tel. 927 257 041; Fax 927 257 046 [email protected] https://publicauex.unex.es/ 1.S.B.N.: 978-84-9127-307-3 Maquetación: bittacora bittacora.com Cáceres, 2024 Dehesa i£ Acceso abierto en el Repositorio Institucional de la Universidad de Extremadura Presentación Antonio M. Linares Luján, José F. Rangel Preciado y Francisco M. Parejo Moruno PARTE I: MÉTODOS Y CONTENIDOS Fortalezas (y debilidades) del active learning. Una aproximación al empleo del método de caso en los estudios de Historia Económica en los Grados de Economía y de Administración y Dirección de Empresas M2 Isabel Bartolomé Rodríguez y Pablo Gutiérrez González ... .10 La metodología del caso en estudios de grado Adoración Álvaro Moya y María Fernández Moya ... .23 El modelo de Aprendizaje Basado en Proyectos (ABP) empleado en la docencia de Historia Económica: una experiencia en la Universidad de Jaén Juan Antonio Parrilla González y Sheila Palomares Alarcón .... .36 De la historia personal a la Historia Económica: aprendizaje-servicio con personas mayores Jorge Hernández-Barahona, Teresa Mateo López-Mora, Álvaro González-Bernardos, Gonzalo Efraín López Paredes, Agueda Gil-López, José María Ortiz-Villajos, Elena San Román y Silvia García Aguilar... .48 La promoción de la lectura como método de aprendizaje mediante la aplicación del TBL (Team Based Learning) en el aula: una experiencia en el Máster de Estudios Latinoamericanos Marc Badia-Miró, Yolanda Blasco Martel, Anna Carreras-Marín, José Alejandro Peres Cajías y Oriol Sabate Domingo Leer para aprender: ¿qué opinan los estudiantes de Economía sobre las lecturas académicas? Francisco M. Parejo Moruno, Antonio M. Linares Luján, José F. Rangel Preciado y M. Belén Macías Fermoselle ... Milei y la primera globalización. Una mirada crítica Elena Catalán e Iñaki Etxaniz Tesouro. .95 Uso de las redes sociales para la creación de un ambiente integrado de aprendizaje Alfredo Macías Vázquez y José Antonio Morillas del Moral ... Cómo aplicar la investigación a la enseñanza de la Historia Económica de España: casos prácticos sobre la evolución del sistema hospitalario Daniel Peñín Agra y Elena García Cruz La integración de la Historia Económica en asignaturas sobre gestión de recursos hídricos y riesgos naturales Patricia Fernández Aracil PARTE II: RECURSOS Y HERRAMIENTAS La herramienta Ngram Viewer: aplicaciones en la enseñanza en Historia Económica Mauro Hernández Benítez y Angel Luis González Esteban ,.. Infografías, una herramienta de aprendizaje en los cursos de Historia Económica y de la Empresa Alfonso Diez Minguela, María Gómez León y M. Teresa Sanchis Llapis .. 159 El cine como protagonista de situaciones de aprendizaje en la ensefianza de Historia Económica María Gómez Martín, Damián Copena Rodríguez y Gabriel Pruneda ..169 Cómo integrar la controversia y la pluralidad en la docencia de Economía: el meme como comentario de vídeos y lecturas Esteban Cruz Hidalgo, Eduardo Garzón Espinosa y José Pérez Montiel ...................... 10000000 185 ESPAREL: Una infraestructura de datos espaciales para el estudio de la ordenación del territorio en el tránsito del Antiguo Régimen al Estado Liberal Francisco J. Beltrán Tapia, Alfonso Díez Minguela, Víctor Fernández Modrego, Alicia Gómez Tello, Julio Martinez-Galarraga y Daniel A. Tirado Fabregat .........................2.m 199 Del pergamino a la gráfica. Fuentes históricas económicas y recursos digitales entre alumnado universitario de los grados de Historia del Arte y Arqueología LT Almenar Fernándoz.— «o — uEO CD DK n o 211 Una propuesta de libro de trabajo práctico para la enseñanza de la Historia Económica Mundial a nivel de pregrado Pablo Vallejo Preste . Tras las líneas de la historia: la elección de TFGs de Historia Económica entre el alumnado de Ciencias Económicas y Empresariales Tamara González López ..239 PARTE III: INTELIGENCIA ARTIFICIAL Potencial y riesgos de la Inteligencia Artificial. Experiencias de uso en Historia Económica de la Empresa Andreu Seguí Beltrán y Antónia Morey Tous 256 Usos y abusos de la IA: nuestra experiencia en los Grados de la Facultad de Economía y Empresa de la Universidad de Salamanca Vanesa Abarca Abarca, Esther M. Sánchez Sánchez, M. Mar Cebrián Villar y Elisa Botella Rodríguez ..270 Explorando el uso de ChatGPT como asistente de aprendizaje: Experiencia con estudiantes del primer curso de ADE Sergi Lozano ..284 Desvelando errores con ChatGPT: Estratégicas didácticas para el aprendizaje crítico de la Historia Económica Adrián Díaz Milán y Manuel Díaz Ordóñez 294 Desvelando errores con ChatGPT: estrategias didácticas para el aprendizaje crítico de la Historia Económica Adrián Diaz-Milan* (Universidad de Navarra) Manuel Díaz-Ordóñez (Universidad de Sevilla) RESUMEN La literatura reciente destaca la integración de chatbots de lA, como ChatGPT, en el entorno universitario como herramientas de aprendizaje complementarias. Aunque ChatGPT puede generar errores, esta investigación propone aprovechar esta característica como una estrategia pedagógica innovadora. Se sugiere que los docentes de Historia Económica diseñen materiales de aprendizaje con ChatGPT, introduciendo errores sutiles que los estudiantes deben identificar utilizando recursos tradicionales. Este enfoque no solo enriquece el conocimiento específico de la materia, sino que también desarrolla habilidades críticas y analíticas al enfrentar a los estudiantes con el desafío de detectar inexactitudes. Palabras clave: ChatGPT; IA Historia Económica; pensamiento crítico; Finanzas y Contabilidad. *Contacto: adiazmiGunav.es 294 Unveiling errors with ChatGPT: Educational strategies for critical learning in Economic History ABSTRACT Recent literature highlights the integration of Al chatbots like ChatGPT in university settings as complementary learning tools. Although ChatGPT can generate errors, this research proposes leveraging this feature as an innovative pedagogical strategy. It is suggested that Economic History educators design learning materials with ChatGPT, introducing subtle errors that students must identify using traditional resources. This approach not only enriches subject-specific knowledge but also develops critical and analytical skills by challenging students to detect inaccuracies Key-words: ChatGPT; Al; Economic History; critical thinking; Finance and Accounting. 295 1. El problema: la Inteligencia Artificial como una fábrica de sesgos Umberto Eco (2009) se detuvo en describir qué era, y para qué servía, la Wikipedia y apuntaba al gran problema de una sociedad mal informada. Para él podía ser muy embarazoso que algún malintencionado editara una entrada de Wikipedia alterándola con información falsa (las fake news actuales). Sugería que la solución era contar con una comunidad de colaboradores discrecionales que corrigieran los errores. El problema de que la información no sea correcta continúa siendo capital. De hecho, uno de los inconvenientes de la Inteligencia Artificial (IA), y su impacto en nuestro devenir académico, se centra en que los datos y respuestas que facilita pueden ser erróneos (Lau, Bonilla y Gárate, 2019). Recientemente Phil Davis (2023) realizó preguntas genéricas a Chat Generative Pre-Trained Transformer (ChatGPT) sobre si los tweets aumentaban las citas de los trabajos académicos. La respuesta afirmativa de la lA se apoyaba en un supuesto estudio de la American Association for the Advancement of Science (AAAS). Cuando Davis volvió a inquirirla sobre las fuentes del estudio de la AAAS, ChatGPT aceptó que se había “equivocado”. Pero lo sorprendente no era el error en sí mismo, sino que la IA había “mentido” intencionalmente y, el que lo hubiera hecho y se hubiera excusado, sugería un inquietante panorama. Según la literatura científica las equivocaciones más evidentes, y graves, están determinados por los sesgos que pueden presentar sus respuestas (Ntoutsi et al., 2020), y el que estos prejuicios provoquen tantos problemas se debe a que la sociedad actual confía excesivamente en los ordenadores (Marchenko et al., 2022). Figura 1 ¿Cómo construye sus respuestas CHATGPT? FUENTE: elaboración propia a partir de la interacción con Openal (2024) 296 Pero ¿cuál es la razón de que la IA facilite información errónea? Para entenderlo, es preciso explicar la forma en que ésta genera respuestas. Para nuestra propuesta vamos a utilizar ChatGPT 4 y le hemos preguntado cómo construye sus respuestas usando de ejemplo la cuestión ¿Qué factores influyeron en la Revolución Industrial de Inglaterra? Lo podemos observar en la Figura 1. Como vemos ChatGPT establece cinco pasos en su dinámica de construcción de una respuesta. En negrita destacamos los elementos que, en nuestra opinión, pudieran generar el que una operación matemática (selección de patrones por un algoritmo) pudiera resultar en la construcción de una respuesta incorrecta. En el Primero, se podrían deslizar errores generados por los posibles vicios del entrenamiento del algoritmo, pero, también, por la forma en la que el usuario redactó la pregunta -y ésta fue interpretada por la lA-. De la misma forma, en el elemento Segundo la nula evidencia científica de la calidad -o la falta de ellade lo que la IA llama su “base de conocimiento” sugiere que podría dar lugar a nuevos errores en las respuestas. Analizando la forma en la que la IA responde se evidencia la posible existencia de sesgos de gran calado que perjudican la calidad de este recurso en el uso del aprendizaje en Historia Económica. Además, si no conocemos sus fuentes, tampoco sabemos quiénes fueron los expertos historiadores y economistas que participaron en la selección de éstas, y de no haber participado técnicos en nuestra disciplina, cuáles fueron los sistemas informáticos de referencia de fuentes empleadas (recurrieron a las citas en Google Scholar o Books, a Semantic Scholar o sólo al Search Engine Optimization (en adelante SEO) de la página donde lo obtuvo la IA, etc.). Es posible que en los pasos Tercero a Quinto también puedan incluirse fallos y errores pero se nos antojan que, de aparecer, estos podrían deberse más al propio estilo de escritura de la IA que a la calidad de la respuesta, es decir, que la contestación sea redactada de forma excesivamente mecanizada, demasiado sintética y con poca coherencia, en definitiva, que sea una escritura poco humanizada (Ma et al., 2023; Oritsegbemi, 2023). A todo lo anterior hay que sumar que muchas veces los usuarios solicitan que las respuestas de IA vengan apoyadas por referencias de literatura académica o científica. Un método que los historiadores conocemos bien puesto que es una de nuestras herramientas más útiles a la hora de confrontar y poner en discusión nuestras investigaciones respecto al conocimiento general o la historiografía. El que nuestros alumnos universitarios, especialmente los de Historia Económica, exijan a la IA que las soluciones que les facilite sean referenciadas por literatura científica debe considerarse como un gran éxito del profesorado, quiénes han sido capaces de inculcarles la corrección metodológica. No obstante, el problema es que esta conquista académica se corrompe cuando la IA falsea las referencias porque puede que no existan, simplemente son “inventadas”, o se han obtenido de repositorios privados -previa a su aparición en revistas o librosque no son accesibles (Day, 2023; Donlon y Tiernan, 2023; Grimaldi y Ehrler, 2023). Entonces, ¿qué podemos hacer si los alumnos aprenden ideas y conceptos creyendo que son ciertos porque los facilita la confiable informática y, además, estos contenidos aparecen referenciados por autores científicos? El recurso de Umberto Eco parece quedarse corto puesto que las dimensiones de la irrupción de la lA en nuestro mundo hacen imposible la formación de una comunidad social formada por “correctores” voluntarios. Aquí proponemos una solución basada en el entrenamiento de las tradicionales competencias de andlisis y juicio crítico. Las cuáles deberían estar siempre presentes en un alumno universitario pero que, por desgracia, la excesiva presencia de la informática en su vida para de desgastarlas o incluso tiende a eliminarlas. El planteamiento pasa por convertir a la lA en una especie de Caballo de Troya con el que generar contenidos falsos para que los estudiantes desarrollen la reflexión y crítica, y de duda continuada, para que puedan discernir en el caos entre información real y falsa salida de algoritmos informáticos. La 297 b) Realización de la sesión (se aconseja hacerla al menos dos semanas después de la sesión presencial de explicación “clásica” del epígrafe) |. Separación del alumnado en parejas para promover el esfuerzo individual, pero favoreciendo la colaboración y el diálogo en la medida de lo posible. Il. Descarga del dossier desde plataforma educativa universitaria que incluye una primera instrucción en la que se les explican los objetivos y motivaciones de la dinámica (ver Figura Figura 3) y se le presentan los materiales verdaderos y falsos obtenidos en el Punto 3 (ver Figuras Figura 4 y 5). El mismo dossier se entrega en formato Portable Document Format (en adelante PDF) e incluye una ventana donde los estudiantes pueden desarrollar la explicación de su validación o rechazo de cada material. igura 5 Materiales del Dossier trabajado en clase (7 a 10) MATERIAL 8: Gestión Clentífica col Trabajo de Taylor sogún ChatGPT. 12 premisa central es que tanto la eficienca en la producción como el blenestar de los S ME MEO N EE trabajadores pueden mejorarse drásticamente si se aplican princplos científcos al NE — S e a ENAC| A e A | N | Siathin) - Ze z = S BTN d = Pf i re la ea - = ee eee - E e o - | A ra p E y = a . - esencial proporcionar a estos trabajadores la formación y las herramientas necesarias = = 1 200 pera ejecutar aus trabjos de la manere més eficar, siguiendo los métodos que hemos MATERIAL 9: El crecimiento del PIB por la industrialización DESARROLLO DEL PIB pc EN ESTADOS UNIDOS (1865-1913) Índice 100=1865 determinado a través de nuestro estudio centfico MATERIAL 10: recreación de inteligencia artificial de Nueva York hacia 1880 FUENTE: Elaboración propia a partir de Diaz-Milán y Díaz-Ordóñez (2024b). 304 5. Evaluación del aprendizaje de los alumnos a partir del análisis cualitativo de los argumentos y recursos empleados en la decisión de identificar materiales erróneos. 6. Evaluación del impacto de la dinámica con los objetivos planteados a partir de una encuesta de 20 cuestiones. Figura 6 Ejemplo de material y zona de comentarios para alumnos Ford, Henry (1929), My Philosophy Industry, George G. Harrap & Co. Ltd, p. 52 Similarly, the development of industry was long delayed because on link in the chain of progress was missing. When that had been forged industry shot ahead to its present high rate of production. | refer to the matter of long-distance power transmission. Back in the days when machinery had to be run by steam or water-power, cables and belts were the only means of power trasmission. This meant that factories had to be located in the inmediate neighbourhood of the lant, or on the bank of the stream from which power was derived. Traducción Del mismo modo, el desarollo de la industria se retrasó mucho por que faltaba un eslabón en la cadena del progreso. Cuando ese eslabón se forjó, la industria se disparó hasta alcanzar su elevado ritmo de producción actual. Me refiero a la transmisión de energía a larga distancia. En la época en que las máquinas funcionaban con vapor de agua, los únicos medios de transmisión eran los cables y las correas. Esto significaba que las fábricas tenían que estar situadas en las inmediaciones de la fuente de energía, on la orilla del arroyo del que procedía la energía. MATERIAL 3: análisis y reflexión crítica FUENTE: Elaboración propia a partir de Díaz-Milán y Díaz-Ordóñez (2024b). 5. Aná : resultados cualitativos y cuantitativos de la di Las respuestas de los estudiantes son consignadas durante la dinámica en el propio dossier, insertándolas dentro de unas ventanas interactivas creadas en el propio fichero PDF de los materiales (ver ejemplo en Figura 4). Acabado el ejercicio, los dossiers, con las respuestas argumentadas, son subidas por los alumnos a la misma plataforma educativa virtual (en el caso de la Universidad de Sevilla es Blackboard). Una primera aproximación a las respuestas determina que el 90% de las parejas identificaron sin lugar a duda los materiales 4 (producción de acero comparada entre Gran Bretaña y Estados Unidos entre 1870 y 1910) y 5 (recreación visual del puerto de Nueva York en 1890) como falsos (en la Figura 4 están realzados en negro). Los mecanismos de identificación empleados por los alumnos son muy diferentes para ambos casos: mientras que el gráfico de producción de acero es desechado como erróneo a partir, principalmente, de las explicaciones dadas en la sesión presencial por el profesor (en las que se incidió en la apuesta estadounidense por los nuevos sectores de la siderurgia de la Segunda Revolución Tecnológica); y, por su parte, en la imagen los alumnos apuntan a que no les cuadraba el 305 grado de desarrollo tecnológico reflejado en la imagen con la construcción mental que tienen de esa época (finales del siglo XIX). De hecho, alguna pareja llegó a comentar “es raro que un puerto lleno de veleros hubiera cambiado tanto para que después de poco más de 20 años el RMS Titanic se hundiera sin llegar a Nueva York”:. Más allá de los propios resultados de la identificación nos interesaba ver cómo había funcionado la dinámica para cubrir los objetivos de potenciación del pensamiento crítico como herramienta de juicio en la asignatura de Historia Económica. Para ello desarrollamos una encuesta (también accesible en BlackBoard) que los estudiantes podían rellenar de forma individual y voluntaria a posteriori de la realización de la actividad. Para indagar los elementos claves que definimos preguntamos sobre el conocimiento de la IA, la propia asignatura, el desarrollo de la dinámica, los resultados obtenidos y las posibilidades de mejorar la actividad. El cuestionario se agregó en base a las siguientes categorías y las preguntas: Tabla 1 Categorías y preguntas evaluadas en la encuesta 1. Conocimiento y uso de la Inteligencia Artificial: Pregunta (en adelante P)1. ¿Conoces la Inteligencia Artificial? P2 ¿Has utilizado alguna vez la Inteligencia Artificil para entregar algún trabajo durante tus estudios? P3 ¿Has estudiado alguna vez utilizando la Inteligencia Artificial? P4 ¿Conoces amigos o compañeros que utilizan la Inteligencia Artificial para estudiar o entregar trabajos? ¿Cuántos conoces? 2- Taterés y comprensión deltema (Historia económica y prictica con TA): PS ¿Cómo calificarias u interés en la historia económica antes de este experimento? P6 ¿Cómo calificarías u interés en la historia económica después de este experimento? P7 ¿Crees que la práctica que kas realizado con Inteligencia Artificial te ha servido para complementar tu comprensión del tema sobre la Industrialización de Estados Unidos? Tespuesta que más se ajuste a tu impresión. P10 En términos generales, ¿cuánto disfrutaste la metodología del experimento que combinaba materiales reales con materiales desarrollados por inteligencia artificial? P14 Al identificar nformación enrónea, ¿cuáles fueron los principales indicadores que te levaron a cuestionar su veracidad? P15 ¿Consideras que este tipo de ejercicio es útil para tu preparación profesional? P16 ¿Qué competencias crees que este experimento te ha ayudado a desarrollar -que serán útiles en tu incorporación al mundo laboral? P17 ¿Qué aspectos del experimento encontraste más valiosos o interesantes? 3. Dificultades y experiencias durante el experimento: 8 Nos interesa saber: ¿cómo de difícil ha sido realizar esta práctica? Ahora te preguntamos por todo el proceso (explicación, instrucciones que has recibido, claridad de los materiales, solución de dudes que te hayan surgido, etc) Elige la respuesta que más se ajuste a tu impresión. P9 Ahora necesitamos que nos expliques cuánto te ha costado identificar los materiales erróneos proporcionados por la Ineligencia Artificial Elige la 4 Desarrollo de habilidades y competencias: P11 ¿Crees que la experiencia te ha preparado mejor para discemir entre fuentes fisbles y no fizbles en futuras investigaciones? P12 ¿Sientes que este experimento mejoró tu habilidad para analizar criticamente la iformación? P13 ¿El experimento te ayudó a desarrollar una mayor habilidad para identificar posibles errores u omisiones en la información? 5 Comentarios y sugerencias: o Siconsideras que durante la realización del experimento existieron o te encontraste con aspectos confusos o poco claros (instrucciones, materiales, etc) por favor coméntalos ¿Tienes sugerencias para mejorar este experimento en el futuro? Te agradeceríamos que nos las indicaras aquí. o ¿Consideras que ChalGPT o herramientas similares son útiles para la docencia? ¿Y parala investigación? ¿Crees que es necesario formar 2 los alumnos en estas competencias digitales? FUENTE: elaboración propia a partir de la encuesta almacenada en BlackBoard (Díaz-Milán y Díaz-Ordóñez, 2024a). * Comentario extraído de las respuestas almacenadas en los dossiers. 306 Si analizamos cada una de estas categorías se vislumbra que, en términos generales, el trabajar el pensamiento crítico en el aula y, hacerlo desde prácticas dinámicas y que les dan el protagonismo a los estudiantes en la identificación de materiales erróneos, supone una gran ventaja, y así parecen percibirlo los estudiantes. a) Conocimiento y uso de la Inteligencia Artificial (preguntas 1 a 4). Todos los alumnos conocen la IA, pero sólo algunos la han utilizado para sus estudios. Todos los estudiantes estaban familiarizados con el concepto de lA, lo cual indica un alto nivel de conocimiento básico sobre la tecnología entre los encuestados. Esto sugiere que es un tema conocido entre los participantes, aunque su aplicación práctica en el estudio y entrega de trabajos es muy variable. Concretamente, en el Gráfico 1 se observa una clara diferenciación entre el uso de la lA, asociado mayoritariamente a la realización de trabajos (P2), respecto a un menor empleo como recurso de estudio durante la formación del estudiante (P3). Lo que podría explicarse como una extensión de la necesidad operativa de cumplir con unas tareas en el formato de un trabajo, respecto a un uso acomMpañado para el estudio de contenidos reglados. Es decir, si tengo que hacer este trabajo le pregunto a la IA, mucho más fácil que decirle que le recomiende los pasos para estudiar mejor este o aquel epígrafe de un programa. Gráfico 1 iento de la IA para trabajos y estudio de los estudiantes Conoci 60% 50% 40% 30% 20% 10% 0% Uso trabajos Uso estudios FUENTE: elaboración propia a partir de la encuesta almacenada en BlackBoard (Diaz-Milán y Díaz-Ordóñez, 2024a) En la P4 (ver Gráfico 2) hemos obtenido información sobre la percepción de la extensión de uso de la IA entre los conocidos de los estudiantes (que probablemente también estén cursando algún tipo de formación). El dato más relevante es que las respuestas se concentran entre 1 y 5 conocidos y en el grupo de ó hasta 10, lo que nos hace pensar que puede deberse a que la respuesta no haya sido muy meditada por los alumnos. 307 Gráfico 2 Extensión del uso de la IA entre los jóvenes (Número de conocidos que usan IA) 30 25 20 15 10 5 . . 0 a ! lab 6a10 >10 Ninguno FUENTE: elaboración propia a partir de la encuesta almacenada en BlackBoard (Diaz-Milán y Diaz-Ordóñez, 2024a). b) Interés y comprensión del tema (preguntas 5 a 7). El interés en la Historia Económica ha aumentado después del experimento (P5 y P6), y muchos participantes encontraron que el uso de Al ayudó a complementar su comprensión de contenidos de la asignatura. Esto indica que la Al puede ser una herramienta efectiva para aumentar el interés y la comprensión en temas específicos. Como se puede apreciar en el Gráfico 3 se ha conseguido atraer a ocho estudiantes que mostraban indiferencia o ningún interés hacia posiciones de Bastante/Muy interesado en la asignatura. Pero es preciso puntualizar que la mayoría de los estudiantes ya estaban bastante o muy interesados en la Histaria Económica antes del experimento, lo que podría haber influido en cómo percibieron la utilidad y relevancia del experimento. Respecto a la dificultad en sí de la experiencia, hay una mayoría que indicó tener pocas dificultades, aunque, por otro lado, la variedad en las respuestas sugiere que algunos estudiantes encontraron el experimento más desafiante que otros. Esto puede ser un punto de interés para ajustar la dificultad o proporcionar más recursos de apoyo en futuras iteraciones de esta o parecidas dinámicas que se desarrollen en el aula. La mayoría de los estudiantes (55 de 66) indicaron que la prdctica con Inteligencia Artificial les sirvió "Bastante" o "Mucho" para complementar su comprensión del proceso de industrialización en Estados Unidos (P7). Esto sugiere que la actividad fue efectiva para una gran parte de los participantes en mejorar su entendimiento del tema. Un menor número de estudiantes se mostraron neutrales o indicaron que la práctica solo les ayudó "Un poco", lo que podría reflejar variaciones en las expectativas individuales o en cómo cada estudiante interactúa con tecnologías de IA. 308 Gráfico 3 Interés anterior y posterior del alumnado con la asignatura relacionado al desarrollo de la dinámica Nada interesado/a Me es indiferente — I Interesado/a Bastante interesado/a Muy interesado/a o 10 20 30 40 50 * Interés posterior — *nterés previo Fuente: elaboración propia a partir de la encuesta almacenada en BlackBoard (Díaz-Milán y Díaz-Ordóñez, 2024a). c) Dificultades y experiencias durante el experimento (preguntas 8 a 10). Las respuestas varian en términos de dificultad, con algunos participantes encontrando la práctica fácil y otros señalando desafíos específicos. lIdentificar materiales erróneos proporcionados por la Al fue una experiencia mixta, y la metodología combinada del experimento fue generalmente bien recibida. En términos generales, las encuestas arrojan un resultado positivo respecto a lo dificil que les ha resultado realizarla (P8: “Muy fácil”: 4, “Fácil”: 21), lo cual parece reforzar la idea de continuar con este tipo de didácticas. No obstante, es preciso analizar con mayor detenimiento la dinámica, puesto que hay 15 respuestas que indicaron que la práctica les puso en una situación difícil. Esto nos hace pensar que sería beneficioso revisar, y posiblemente, mejorar la claridad de las instrucciones y los materiales utilizados; además de proporcionar más soporte durante la práctica podría ayudar a aquellos que encontraron dificultades. Asimismo, una mayoría de alumnos (26) expresaron dificultades a la hora de valorar el propio concepto de dificultad del ejercicio con su respuesta “No puedo valorar lo fácil o difícil que ha sido”. Parece que estas respuestas evidencian la necesidad de habilitar en la dinámica mecanismos de retroalimentación más regulares para que los estudiantes puedan evaluar cómo de difícil les está pareciendo la práctica. En definitiva, esto indica que hay espacio para mejorar la claridad y el apoyo proporcionado durante la práctica. Contrastando con lo anterior, y ante la pregunta de cuán de difícil había sido descubrir los materiales falsos (P9), la gran mayoría de los estudiantes han respondido que "Los descubrí muy fácilmente": 1 (1.6%); "He tenido pocas dificultades": 33 (51.6%) o "No he tenido ninguna dificultad": 16 (25.0%). Fuera de estas respuestas positivas sólo 14 estudiantes (21.9%) indicaron que “Me ha costado bastante" y sólo 1 respondió que le había costado "Muchísimo": 1 (1.6%). En este mismo sentido, la P10 les cuestionaba cómo habían disfrutado de la práctica durante su desarrollo, y en sus respuestas se observa una clara perspectiva positiva del ejercicio ("Muchísimo": 31.7%, "Mucho": 52.4%), resultados apenas disminuidos por otros 10 alumnos que manifestaron que disfrutaron "Poco": 11.1% o "Muy poco": 4.8%) de la misma. 309 d) Desarrollo de habilidades y competencias (preguntas 11 a 17). Para nosotros estas preguntas eran muy importantes puesto que nos informaban del impacto de la actividad propuesta respecto al objetivo de desarrollar sus capacidades de pensamiento crítico y asentar el principio de dudar de la fiabilidad de las fuentes de información IA. En líneas generales, muchos participantes indicaron que el experimento mejoró su capacidad para discernir entre fuentes fiables y no fiables, así como su habilidad para analizar críticamente la información. Les queda claro que identificar errores en la información destaca como una competencia clave desarrollada durante la dinámica. En general, los participantes encontraron útil este tipo de ejercicio para su preparación profesional y desarrollo de competencias laborales. La gran mayoría de los estudiantes (61 de 66) indicaron estar "De acuerdo" o "Totalmente de acuerdo" con que la experiencia los ha preparado mejor para discernir entre fuentes fiables y no fiables (P11). Esto refleja un resultado positivo del experimento en cuanto a fomentar habilidades críticas necesarias para la investigación académica y profesional. Y, además, coincide con un abrumador 96.7% de respuestas “Si” a las P12 y P13 en las que se les preguntaba directamente por si la práctica los había preparado para poder discernir entre lo falso y lo real. Gráfico 4 Formas de identificación de los materiales erróneos Buscar información en internet y contrastar con ofras fuentes: 11 (17,2%) Falta de lógica o contradicciones evidentes 12 (18,8%) Andlisis lógico o critico: 14 (219%) Comparar con lo aprendido en clase (apuntes, manuales, temario): 20 (31.2%) o a 5 5 5 x FUENTE: elaboración propia a partir de la encuesta almacenada en BlackBoard (Diaz-Milán y Diaz-Ordóñez, 2024a) Respecto a sobre qué recursos pusieron en uso para poder discernir si un material era verdadero o falso se les planteo la P14 con una respuesta abierta que podía rellenar. Una vez analizada hemos establecido las siguientes categorías: Comparar con lo aprendido en clase (apuntes, manuales, temario), a partir de la búsqueda de información en internet y contrastar con otras fuentes, realizacion de andlisis lógico o critico, y por último la detección de falta de lógica o contradicciones evidentes. Del análisis del Gráfico 4 se extrae que los conocimientos adquiridos de forma tradicional siguen siendo uno de los elementos fundamentales a la hora de que los alumnos puedan discernir los posibles sesgos de la información recibida. También es destacable que los 310 estudiantes hayan usado el análisis crítico directo, o por el contrario hayan indagado en la falta de lógica o contradicciones con informaciones previas. En definitiva, nos parecen unos muy buenos resultados para reforzar nuestro interés en desarrollar el pensamiento crítico como herramienta base en la adquisición de competencias y conocimientos con la IA. e) Comentarios y sugerencias (preguntas 18 a 20): Los comentarios y sugerencias proporcionados por los participantes incluyen tanto aspectos positivos como áreas de mejora. Algunos sugirieron más claridad en las instrucciones y materiales, mientras que otros destacaron la utilidad de ChatGPT para la docencia e investigación. La mayoría considera importante formar a los alumnos en competencias digitales. 6. Conclusiones A medida que la lA se convierte en una herramienta más común en la educación y la práctica profesional, la habilidad de evaluar críticamente su aplicación se vuelve indispensable. Esta experiencia de análisis reafirma la importancia de cultivar las habilidades de pensamiento crítico en estudiantes universitarios para prepararlos mejor para enfrentar y manejar las complejidades tecnológicas, sociales y humanísticas del futuro, asegurando que la ética y la precisión no se vean comprometidas. El experimento parece haber sido exitoso en varios frentes, particularmente en fomentar un mayor interés y en mejorar las habilidades críticas de los estudiantes. Las respuestas también sugieren que los estudiantes apreciaron la oportunidad de aplicar habilidades analíticas en un contexto controlado, lo que reafirma el valor de esta metodología para la formación en finanzas y contabilidad. Para futuros experimentos, podríamos incorporar más contenido interactivo y ejemplos prácticos, así como proporcionar más orientación sobre cómo identificar y analizar la información incorrecta, asegurando que todos los estudiantes puedan seguir el ritmo del ejercicio sin sentirse desbordados. No obstante, y de momento, es preciso que todo usuario de lA haga caso a avisos como el que concluye este texto: ChatGPT puede cometer errores. Considera verificar la información importante. FUENTE: aviso incluido recientemente por OpenAl en ChatGPT. BIBLIOGRAFÍA Van den Berg, H. ef al. (2014). “Studying the history of philosophical ideas: supporting research discovery, navigation, and awareness". Proceedings of the 14th International Conference on Knowledge Technologies and Data-driven Business. Graz, New York, NYAssociation for Computing Machinery. https://doi.org/10.1145/2637748.2638412. 311 Carrillo Hortua, F.C. (2023). Desarrollo de la competencia democrática en estudiantes de educación media a través de la detección de sesgos y errores en representaciones estadísticas que circulan en Redes Sociales. Tesis de Licenciatura. Universidad Pedagógica Nacional. http://hdl.handle.net/20.500.12209/18929. Chah, N. (2019). “Down the deep rabbit hole: Untangling deep learning from machine learning and artificial intelligence". First Monday [Preprint]. https://doi.org/10.5210/fm.v24i2.8237. Chan, M.M.K. ef al. (2023). “Critical Reflection on Using ChatGPT in Student Learning: Benefits or Potential Risks?". Nurse Educator, 48(6), pp. E200-E201. https://doi.org/10.1097/NNE.0000000000001476. Chao, P.-J. et al. (2021). "Knowledge of and Competence in Artificial Intelligence: Perspectives of vVietnamese Digital-Native Students". ¡EEE Access, 9, pp. 75751-75760. https://doi.org/10.1109/ACCESS.2021.3081749. Davis, P. (2023). “Did ChatGPT Just Lie To Me?". The Scholarly Kitchen, 13 January. Disponible en: https://scholarlykitchen.sspnet.org/2023/01/13/did-chatgpt-just-lie-to-me/ (Accessed: 4 February 2024). Day, T. (2023). “A Preliminary Investigation of Fake Peer-Reviewed Citations and References Generated by ChatGPT". The Professional Geographer, 75(6), pp. 1024-1027. https://doi.org/10.1080/00330124.2023.2190373. Denny, P. ef al. (2024). “Prompt Problems: A New Programming Exercise for the Generative Al Era". Proceedings of the 55th ACM Technical Symposium on Computer Science Education V. 1. Nueva York, Association for Computing Machinery (SIGCSE 2024), pp. 296-302. https://doi.org/10.1145/3626252.3630909. Díaz-Milán, A. y Díaz-Ordóñez, M. (2024a). “Encuesta sobre el uso de ChatGPT como desarrollador de competencias en pensamiento crítico". Sevilla, Universidad de Sevilla: Plataforma Virtual BlackBoard. Díaz-Milán, A. y Díaz-Ordóñez, M. (2024b). "Materiales ChatGPT para el estudio del proceso de industrialización de Estados Unidos 1865-1914. Grado en Finanzas y Contabilidad. Curso 2023-2024". Donlon, E. y Tiernan, P. (2023). “Chatbots and Citations: An Experiment in Academic Writing with Generative Al". Irish Journal of Technology Enhanced Learning, 7(2), pp. 75-87. https://doi.org/10.22554/ijtel.v7i2.125. Eco, U. (2009). “Ho sposato Wikipedia?". L'Expresso, 10 September, p. 178. Fernandes, E.R. y Graglia, M.A.V. (2024). “Human intelligence and artificial intelligence and the challenges of biases in ai algorithms". Journal on Innovation and Sustainability RISUS, 15(1), pp. 133-142. https://doi.org/10.23925/2179-3565.2023v15i1 p133-142. Funmi, K.B. y Xusheng, Q. (2020). “Critical Thinking an Antidote to Artificial Intelligence Threat: An Innovation in Teacher Education Practices". Proceeding of the óth International Conference on Education. 6th International Conference on Education, Viena, pp. 51-56. https://doi.org/doi.org/10.17501/24246700.2020.6205. 312 González, M.C. et al. (2017). “Andlisis de los sesgos cognitivos en comunidades estudiantiles". Revista Electrónica sobre Tecnología, Educación y Sociedad, 4(7). https://www.ctes.org.mx/index.php/ctes/article/view/651 (Accessed: 16 April 2024). Grimaldi, G. y Ehrler, B. (2023). “Al et al.: Machines Are About to Change Scientific Publishing Forever', ACS Energy Letters, 8(1), pp. 878-880. Available at: https://doi.org/10.1021/acsenergylett.2c02828. Kansteiner, W. (2022). “Digital Doping for Historians: Can History, Memory, and Historical Theory Be Rendered Artificially Intelligent?". History and Theory, 61(4), pp. 119-133. https://doi.org/10.1111/hith.12282. Kleebayoon, A. y Wiwanitkit, V. (2023). “ChatGPT, critical thing and ethical practice". Clinical Chemistry and Laboratory Medicine (CCLM), 61(11), pp. e221-e221. https://doi.org/10.1515/cclm-2023-0495. Lau, J., Bonilla, J.L. y Gárate, A. (2019). “Artificial Intelligence and Labor: Media and Information Competencies Opportunities for Higher Education". En Kurbanoglu, S. et al. (eds), Information Literacy in Everyday Life. European Conference on Information Literacy. Cham, Springer International Publishing, pp. 619-628. https://doi.org/10.1007/978-3-030-13472-3_58. Ma, Y. et al. (2023). “Al vs. Human -- Differentiation Analysis of Scientific Content Generation". arXiv. https://doi.org/10.48550/arXiv.2301.10416. Marchenko, K. et al. (2022). “Risks of Implementing Artificial Intelligence in Computer Systems". Central Ukrainian — Scientific — Bulletin. Technical Sciences, 1(5), pp. 119-124. https://doi.org/10.32515/2664-262x.2022.5(36).1.119-124. Massolo, A. (2019). “Sesgos de razonamiento, lenguajes formales y enseñanza de la lógica". Limite, 14(10), pp. 1-14. https://doi.org/10.4067/s0718-50652019000100210. Miller, T. (2019). “Explanation in artificial intelligence: Insights from the social sciences". Artificial Intelligence, 267, pp. 1-38. https://doi.org/10.1016/|.artint.2018.07.007. Mishra, A. y Siy, H. (2020). “An Interdisciplinary Approach for Teaching Artificial Intelligence to Computer Science Students". Proceedings of the 21st Annual Conference on Information Technology Education. Nueva York, Association for Computing Machinery (SIGITE '20), p. 344 https://doi.org/10.1145/3368308.3415440. Mollick, E-R. and Mollick, L. (2023). Assigning Al: Seven Approaches for Students, with Prompts. Rochester, NY. https://doi.org/10.2139/ssrn.4475995. Ntoutsi, E. et al. (2020). “Bios in data-driven artificial intelligence systems—An introductory survey". WIREs Data Mining and Knowledge Discovery, 10(3), pp. 1-14. https://doi.org/10.1002/widm.1356. OpenAl (2024). “ChatGPT". Disponible en: https://chat.openai.com/chat. 313