Recursos para un diseño analítico de efectos de la inteligencia artificial en estudiantes de administración

1 Recursos para un diseño analítico de efectos de la inteligencia artificial en estudiantes de administración Santiago de los Santos de Dios1 y Raquel O. de los Santos de Dios2 1Universidad Juárez Autónoma de Tabasco ORCID: https://orcid.org/0000-0003-0685-3250 2Universidad Popular de la Chontalpa ORCID: https://orcid.org/0000-0002-1341-657X Resumen El desarrollo vertiginoso de las nuevas aplicaciones basadas en inteligencia artificial (IA), ha tenido impacto en distintos sectores entre los cuales destacan las áreas educativas y específicamente en las instituciones de educación superior. El objetivo de este estudio fue proponer recursos y procedimiento factibles para el diseño posterior de una investigación experimental contextualizada, que permita analizar los efectos de las aplicaciones de inteligencia artificial generativa en la enseñanza de consultoría de negocios en los estudiantes de administración. El método fue por observación directa sobre el funcionamiento de los agentes virtuales entrenados con Grandes Modelos de Lenguaje (LLM) optimizados con documentación de Generación Aumentada por Recuperación (RAG). Se concluyó que los recursos y el procedimiento propuestos son factibles para aplicarse en la medición de dimensiones de rendimiento académico y motivación en los estudiantes. Se sugiere que el aprovechamiento de la inteligencia artificial debe estar en el marco de un aprendizaje supervisado y desarrollado por los docentes, así mismo, el desarrollo de estas aplicaciones debe extenderse y aplicarse a otros contenidos sustanciales de la carrera en administración. 2 Palabras claves: inteligencia artificial generativa, asistentes virtuales, grandes modelos de lenguaje, administración de empresas, consultoría de negocios. Introducción De acuerdo con el Índice Latinoamericano de Inteligencia Artificial (ILIA, 2023), México tiene un 49% de capacidad para el desarrollo de tecnologías de inteligencia artificial, así mismo otros países de la región promedian apenas un 40% de esta capacidad de preparación para estas tecnologías (Centro Nacional de Inteligencia Artificial, [CENIA], 2023). Por su parte las Organización de la Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO, 2023), reveló los resultados de una encuesta mundial de más de 450 escuelas y universidades, que menos del 10% de estas, han formalizado políticas institucionales o lineamientos en el uso de la inteligencia artificial generativa. De la misma manera, una encuesta presentada por EdScoop (2021), respaldada por DELL e INTEL, reportó de una encuesta entre docentes y responsables de Tecnologías de la Información, que un 69% de estos anticipa un incremento en la demanda de graduados con habilidades técnicas en inteligencia artificial (IA) por parte de sus empleadores. Estos datos muestran que el fenómeno en la aplicación de la IA en distintos sectores es inminente y es necesario enfocar la atención y comprensión de su acontecimiento. En la actualidad, el dominio de las aplicaciones IA forman parte del conjunto de competencias digitales de vanguardia en la educación superior, y el efecto se refleja en su impacto sobre el desarrollo de habilidades blandas en el estudiante. Diversos autores han señalado que entre estas competencias se hallan: el pensamiento computacional, lógica, creatividad, técnicas de comunicación, resolución de problemas, toma de decisiones, trabajo en equipo y aprendizaje adaptativo (Dalgarno y Lee, 2010; Dávila, 2014; Chávez et al., 2023; Marzal y Vivarelli, 2024). De la misma forma, Amador et al. (2023), argumenta que el Aprendizaje Basado en Problemas (ABP), puede desarrollar en los estudiantes competencias digitales y otras agregadas como: transversales, genéricas, básicas, colaborativas, y comunicativas. Navarro et al. (2022), 3 en un estudio empírico que evaluó dimensiones pedagógicas, técnicas, tecnológicas y de aprendizaje, concluyeron que el uso de softwares educativos proporciona ventajas dentro del proceso de enseñanza aprendizaje universitario. Para el estímulo de estas competencias digitales en los estudiantes universitarios y en el marco del paradigma de la Educación 4.0, actualmente existe una amplia gama de tecnologías basadas en IA que las potencializa a través del aprendizaje inmersivo e individualizado y que no se han explotado ni regularizado lo suficiente en términos académicos. Se han identificado tecnologías en entornos inmersivos de tipo: tutorías virtuales, simuladores, laboratorios virtuales, automatización de procesos, asistentes virtuales y entornos 3D (Luzardo y Hernández, 2010; Ayala et al., 2020; Cárdenas et al., 2024). Sin embargo, cabe resaltar que Vélez y Erazo (2022), en una investigación que analizó el uso de los laboratorios virtuales como estrategia didáctica docente, concluyeron que la mayoría de los profesores no utilizan estas tecnologías por falta de conocimiento y capacitación. Además, Aparicio (2023), en una revisión de literatura sobre la integración de IA en la educación, resaltó la necesidad de que estos algoritmos deben ser transparentes, sin sesgos ni exclusión o discriminación, y así mismo, garantizar la privacidad y seguridad de datos. El manejo y control de aplicaciones basadas en inteligencia artificial en la educación superior representa oportunidades para crear innovaciones y generar ventajas en los procesos de enseñanza y aprendizaje, y específicamente a través de tutorías inteligentes que incrementen el interés, la calidad y competitividad de los estudiantes en sus áreas de formación. Diversas investigaciones han confirmado que estas ventajas se traducen en: mejora del aprendizaje y evaluación de entornos educativos más personalizados y adaptables, educadores más críticos con los datos generados por la inteligencia artificial, transición de la universidad tradicional a una universidad más inteligente, así como la mejora cualitativa de la productividad académica y proyección social (Pérez et al., 2018; Akhrif et al., 2019; Hernández y Rodríguez, 2024). En 2018, investigadores de la universidad privada de Lahore Pakistán, desarrollaron un proyecto denominado "Laboratorio Virtual Inteligente" 4 basado en inteligencia artificial, y demostraron que hubo una alta satisfacción en la experiencia de los estudiantes en el uso de estas aplicaciones (Munawar et al., 2018). Así mismo, investigadores del departamento de Ingeniería Industrial de la universidad de Lamar en Texas, desarrollaron una aplicación móvil orientada para estudiantes de negocios también basada en inteligencia artificial, y los resultados obtenidos revelaron que los alumnos que utilizaron la aplicación, al final del curso obtuvieron calificaciones significativamente más elevadas que los que no la utilizaron (Zhu et al., 2015). A partir de lo anterior, se presume que los asistentes virtuales basados en IA generativa son factibles como estrategia didáctica para el mejoramiento del rendimiento académico y la motivación de los estudiantes, pues estos les brindan aprendizaje personalizado y continuo. Hidalgo et al. (2021), explica que los asistentes virtuales autónomos trabajan en los estudiantes mediante la implementación de técnicas de asociación, clasificación y agrupación, además de otros ejercicios como retroalimentación e interactividad. Por su parte, Sánchez (2023), en un estudio longitudinal sobre el análisis de los chatbots y asistentes virtuales en el contexto de la educación superior, reportó resultados que indican que los asistentes virtuales son de las principales herramientas implementadas por las instituciones de educación superior en sus procesos recurrentes de atención a usuarios y procesos de enseñanza aprendizaje. En este mismo sentido, Jardón et al. (2024), analizaron en una revisión bibliométrica sobre el potencial de los asistentes virtuales sobre el rendimiento académico de los estudiantes universitarios, y los resultados del estudio confirmaron que los asistentes virtuales tienen un fuerte potencial para mejorar el rendimiento académico y la satisfacción de los estudiantes. La característica principal que tienen los asistentes virtuales para lograr su desempeño, radica en los Grandes Modelos de Lenguaje (es decir, Large Language Model [LLM]) que tienen instalados, tales son redes neuronales artificiales de aprendizaje profundo entrenadas previamente con contenidos que pueden ser consultados a través de una interfaz de chatbot con procesamiento del lenguaje natural, no obstante, el uso de estos modelos en el ámbito educativo debe estar 5 supervisado por el personal docente, ya que recientemente investigaciones en otros sectores de aplicación han registrado limitaciones en su funcionamiento. Lara et al. (2023), en una investigación mixta sobre el impacto de los modelos generativos de lenguaje en la educación superior, reportaron resultados que muestran que la mayoría de los estudiantes admitieron usar el chatbot en clases, y señalaron que su comprensión sobre los temas incrementó, además de poder resolver dudas específicas. Sin embargo, los mismos autores advierten que entre las desventajas que existen con estas tecnologías basadas en grandes cantidades de datos, es la posibilidad de falta de coherencia y corrección en el lenguaje generado. Esto se confirma con el estudio realizado por Correa y Maccarini (2023), quienes realizaron una supervisión automatizada de alucinaciones en los LLMs, enfocado en la respuesta automática de correos electrónicos en servicio al cliente, y hallaron que estos sistemas pueden producir una alta cantidad de respuestas inadecuadas o alucinaciones, lo que puede tener un impacto negativo en la satisfacción del usuario. Respecto a esta limitación latente, existen técnicas que permiten reducir el riesgo que tienen los LLMs de proporcionar información tergiversada o fuera control ya antes señaladas como alucinaciones. De estas técnicas se hace referencia al de Generación Aumentada por Recuperación (es decir, Retrieval Augmented Generation [RAG]), esto es la integración de documentos externos, con contenidos posteriores al entrenamiento inicial del LLM, que permiten mejorar la precisión y calidad de las respuestas dadas por el asistente virtual. En un estudio empírico realizado por Sánchez (2024), sobre la integración de una arquitectura RAG para adaptar un LLM a las necesidades de una empresa, demostraron que la relación de aprendizaje entre el modelo y el grafo de conocimiento generado por la arquitectura RAG, mejoró significativamente la calidad de las respuestas generadas. Por lo tanto, estas técnicas representan una oportunidad para asegurar de que los contenidos que los asistentes virtuales utilizan como RAG, sea documentación con contenidos revisados y validados por el docente que hará uso de las ventajas de estas aplicaciones basadas en IA generativa. 6 Con todo lo mencionado, se plantea el hecho de que el uso de las aplicaciones basadas en IA tiene un fuerte impacto en los procesos de enseñanza aprendizaje en las instituciones de educación superior. Por lo que se sugiere que el uso de Grandes Modelos de Lenguaje (LLM), optimizados con una arquitectura de contenidos de Generación Aumentada por Recuperación (RAG), son factibles para un análisis contextualizado de los efectos que tiene el uso de las aplicaciones basadas en IA generativa en la formación de los estudiantes de educación superior. Consecuentemente el objetivo de este estudio fue proponer los recursos y procedimiento factibles para un diseño experimental posterior que analice de efectos de la inteligencia artificial en la formación de los estudiantes. Para el cumplimiento de dicho objetivo se planteó la pregunta: ¿Qué recursos y procedimiento son factibles para un diseño experimental que permita el análisis de los efectos que tiene el uso de la inteligencia artificial en la educación superior? Material y método Contexto de la observación Para la concreción de una propuesta, se concibió la idea basada en prácticas en el que un estudiante de administración de forma periódica dentro de clases y extra clases, a través de un ordenador, desarrolle habilidades de comunicación y resolución de problemas en una entrevista simulada de consultoría de negocios, con el apoyo de una aplicación de IA generativa, es decir, un chatbot capaz de interactuar en lenguaje natural. A partir de esta idea, se estableció observar cómo opera una aplicación de chatbot con contenidos de la asignatura en consultoría de negocios, habiendo definido dos términos de la consultoría: la fase del proceso de contratación de consultoría y los aspectos de diagnóstico. Para el interés de esta propuesta se seleccionó la fase de entrevista inicial y el aspecto de diagnóstico de gestión general y estratégica (Kubr, 1997). 7 Diseño de la observación Con el apoyo de los métodos de observación utilizadas en las ciencias sociales, esta propuesta se basó en el tipo de observación científica, que consistió en precisar los requerimientos y la observación intencional sobre el desempeño de una aplicación chatbot cargada con documentación de casos empresariales aplicados para esta propuesta. La modalidad de observación científica que se realizó fue de tipo directa, es decir; se examinaron las opciones y el funcionamiento de una interfaz de chat local con la capacidad de ejecutar Grandes modelos de Lenguaje (LLM) y la posibilidad de integrar en este, una documentación para la Generación Aumentada por Recuperación (RAG), ejecutables en un ordenador con requerimientos mínimos. Además, la observación realizada fue de tipo no estructurada, ya que no se utilizaron elementos especiales de observación sistematizada. Así mismo, las observaciones fueron de laboratorio, y simultáneas con respecto a la participación de los observadores. El muestreo realizado fue por Ad libitum, es decir, las observaciones no se restringieron a dimensiones específicas o a un proceso sistemático de percepción, las observaciones solo se limitaron a anotaciones libres sobre las ocurrencias dadas. Especificación de materiales Para efectos de esta propuesta se utilizó un ordenador de escritorio con sistema operativo Windows 10, memoria RAM de 8GB y procesador Core i3 de 3.60 GHz. Posteriormente se evaluó la interfaz GPT4ALL 3.3.0, tal es la aplicación gratuita desarrollada por OPEN AI con la posibilidad de ejecutar LLMs en local. La consideración sobre el rendimiento de la interfaz de OPEN AI para esta observación se basó en lo referido en el estudio realizado por Correa y Maccarini (2023), quienes demostraron que incluso los modelos GPT, son los únicos con la capacidad teórica en autosupervisión de alucinaciones posibles. 8 El modelo de lenguaje (LLM) seleccionado para el propósito de esta observación fue el Phi-3 Mini Instruct, el cual es un modelo de lenguaje perteneciente a la familia Phi-3, que son LLMs livianos y optimizados para instrucciones que requieren menos datos de entrenamiento, comparables con LLMs más grandes. Este modelo de cuatro billones de parámetros, está bajo licencia del Instituto Tecnológico de Massachussets (MIT) y entrenado por Microsoft, con la característica de aceptar instrucciones específicas (prompts), por lo que lo hace fácil para su uso inmediato. Las razones que se tomaron en cuenta para la elección de este modelo se basan de acuerdo a lo argumentado por Techlabs (2024), que sostiene que el modelo tiene una calidad de primer nivel, está adaptado para comprender varios tipos de instrucciones, resumen de documentos, análisis de investigación de mercados, generación de contenido y aprovechamiento de marco RAG. Con respecto a la arquitectura de Generación Aumentada por Recuperación (RAG), se utilizó el libro: "Casos de estudio basados en problemáticas empresariales reales - Apoyo didáctico para la enseñanza básica de asignaturas de mercadotecnia y administración" de Espinosa et al. (2019). Esta literatura disponible en PDF presenta ocho casos de situaciones reales empresariales. Configuración del procedimiento Posteriormente, se eligió el caso empresarial sobre la producción y comercialización de "Muñecas artesanales" y se le ingresó un prompt al asistente virtual que le solicita respuestas en primera persona con el fin de simular un ejercicio de preguntas con un cliente en la entrevista inicial de un proceso de diagnóstico en consultoría de negocios. Por último, se realizaron preguntas intencionales de aspectos de diagnóstico sobre gestión general y estratégica del caso empresarial elegido y se evaluó la calidad de las respuestas que de antemano se verificaron y se confirmaron como correctas. 9 En la figura 1, se muestra que la solicitud del prompt: "¿puedes responderme en primera persona lo que te pregunte del caso de las muñecas artesanales como si tu fueras el propietario?", el modelo respondió con éxito de tener la facultad de hacerlo y agregó una contextualización del caso. Figura 1 Solicitud de prompt Resultados A continuación, se reportan los resultados de una muestra íntegra sin edición de respuestas, de la conversación que se entabló con el asistente virtual que incluye el prompt inicial y tres preguntas sobre gestión general y estratégica. En la tabla 1, se observa que las respuestas del asistente virtual GPT4ALL están contextualizadas al documento proporcionado, y las respuestas en primera persona. Sin embargo, presenta mínimos errores de ortografía y gramática en todas las preguntas. Tabla 1 Muestra de sesión de chat en GPT4ALL 16 Chávez-Márquez, I. L., Ordoñez-Parada, A. I., & Flores-Morales, C. R. (2023). Competencias digitales en universitarios a través de innovaciones educativas: Una revisión de la literatura actual. Apertura, 15(2). https://doi.org/10.32870/Ap.v15n2.2398 Correa-Busquets, S., & Maccarini-Llorens, L. (2023). Autosupervisión de Alucinaciones en Grandes Modelos del Lenguaje: LLteaM. Journal of Computer-Assisted Linguistic Research, 7, 60–85. Dalgarno, B., & Lee, M. J. W. (2010). What are the learning affordances of 3-D virtual environments? British Journal of Educational Technology, 41(1), 10–32. https://doi.org/10.1111/j.1467-8535.2009.01038.x Dávila-Cervantes, A. (2014). Simulación en Educación Médica. Investigación en educación médica, 3(10), 100–105. EdScoop. (2021). EXPANDING AI INSTRUCTION IN HIGHER EDUCATION. https://cdn.fedscoop.com/expand-ai-instruction-higher-education-report.pdf Espinosa-Espíndola, M. T., Maceda-Méndez, A., Paz-Calderón, Y., Reyes-García, M., Sánchez-Meza, F. A., Ruíz-González, M. A., & Guillén-Mondragón, I. (2019). Casos de estudios basados en problemáticas empresariales reales—Apoyo didáctico para la enseñanza básica de asignaturas de Mercadotecnia y Administración. (Primera). Universidad Tecnológica de la Mixteca. Hernández-León, N., & Rodríguez-Conde, M. J. (2024). Inteligencia artificial aplicada a la educación y la evaluación educativa en la Universidad: Introducción de sistemas de tutorización inteligentes, sistemas de reconocimiento y otras tendencias futuras. RED. Revista de Educación a Distancia, 24(78). http://dx.doi.org/10.6018/red.594651 17 Hidalgo-Suárez, C. G., Llanos-Mosquera, J. M., & Bucheli-Guerrero, V. A. (2021). Una revisión sistemática sobre aula invertida y aprendizaje colaborativo apoyados en inteligencia artificial para el aprendizaje de programación. Tecnura, 25(69), 196– 214. Jardón-Gallegos, M. del C., Granizo-Malusin, J. H., Yaselga-Auz, W. F., & CochaTelenchana, M. G. (2024). Impacto de los asistentes virtuales de inteligencia artificial en el rendimiento académico de estudiantes universitarios. Revista Social Fronteriza, 4(4). https://doi.org/10.59814/resofro.2024.4(4)e338 Kubr, M. (1997). La consultoría de empresas: Guía para la profesión (Tercera). Lara-Colón, R., Castañón-Ayala, L., & Romo-Rodríguez, P. (2023). Impacto de los modelos generativos de lenguaje de inteligencia artificial en la educación superior. Tlatemoani: revista académica de investigación, 14(44), 19–40. Luzardo, G., & Hernández, J. (2010). Inteligencia Artificial en Ambientes Virtuales: Humanos Autónomos Virtuales (HVA) como Agentes Virtuales Inteligentes (3DIVA). Marzal, M. Á., & Vivarelli, M. (2024). The convergence of Artificial Intelligence and Digital Skills: A necessary space for Digital Education and Education 4.0. JLIS.It, 15(1), Article 1. https://doi.org/10.36253/jlis.it-566 Munawar, S., Toor, S. K., Aslam, M., & Hamid, M. (2018). Move to Smart Learning Environment: Exploratory Research of Challenges in Computer Laboratory and Design Intelligent Virtual Laboratory for eLearning Technology. Eurasia Journal of Mathematics, Science and Technology Education, 14(5), 1645–1662. https://doi.org/10.29333/ejmste/85036 18 Navarro-Huaringa, A. H., Raggio-Ramírez, G. del S., Ruiz-Bringas, H. W., & GradosZavala, E. (2022). Software educativo en el aprendizaje de los estudiantes universitarios. Horizontes Revista de Investigación en Ciencias de la Educación, 6(25), 1375–1385. https://doi.org/10.33996/revistahorizontes.v6i25.419 Pérez-Gama, J. A., Vega-Vega, A., & Neira-Aponte, M. (2018). University Digital Transformation Intelligent Architecture: A Dual Model, Methods and Applications. Innovation in Education and Inclusion : Proceedings of the 16th LACCEI International Multi-Conference for Engineering, Education and Technology, Lima, Perú. https://laccei.org/LACCEI2018-Lima/meta/FP274.html Sánchez-García, S. (2024). Integración de arquitectura de generación aumentada por recuperación (RAG) en la plataforma Wattwin. Dipòsit Digital de Documents de la UAB. https://ddd.uab.cat/record/298985 Sánchez-Ticona, R. J., Alcántara-Moreno, O. R., Torres-Villanueva, M., Gómez-Ávila, J. A., Rodríguez-Huamán, R. E., & Santos-Fernández, J. P. (2023). Una Revisión Sistemática del Desarrollo de Chatbots y Asistentes Virtuales en Instituciones de Educación Superior. 113–120. https://doi.org/10.54808/CISCI2023.01.113 Techlabs. (2024, abril 29). Leverage Phi-3: Exploring RAG based Q&A with Microsoft’s Phi-3. Pragnakalp Techlabs. https://www.pragnakalp.com/leverage-phi-3exploring-rag-based-qna-with-microsofts-phi-3/ UNESCO. (2023b). Una encuesta de la UNESCO revela que menos del 10% de las escuelas y universidades disponen de orientaciones formales sobre IA. https://www.unesco.org/es/articles/una-encuesta-de-la-unesco-revela-que-menosdel-10-de-las-escuelas-y-universidades-disponen-de 19 Vélez-Vinueza, M. J., & Erazo-Álvarez, J. C. (2022). Laboratorios virtuales una estrategia didáctica para la enseñanza en la carrera de Medicina. Polo del Conocimiento: Revista científico - profesional, 7(8), 2654–2673. Zhu, W., Márquez, A., & Yoo, J. (2015). “Engineering Economics Jeopardy!” Mobile App for University Students. The Engineering Economist, 60(4), 291–306.