Análisis de opiniones sobre el pasaporte COVID-19 mediante procesamiento de lenguaje natural (NLP)

FACULTAD DE CIENCIAS ECONÓMICAS Y EMPRESARIALES MÁSTER EN ESTUDIOS AVANZADOS EN DIRECCIÓN DE EMPRESAS TRABAJO FIN DE MÁSTER CURSO ACADÉMICO [2021-2022] TÍTULO: Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) AUTOR: JUAN ANTONIO AGUILAR MORENO TUTOR: DR. D. PEDRO RAMIRO PALOS SÁNCHEZ DEPARTAMENTO: Economía Financie a y Di ección de Ope aciones ÁREA DE CONOCIMIENTO: O ganización de emp esas RESUMEN: El obje i o cen al de es e abajo es iden i ica la opinión gene al sob e la implan ación del pasapo e COVID-19, los mo i os que lle an a ello y los aspec os que gene an mayo in e és. Pa a ello se ealiza un análisis de sen imien o y de opics en el so wa e RapidMine con una mues a de 24.182 comen a ios p oceden es de doce ídeos elacionados con el pasapo e COVID-19 en los canales o iciales de epu ados medios de p ensa b i ánicos en la pla a o ma YouTube. Como hallazgos se encuen an que los pa ida ios se basan en la necesidad de e oma la ac i idad no mal y eac i a una economía pa alizada, mien as que los de ac o es se posicionan en con a debido a la no inmunidad o al de la acuna y a gumen os é icos. P ecisamen e de conoce es as opiniones median e las écnicas eme gen es de p ocesamien o de lenguaje na u al, su ge la u ilidad de es e abajo como medio pa a implemen a mejo as en el pasapo e o como conocimien o pa a u u as he amien as simila es. TÉRMINOS CLAVE: P ocesamien o de lenguaje na u al; Análisis de sen imien os, análisis de opics, RapidMine , ce i icado COVID-19 Más e en Es udios A anzados en Di ección de Emp esas Facul ad de Ciencias Económicas y Emp esa iales – Uni e sidad de Se illa -2- ABSTRACT: The main goal o his wo k is o iden i y he gene al opinion on he implemen a ion o he COVID-19 passpo , he easons ha lead o i and he aspec s ha gene a e he main in e es . A sen imen and opic analysis was ca ied ou using RapidMine so wa e wi h a sample o 24,182 commen s om wel e ideos ela ed o he COVID- 19 passpo on he o icial channels o epu able B i ish p ess media on he YouTube pla o m. The indings ound ha suppo e s we e based on he need o esume no mal ac i i y and e i e a pa alysed economy, while de ac o s we e agains because o he accine's lack o ull immuni y and e hical a gumen s. The use ulness o his wo k as a means o implemen imp o emen s in he passpo o as knowledge o u u e simila ools a ises p ecisely om knowing hese opinions h ough he eme ging echniques o na u al language p ocessing. KEYWORDS: COVID-19 Passpo ; COVID-19 ce i ica e; Na u al Language P ocessing, Topics Analysis; Sen imen Analysis. Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 3 - ÍNDICE 1 INTRODUCCIÓN, OBJETIVOS Y ESTRUCTURA ..................................... 7 1.1 INTRODUCCIÓN ............................................................................................................... 7 1.2 OBJETIVOS ...................................................................................................................... 9 1.3 ESTRUCTURA .................................................................................................................. 9 2 FUNDAMENTOS TEÓRICOS ................................................................... 11 2.1 REVISIÓN DE LITERATURA DEL PASAPORTE COVID-19 ........................................ 11 2.1.1 P opues as ecnológicas pa a educi la incidencia del COVID-19 ........................ 12 2.1.2 Gene alización del uso del código QR a aíz del COVID-19 .................................. 13 2.1.3 Opinión del público gene al sob e en ajas e incon enien es del pasapo e COVID- 19 ……………………………………………………………………………………………...14 2.1.4 Impac o del pasapo e COVID-19 en sec o es económicos ................................... 18 2.1.5 Impac o del pasapo e COVID-19 en la decisión de acep a las acunas .............. 18 2.1.6 Conside aciones é icas ........................................................................................... 19 2.2 REVISIÓN DE LITERATURA DE PUBLICACIONES ACERCA DE DATA MINING Y SENTIMENT ANALYSIS ............................................................................................................ 20 2.2.1 Concep os ............................................................................................................... 20 2.2.2 T abajos p e ios y he amien as ............................................................................. 22 3 METODOLOGÍA ........................................................................................ 25 4 ESTUDIO EMPÍRICO Y ANÁLISIS DE DATOS ........................................ 28 4.1 PROCESO DE EXTRACCIÓN, PREDICCIÓN Y ANÁLISIS DE LOS DATOS ............. 28 4.1.1 Ex acción de comen a ios ...................................................................................... 28 4.1.2 Depu ación del a chi o en Mic oso Excel ............................................................. 30 4.1.3 Análisis usando RapidMine .................................................................................... 31 4.2 INTERPRETACIÓN DE LOS RESULTADOS ................................................................ 36 4.2.1 Nube de palab as .................................................................................................... 36 4.2.2 Clasi icación po opics ............................................................................................ 36 Aguila Mo eno, Juan An onio -4- 4.2.3 Análisis de sen imien o ............................................................................................ 44 5 DISCUSIÓN ............................................................................................... 48 6 CONCLUSIONES Y DESAFÍOS FUTUROS ............................................. 50 Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 5 - Relación de Figu as Figu a 1. Ce i icado COVID-19 Digi al de la UE ......................................................... 12 Figu a 2. In e és del pasapo e COVID-19 en Google T ends (España) ..................... 17 Figu a 3. In e és del pasapo e COVID-19 en Google T ends (In e nacional) ............. 18 Figu a 4. Esquema del p oceso de la me odología ..................................................... 27 Figu a 5. In e az de MAXQDA Analy ics P o 2022 con algunos de los comen a ios ex aídos ..................................................................................................................... 30 Figu a 6. Tabla de Mic oso Excel con los comen a ios ex aídos .............................. 30 Figu a 7. In e az de diseño del p oceso en RapidMine ............................................. 31 Figu a 8. Selección de a ibu o de il o en RapidMine ............................................... 32 Figu a 9. Ope ado Gene a e A ibu es en RapidMine .............................................. 33 Figu a 10. In e az de esul ados en RapidMine - Clasi icación de comen a ios po sen imien o ................................................................................................................. 45 Relación de Tablas Tabla 1. Apps desa olladas pa a el as eo de con agios ........................................... 13 Tabla 2. Acep ación del pasapo e COVID-19 según el país de la UE ........................ 15 Tabla 3. Resumen de las en ajas e incon enien es iden i icadas del pasapo e COVID-19 ................................................................................................................... 16 Tabla 4. Resumen de e e encias del ma co eó ico sob e opiniones e impac o del pasapo e COVID-19 .................................................................................................. 20 Tabla 5. Recopilación de publicaciones con me odología simila a es e es udio ......... 24 Tabla 6. C i e ios de selección de ídeos .................................................................... 25 Tabla 7. Fuen es u ilizadas pa a la ex acción de comen a ios ................................... 29 Tabla 8. F ecuencia de palab as en RapidMine ......................................................... 35 Tabla 9. Pesos de las palab as del Topic 1 “Opiniones gene ales sob e la ob ención del pasapo e COVID-19 y la acunación” .................................................................. 37 Tabla 10. Pesos de las palab as del Topic 0 “Teo ía de la conspi ación” .................... 39 Aguila Mo eno, Juan An onio -6- Tabla 11. Pesos de las palab as del Topic 2 “Asun os sani a ios” .............................. 40 Tabla 12. Pesos de las palab as del Topic 3 “De echos ciudadanos” ......................... 42 Tabla 13. Pesos de las palab as del Topic 4 “P eocupación sob e segu idad ciudadana a aíz del COVID-19” .................................................................................................. 43 Tabla 14. Recuen o de likes según el opic ................................................................. 47 Relación de G á icos G á ico 1. P opo ción de comen a ios según uen e ................................................... 29 G á ico 2. Nube de palab as en RapidMine ............................................................... 36 G á ico 3. Clasi icación po opics en RapidMine ....................................................... 44 G á ico 4. Recuen o de comen a ios po opics ........................................................... 44 G á ico 5. Recuen o de comen a ios po sen imien o .................................................. 45 G á ico 6. Dis ibución de comen a ios según su pun uación de posi i idad / nega i idad ................................................................................................................. 46 Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 7 - 1 INTRODUCCIÓN, OBJETIVOS Y ESTRUCTURA 1.1 INTRODUCCIÓN La p og esi a uel a a la no malidad as la pandemia del COVID-19 ha enido acompañada de limi aciones y medidas pa a con ene un mayo a ance del núme o de casos de con agio al mismo iempo que se eac i a la economía, en e ellas una de las que más deba e ha p o ocado es la implan ación del pasapo e COVID-19 como ins umen o pa a e oma la lib e mo ilidad de pe sonas y pe mi i el acceso a luga es con un g an a o o bajo la p emisa de que sus poseedo es cuen an con un mayo g ado de inmunidad al habe sido acunados. A es o se le suma el con ex o ac ual, es la p ime a pandemia de la his o ia en la e a digi al, y la capacidad de in luencia y mo ilización que ienen las edes sociales, donde cada día se exp esan una ingen e can idad de opiniones sob e los emas del momen o. En ma zo de 2020, la O ganización Mundial de la Salud (OMS) decla ó o icialmen e como pandemia la e olución de la COVID-19, cuyo p ime caso documen ado u o luga en China a inal de 2019 y se p opagó ápidamen e po odo el mundo en el p ime imes e de 2020 (Liu e al., 2020), causando desde diciemb e a inal de ma zo un o al de 750.890 in ecciones y 36.405 mue es en odo el mundo según da os de la OMS (2020). A aíz de la ci ada si uación, los gobie nos y las ins i uciones sup anacionales comenza on a oma medidas y es ingi la mo ilidad de las pe sonas pa a con ene los con agios, lo que supuso impo an es consecuencias ambién en la economía, que expe imen ó una ecesión mo i ada po la al a de ac i idad come cial, limi aciones y es icciones (Kolahchi e al., 2021). El p og esi o es ablecimien o de la no malidad co idiana as el con inamien o po la pandemia del COVID-19 ha es ado ma cado po las es icciones de mo ilidad, ho a ias, de a o o, en e o as, como medidas pa a educi el núme o de con ac os y e i a una p opagación aun mayo , lo cual ha enido una g a e incidencia en a iados sec o es económicos, especialmen e en aquellos negocios que se conside an “no esenciales”, como la hos ele ía, u ismo y ocio y en e enimien o, que se ie on obligados a limi a su a o o e incluso al cie e o al dejando de pe cibi ing esos pe o man eniendo sus cos es (de la Fuen e, 2021). Es as limi aciones han sido acompañadas po el pasapo e COVID-19, ambién comúnmen e denominado ce i icado COVID-19 o ce i icado de acunación, un documen o necesa io pa a iaja sin necesidad de some e se a p uebas o gua da cua en ena y accede a de e minados locales, incluso a luga es de abajo, que ac edi a nomina i amen e a su Aguila Mo eno, Juan An onio -8- poseedo un mayo ni el de inmunidad debido a habe supe ado la en e medad ecien emen e o habe sido acunado con las dosis eque idas (Shin e al., 2021). No obs an e, es a medida que a p io i puede pa ece e ec i a pa a su come ido no ha dejado a nadie indi e en e y ha p o ocado un acen uado deba e en e pa ida ios y de ac o es, de mane a que los aspec os polí icos han llegado a cob a un al o g ado de ele ancia pa a abo da es as p eocupaciones a ando de equilib a los in e eses y p esiones de los di e en es g upos de in e és, así como cues iones é icas ales como las desigualdades de los sis emas sani a ios en países en ías de desa ollo que cuen an con un educido suminis o de acunas, la lib e decisión de una pe sona pa a acuna se y la p ohibición de ing eso a un país de una pe sona no acunada o la me a posición en la lis a de espe a según amo de edad pa a acuna se. (Sha un e al., 2021). Po o o lado, en la ac ualidad las edes sociales se han con e ido en un medio de comunicación en el que la población puede compa i opiniones lo que ha dado luga a que es as edes se hayan con e ido en una impo an e uen e de da os, muy ácilmen e accesibles en las que un g an núme o de pe sonas in e ac úan en e sí y exp esan sus opiniones y emociones, que en si uaciones de g andes desas es humani a ios pueden se bene iciosas pa a el sec o público debido al acceso a la in o mación que disponen y a la acilidad pa a comunica . (Malawani e al., 2020). U ilizando es as opiniones se pueden emplea écnicas de Da a Mining y Na u al Language P ocessing, con el obje i o p incipal de comp ende las p eocupaciones sociales y que pos e io men e se pueda emplea es a in o mación pa a e alua la acep ación del pasapo e COVID-19 y es udia posibles ías de mejo a equilib ando la en aja que p opo ciona en cuan o al meno iesgo de con agio con la ac ibilidad pa a su uso en de e minados con ex os como pod ían se el acceso a un es au an e, local de ocio o medios de anspo e públicos. En es e es udio se p opone la ealización de un análisis de las opiniones exp esadas al espec o po usua ios en in e ne desde el inicio de la pandemia, conc e amen e como comen a ios de espues a a ídeos ela i os a la implemen ación del pasapo e COVID-19 en p es igiosos medios de comunicación b i ánicos, los cuales se publican en la pla a o ma YouTube, pa a llega a conclusiones sob e la opinión gene al de la población y disce ni el g ado de acep ación mos ado median e écnicas de Web Sc aping, Tex Mining y Na u al Language P ocessing (NLP). Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 15 - O o es udio, ealizado median e en e is as a g upos ocales en Suiza (Fa gnoli e al., 2021), concluyó que las des en ajas supe aban a los bene icios. Los de ac o es del pasapo e coincidían en que la inmunidad e a limi ada empo almen e y que el i us puede mu a , ca eciendo de alo el ce i icado, además de los aspec os é icos e iguali a ios. Po el con a io, los a gumen os a o ables incidían en la necesidad de eac i a la economía y la no malidad. Una encues a ealizada po Eu opean T a el Commission (2022), ealizó una compa a i a en e países eu opeos sob e la acep ación o echazo del pasapo e COVID-19. Como se obse a en los da os de la abla, en el o al de la mues a más de la mi ad de los encues ados se mues a a o able al pasapo e, mien as que el es o se di ide p ác icamen e en pa es iguales en e con a ios y neu ales. España es el país que mayo g ado de acep ación p esen a (67,90%). País De acue do En con a Neu al España 67,90% 13,20% 19% Polonia 59,40% 16,80% 23,80% I alia 56,30% 15,60% 28,10% Alemania 54,10% 21,90% 24% F ancia 52,40% 24,10% 23,50% Aus ia 51,30% 28,50% 20,20% Bélgica 47,20% 32% 20,80% Países Bajos 43,60% 33,20% 23,20% Reino Unido 43,30% 29,70% 26,90% Suiza 42,40% 35,20% 22,40% To al de la mues a 51,70% 24,70% 23,60% Tabla 2. Acep ación del pasapo e COVID-19 según el país de la UE Fuen e: Eu opean T a el Commission (2022) Según Fa gnoli e al. (2021), la con iabilidad de los da os cien í icos espec o a la inmunidad es una de las mayo es p eocupaciones, lo cual incide en el pasapo e Aguila Mo eno, Juan An onio -16- COVID-19, pues los indi iduos pueden ein ec a se y el pasapo e pe de ía acep ación. Una de las p incipales amenazas pa a la salud mundial es la no acunación. Pa a mejo a la ac i ud en e a la acuna G eyling y Rossouw (2022) señalan la necesidad de in o ma más ace ca de su segu idad y hace la más accesible pa a odos los países median e un es udio sob e la endencia de las ac i udes posi i as hacia las acunas a lo la go de un pe íodo de iempo pa iendo de una ex acción de wee s en iempo eal que ue analizada con p ocesamien o de lenguaje na u al (NLP). La mayo ía de los wee s posi i os es u ie on elacionados con ecibi la acuna y en una nube de las palab as con mayo peso en es os wee s des acan Good, Scien i ic, Hope, Sa e, Happy, See, COVID-19. En cambio, pa a los wee s nega i os las palab as más des acadas en la nube de palab as ue on COVID-19, Dea h, Die, Go e nmen , Pandemic, Dying, Ou , po lo que se ap ecia emo a los e ec os ad e sos de la acuna e incon o midad con el gobie no, algo con lo que concue da con o o a ículo de simila es ca ac e ís icas (Thelwall e al., 2021) cen ado en los mo i os po los que gene a dudas la acunación y en el cual se indica, ambién as analiza una mues a de wee s, que las eo ías conspi a i as y la elocidad del desa ollo de la acuna y su segu idad e an las mayo es p eocupaciones en e la población. A con inuación, se mues a en la siguien e abla un esumen de las en ajas e incon enien es más signi ica i as del pasapo e COVID-19: Ven ajas Incon enien es Meno es es icciones pa a pode iaja Bene icios sociales y económicos Fal a de consenso en e los países pa a es ablece un ce i icado es ánda B echa digi al P i acidad Libe ades pe sonales De echos humanos Dudas sob e la inmunidad Tabla 3. Resumen de las en ajas e incon enien es iden i icadas del pasapo e COVID-19 Fuen e: Khan e al. (2022) Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 17 - Po o a pa e, pa a comp oba la e olución del in e és sob e el pasapo e COVID-19, se ha p ocedido a consul a en Google T ends el in e és a lo la go del iempo pa a los é minos de búsqueda “EU Digi al COVID Ce i ica e” en odo el mundo y “Ce i icado COVID” y “Pasapo e COVID” pa a España, ob eniendo los siguien es esul ados: Figu a 2. In e és del pasapo e COVID-19 en Google T ends (España) Como se ap ecia en la igu a an e io , en España en el ho izon e empo al del 1 de junio de 2021 has a 1 de junio de 2022, el pico de mayo in e és se alcanzó a inales de no iemb e de 2021 pa a los dos é minos de búsqueda, que además p esen an una ue e co elación a lo la go del iempo. Es e hecho coincide empo almen e con la en ada en igo del pasapo e en a ias comunidades au ónomas de España. Aguila Mo eno, Juan An onio -18- Figu a 3. In e és del pasapo e COVID-19 en Google T ends (In e nacional) En el plano in e nacional, se ap ecia en la Figu a 3 que el pico de mayo in e és se alcanzó en e el 18 y el 24 de julio de 2021, en plena campaña de acaciones es i ales y un mes después de la ap obación del Reglamen o (UE) 2021/953 del Pa lamen o Eu opeo y del Consejo de 14 de junio de 2021 ela i o a un ma co pa a la expedición, e i icación y acep ación de ce i icados COVID-19 in e ope ables de acunación, de p ueba diagnós ica y de ecupe ación (ce i icado COVID digi al de la UE) a in de acili a la lib e ci culación du an e la pandemia de COVID-19. 2.1.4 Impac o del pasapo e COVID-19 en sec o es económicos Según una es imación de Oliu-Ba on (2022), el PIB se hab ía educido de no exis i los pasapo es COVID-19. Uno de los sec o es más a ec ados económicamen e po el impac o de la pandemia y sus limi aciones es el u ís ico, englobando compañías de anspo e y de hos ele ía. Es e sec o se encuen a es echamen e inculado con el pasapo e COVID-19 debido a que és e se a a undamen almen e de una medida desa ollada pa a acili a la mo ilidad de las pe sonas ga an izando un meno iesgo de in ección al ac edi a la acunación o esul ados de es s. Las es icciones de mo ilidad y la p eocupación po el iesgo de salud pe cibido po pa e de los clien es han condicionado las decisiones en es e sec o an o po pa e de las emp esas como po pa e de sus clien es. Un es udio de Shin H e al. (2021) comp obó que la implan ación del pasapo e COVID-19 po pa e de las ae olíneas iene un impac o posi i o en su alo de me cado en bolsa y que, as la implan ación, la in ención de ese a de los pasaje os inc emen ó signi ica i amen e cob ando mucha mayo impo ancia que el es o de las medidas de educción del iesgo con a la COVID-19 a la ho a de ealiza una ese a. El ci ado a ículo pun ualiza que se en oca en los iajes de ocio y una línea de in es igación u u a se cen a ía en in es iga la in luencia según el ipo de iaje (de negocios o u ís icos), su du ación o des ino (nacionales o in e nacionales), u o os ac o es. 2.1.5 Impac o del pasapo e COVID-19 en la decisión de acep a las acunas El pasapo e COVID-19 puede supone cie a p esión pa a acep a la acunación dado que g an núme o de ac i idades co idianas, o incluso el uso de medios de anspo e como se ha indicado en el apa ado an e io con el caso de las ae olíneas, son inaccesibles sin dispone del ce i icado, lo que puede supone un aislamien o social Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 19 - del indi iduo en caso de no dispone del mismo. Una encues a ealizada en Reino Unido (de Figuei edo e al., 2021) e alúa si la adopción del pasapo e omen a la acunación o si la desalien a en e la población que aún no ha ecibido la pau a comple a de la acuna. Como conclusiones ob iene que la implan ación del pasapo e p opicia gene almen e mayo disposición a la acunación en e los indi iduos, aunque de un modo muy pola izado, pues quienes ya enían la i me in ención de ecibi o a dosis de la acuna e ue zan aún más su pos u a, mien as que quienes se mos aban p eocupados po la acunación ienden a disminui su in ención de acuna se al sen i se p esionados po el pasapo e. Según Oliu-Ba on (2022), los pasapo es COVID-19 han sido una e icaz medida pa a e i a de unciones y e i a el colapso de los hospi ales, como es ima en su es udio en el que cuan i ica en al ededo de 4.000 mue es e i adas en F ancia (un 32% más de las egis adas desde la echa de en ada en igo del pasapo e has a inal de 2021), 1.100 en Alemania (6% más) y 1.300 en I alia (14% más). Asimismo, es ima que se ha aumen ado la asa de acunación en un 13% de la población en F ancia, 6,2% en Alemania y 9,7% en I alia. 2.1.6 Conside aciones é icas Algunos a gumen os é icos en de imen o de la implan ación del pasapo e COVID-19 se cen an en las desigualdades en e países que se aducen en di e en es i mos de acunación masi a y consecuen emen e en dis in os c i e ios pa a la mo ilidad in e nacional, o desde una pe spec i a más indi idualis a, las limi aciones pa a abajado es cuyo empleo equie e p esencialidad espec o a quienes pueden ele abaja . (B own e al., 2020). Como jus i icaciones se encuen an el p incipio é ico de salud de la meno in acción, que consis e en que la al e na i a menos ansg eso a pa a las libe ades indi iduales de las disponibles pa a log a un obje i o de salud pública es la que debe elegi se; las en ajas pa a la sociedad de i adas de su aplicación en lo que se e ie e a la eanudación de ac i idades con mayo no malidad y el meno iesgo de in ección al se los po ado es pe sonas con un mayo ni el de inmunidad debido a la acuna o a una ecien e con acción de la en e medad. (Voo e al., 2021). En la siguien e abla 3 “Resumen de e e encias del ma co eó ico sob e opiniones e impac o del pasapo e COVID-19”, se enume an a modo de esumen los a ículos que, habiendo sido incluidos en el ma co eó ico, p esen an simili ud con el obje o de es udio y/o la me odología empleada en es e abajo. Aguila Mo eno, Juan An onio -20- Tí ulo Au o (es) Resumen Me odología Con lic ing a i udes: Analyzing social media da a o unde s and he ea ly discou se on COVID-19 passpo s Khan e al. (2022) Análisis de la opinión sob e el pasapo e COVID-19 a pa i de comen a ios de Twi e Sen imen Analysis Accep abili y o COVID-19 Ce i ica es: A Quali a i e S udy in Gene a, Swi ze land, in 2020 Fa gnoli e al. (2021) Análisis cuali a i o de la acep ación del pasapo e COVID-19 en Suiza En e is as a g upos ocales Posi i e a i udes owa ds COVID-19 accines: A c oss-coun y analysis G eyling y Rossouw (2022) Es udio de las opiniones posi i as hacia la acunación en di e en es países Sen imen Analysis Co id-19 accine hesi ancy on English-language Twi e Thelwall e al. (2021) Mo i os po los que la acunación gene a p eocupación Sen imen Analysis The Impac o COVID-19 Vaccine Passpo on Ai T a ele s’ Booking Decision and Companies’ Financial Value Shin H e al. (2021) Análisis del impac o inancie o de la implan ación del pasapo e COVID-19 en ae olíneas Análisis de da os cuan i a i os The po en ial impac o accine passpo s on inclina ion o accep COVID-19 accina ions in he Uni ed Kingdom: E idence om a la ge c oss-sec ional su ey and modeling s udy de Figuei edo A e al. (2021) Es udio sob e si la adopción del pasapo e COVID-19 omen a o desalien a la acunación Encues a El pasapo e COVID educe miles de mue es: un análisis con da os de F ancia, I alia y Alemania Oliu-Ba on (2022) Es imación de las de unciones e i adas as la adopción del pasapo e COVID-19 Análisis de da os cuan i a i os Tabla 4. Resumen de e e encias del ma co eó ico sob e opiniones e impac o del pasapo e COVID-19 2.2 REVISIÓN DE LITERATURA DE PUBLICACIONES ACERCA DE DATA MINING Y SENTIMENT ANALYSIS 2.2.1 Concep os Na u al Language P ocessing (NLP) o p ocesamien o de lenguaje na u al son écnicas que pe mi en p ocesa a las máquinas el lenguaje humano o al median e el econocimien o de oz y ex ual, a a és del p ocesamien o de ex o. P esen a di e en es écnicas, las más ecuen es son (Lopez-Ma inez y Sie a, 2020): Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 21 - - Iden i ica ion o named en i ies o iden i icación de en idades nomb adas: ex ae nomb es de pe sonas, ins i uciones, ciudades y o as localizaciones… - Fil ado y clasi icación de documen os - Gene ación de esúmenes au omá icos - Topics Analysis o análisis de opics - Ex acción de in o mación - Análisis de sen imien o - Mine ía de opinión u Opinion Mining - Moni o eo de la opinión en edes sociales - Co ección o og á ica y g ama ical - Búsqueda in eligen e y op imizada - Sis emas de espues a au omá ica - Asis en es pe sonales - T aducción au omá ica - Reconocimien o de oz - Sis emas de ex o a oz - Sis emas de diálogo - E c. Sen imen Analysis o Análisis de Sen imien o se de ine como una me odología desa ollada a pa i de Machine Lea ning – ap endizaje au omá ico – median e la que se analizan ex os o o gando una alo ación posi i a, neu a o nega i a al con enido en unción de un ba emo gene ado a pa i de las conno aciones de las palab as que lo componen. (Sau a e al., 2018). Po an o, iden i ica y ex ae in o mación subje i a con el p opósi o de de e mina la ac i ud sob e cualquie asun o de in e és a pa i del con enido incluido en el ex o. Las palab as con conno aciones posi i as o nega i as pueden se ex aídas de una mues a del p opio ex o que se p e ende analiza y que pasa ían a o ma pa e de una bolsa de palab as de en enamien o del algo i mo, lo cual se ía un en oque de ap endizaje au omá ico, o bien es a ya p e iamen e de inidas en un dicciona io gené ico, lo que se denomina en oque basado en el léxico y la p ecisión depende del amaño del dicciona io. (Kolchyna e al., 2015). O o en oque al e na i o es el híb ido, que combina los dos an e io es. (Thakka y Pa el, 2015). Pa a analiza el sen imien o es necesa io p e iamen e ex ae los da os, es deci , ealiza el p oceso de Da a Mining o Mine ía de da os, que se de ine como el p oceso de ex acción de da os ú iles de un g an conjun o de da os u ilizando he amien as es adís icas y de Machine Lea ning, que iden i ican pa ones en las elaciones de los Aguila Mo eno, Juan An onio -22- da os. Den o de Da a Mining, la subca ego ía que a a especí icamen e sob e la ex acción de con enido ex ual se denomina Tex Mining o mine ía de ex o, cuyas p incipales u ilidades p ác icas son el esumen au omá ico de ex o, el econocimien o de en idades nomb adas o Iden i ica ion o named en i ies (ex ae nomb es de pe sonas, ins i uciones, ciudades y o as localizaciones…) y el análisis de sen imien o. (T ipa hi e al., 2016). Exis en cie os aspec os en los que se equie e un mayo g ado de a ance. Mohammad (2017) expone como desa íos del análisis de sen imien o pa a log a una mayo p ecisión hace especial én asis en el desa ollo del análisis de las p egun as e ó icas, i onía, con ex os conc e os que pueden al e a la p edicción y aducciones en análisis mul ilingües. 2.2.2 T abajos p e ios y he amien as El análisis de sen imien o es un ema ela i amen e no edoso en el ámbi o de la in es igación que p esen a un in e és c ecien e en e los in es igado es, lo que es á dando luga a un no able núme o de a ículos publicados sob e es a ma e ia. Desde la úl ima década y undamen almen e desde 2015, se obse a un c ecimien o exponencial en el núme o de publicaciones según el es udio bibliomé ico elabo ado po Sanchez-Nunez P e al. (2020). En lo que espec a a es e abajo, la e isión bibliog á ica de es e apa ado se cen a en las publicaciones sob e análisis de sen imien os enma cadas en el con ex o del COVID-19 o las que u ilizan el mismo so wa e que es e es udio, RapidMine . P e iamen e se encuen a una publicación en la que se ex ae una mues a de comen a ios sob e la acuna del COVID-19 en la ed social Twi e en hash ags especí icos de Filipinas (Villa icencio e al., 2021). Es e a ículo u ilizó como so wa e RapidMine , p ocediendo a una depu ación del ex o y al análisis de sen imien o u ilizando el algo i mo de Naï e Bayes. Como esul ados, de una mues a de 11.974 wee s, 993 ue on álidos pa a se u ilizados en el es udio, de los cuales el 83,38% mos aban un sen imien o posi i o hacia las acunas y en e los nega i os analiza on el con enido y se cen aban en los e ec os ad e sos de la acuna. RapidMine es un so wa e lib e desa ollado en el lenguaje de p og amación Ja a que p opo ciona un en o no in eg ado pa a Da a Mining y Na u al Language P ocessing. Se a a de un sencillo e in ui i o p og ama con el que se acili a sob emane a el diseño del p oceso de mine ía de da os y de p ocesamien o de lenguaje na u al como análisis de sen imien o o clasi icación po opics, pues los ope ado es es án Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 23 - p ediseñados y an solo es necesa io ealiza ajus es de meno complejidad pa a adap a lo a los eque imien os de cada p oyec o. Pe mi e además la ep esen ación g á ica de los esul ados. O os ejemplos de so wa es al e na i os son KNIME, de ca ac e ís icas simila es a RapidMine , o el uso de lib e ías p og amadas con los lenguajes de p og amación como R o Py hon, cuyo uso equie e una mayo complejidad. Como al e na i as a ni el usua io ambién exis en opciones online como Monkey Lea n, Google Cloud Na u al Language, IBM Wa son Na u al Language Unde s anding, Amazon Comp ehend y Mic oso LUIS (Language Unde s anding In elligence Se ice), p opues as en ocadas a simpli ica es as a eas en el ámbi o emp esa ial. En la siguien e abla se enume an publicaciones con una me odología simila a la de es e es udio. Tí ulo Au o (es) Resumen So wa e Twi e Sen imen Analysis owa ds COVID-19 Vaccines in he Philippines Using Naï e Bayes Villa icencio e al. (2021) Análisis de la opinión sob e la acuna del COVID-19 a pa i de comen a ios de Twi e en Filipinas. RapidMine Analysis o Sen imen s o Spo s da a using RapidMine Pawa e al. (2018) Realiza un p oceso de análisis de sen imien o en RapidMine a pa i de wee s sob e c icke . RapidMine Explo ing p e e ences and sus ainable a i udes o Ai bnb g een use s in he e iew commen s and a ings: a ex mining app oach Se ano e al. (2020) Análisis de sen imien o de comen a ios de usua ios de la pla a o ma Ai bnb. Incluye: é minos más ecuen es y ag upación po emas y clasi icación po emociones básicas. Leximance Pos COVID-19 Twi e use ’s Emo ions Classi ica ion using Deep Lea ning Techniques in India Ta ineni e al. (2021) Medición au oma izada de las emociones sob e la decisión del gobie no de ex ende el con inamien o en India a pa i de wee s. IBM Wa son Tone Analyze Sen imen Analysis and Classi ica ion o Twee s Using Da a Mining Shoeb y Ahmed (2017) Realiza una demos ación de análisis de sen imien o en RapidMine con en oque de ap endizaje au omá ico. RapidMine Sen imen Analysis o English Twee s Using RapidMine T ipa hi e al. (2016) Demos ación de análisis de sen imien o en RapidMine y medición de p ecisión compa ando los clasi icado es Naï e Bayes y K-NN Classi ie . RapidMine Sen imen Analysis abou E- Comme ce om Twee s Using Decision T ee, K-Nea es Neighbo , and Naï e Bayes Bayhaqy e al. (2018) Compa ación de los clasi icado es Decision T ee, K-NN y Naï e Bayes Classi ie pa a encon a la mejo p ecisión. RapidMine A e Black F iday Deals Wo h I ? Sau a e al. Iden i ica o e as de Black F iday en Twi e Py hon Aguila Mo eno, Juan An onio -24- Mining Twi e Use s’ Sen imen and Beha io Response (2019) median e el modelo de asignación de Di ichle , pa a ealiza un análisis de sen imien o y de Tex Mining pa a iden i ica ideas de es a egias de p omoción y ma ke ing de o as emp esas Tabla 5. Recopilación de publicaciones con me odología simila a es e es udio Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 31 - 4.1.3 Análisis usando RapidMine El análisis de los comen a ios ex aídos se ha ealizado con el so wa e de Da a Mining y Da a Analysis RapidMine . Rapidmine es un so wa e especializado en el análisis p edic i o, in eligencia de negocio, Machine lea ning, mine ía de ex o y mine ía de da os, el cual p opo ciona una sencilla o ma de accede a los ope ado es y p ocesa los ácilmen e (Pawa e al., 2018). La e sión usada es RapidMine S udio 9.10. El obje i o de u iliza es e so wa e en es e abajo se basa en ob ene una nube de palab as de la que in e p e a cuáles son las palab as más ecuen es en la mues a de comen a ios, una clasi icación de opics que mues e cuáles son las p eocupaciones y emas de mayo in e és espec o a la implan ación del pasapo e COVID-19 y un análisis de sen imien o pa a ag upa los comen a ios en posi i os, nega i os y neu os y pode pe cibi la sensación gene al de la sociedad. A con inuación, se de allan los ope ado es incluidos en la in e az de diseño de RapidMine y su u ilidad den o del p oceso que se ap ecia en la siguien e imagen. Figu a 7. In e az de diseño del p oceso en RapidMine En p ime luga , el ope ado Read Mic oso Excel impo a el iche o de Mic oso Excel comen ado en el an e io apa ado en el que se encuen an los comen a ios. Es os comen a ios pasan po el ope ado Nominal o Tex , que con ie e los a ibu os nominales en a ibu os de cadena. A con inuación, Selec A ibu es selecciona la columna del iche o Mic oso Excel que se a a ene en cuen a pa a el análisis y se indica en el menú de pa áme os, en es e Aguila Mo eno, Juan An onio -32- caso la del ex o de los comen a ios. Las opciones son a iadas, es posible selecciona odo el a chi o (all), solo un subconjun o (subse ), solo alo es numé icos (nume ic_ alue_ il e ), en e o as. Seleccionando subse se ha seleccionado el a ibu o comen a io, de o ma que solo abaja á con dicha columna. Figu a 8. Selección de a ibu o de il o en RapidMine Los ope ado es Replace, eliminan los ca ac e es no deseados pa a depu a el ex o. Se ha in oducido la siguien e cadena de ca ac e es pa a se eliminados con el p ime o de los ope ado es h ps?://[-a-zA-Z0-9+&@#/%?=~_(!:,;]*[-a-zA-Z0-9+&@#/%?=~_()] y la siguien e con el segundo ope ado : RT s*@[^:]*: s*[A-Za-z]+ El siguien e ope ado , Mul iply, se usa pa a mul iplica los pue os de en adas y salidas que conec an los dis in os ope ado es y pode es ablece un mayo núme o de conexiones. A pa i de es e conec o , el p oceso se di ide en dos pa es, cada una con sus co espondien es ope ado es: - Análisis de sen imien o y clasi icación po opics - Gene ación de la nube de palab as Análisis de sen imien o y clasi icación po opics Una ez depu ado el ex o, el ope ado Ex ac Sen imen analiza el sen imien o exp esado en cada uno de los comen a ios usando el modelo que se indique en pa áme os en e las di e en es al e na i as (aylien, sen iwo dne , ade , e c.). Se ha Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 33 - seleccionado Vade . G osso modo, la unción que ealiza es de ec a las palab as ele an es independien es incluidas en cada comen a io y asigna les una pun uación de posi i idad/nega i idad p e iamen e es ablecida en el dicciona io. Hace un cómpu o global de odas las palab as incluidas en el mismo comen a io que puede da como esul ado un núme o nega i o o posi i o a pa i del que se de e mina el sen imien o con el siguien e ope ado Gene a e a ibu es median e una ó mula condicional que aduce es os alo es posi i os y nega i os a las exp esiones “posi i o”, “nega i o” y “neu o”. La ó mula conc e amen e es la siguien e: i (Sco e > 0 , "posi i e", i (Sco e < 0 , "nega i e",i (Sco e == 0 , "neu al", ""))) Figu a 9. Ope ado Gene a e A ibu es en RapidMine Es e ope ado se encuen a conec ado con el úl imo ope ado del p oceso Ex ac Topics om Da a (LDA), que ca ego iza y ag upa los comen a ios en a ios opics según su con enido y de e mina las palab as cla es del opic según su impo ancia. El núme o de opics y de palab as cla es deseadas se ajus a en el menú de pa áme os. La asignación la en e de Di ichle (LDA) es un modelo p obabilís ico pa a el análisis de Topics que, a pa i del ex o incluido en un documen o, encuen a elaciones en su con enido y las ag upa po emas elacionados (Blei e al., 2003). Aguila Mo eno, Juan An onio -34- Gene ación de la nube de palab as Pa iendo de nue o del ope ado Mul iply, la o a pa e del p oceso es la gene ación de la nube de palab as. Pa a ello, se incluye el ope ado P ocess Documen om Da a, el cual con iene a su ez los ope ado es que se indican a con inuación: - Tokenize: di ide el ex o (cada comen a io) en una secuencia de palab as independien es ( okens) siguiendo un c i e io, en es e caso la sepa ación se ealiza cuando apa ece un espacio (non le e s). - T ans o m Cases: ans o ma cada oken a unas condiciones especi icadas. Se ha aplicado ans o m o lowe case pa a homogeneiza odos ellos en minúsculas. - Fil e S opwo ds: elimina las palab as que no apo an alo , ales como a ículos, p onomb es y o os. - Fil e Tokens by Leng h: elimina las palab as que no cumplen con una longi ud mínima y máxima de ca ac e es, pa a gene a así un il o más selec i o y e inado. Se ha es ablecido como mínimo cua o ca ac e es y como máximo ein icinco. Se sucede con el ope ado Wo dLis o Da a que ealiza el ecuen o de apa iciones de cada palab a en odo el ex o. Pa a o dena las en base al núme o de ope aciones de mayo a meno se u iliza el ope ado So y pa a il a las p ime as ein e palab as (la nube de palab as no puede inclui un núme o ilimi ado de palab as) se u iliza Fil e Example Range. Pa a conclui , se ejecu a el p oceso y se ob ienen los esul ados. Pa a ob ene la nube de palab as es necesa io ealiza un paso adicional. En la pes aña de los esul ados del ope ado Fil e Example Range apa ece una abla, la que iene a con inuación, con las palab as o denadas po su ecuencia den o del ex o pa a la que hay que gene a una isualización wo ldcloud. Núme o Palab a En documen os To al 1 acuna 1678.0 2247.0 2 gen e 1640.0 2234.0 3 co id 813.0 1084.0 4 pasapo e 776.0 894.0 5 pasapo es 664.0 746.0 Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 35 - 6 gobie no 647.0 734.0 7 i 558.0 633.0 8 oma 524.0 597.0 9 que e 485.0 550.0 10 i us 482.0 639.0 11 acunado 449.0 624.0 12 pa a 428.0 489.0 13 iempo 423.0 458.0 14 mundo 392.0 462.0 15 libe ad 369.0 434.0 16 conspi ación 358.0 404.0 17 acunas 355.0 456.0 18 país 347.0 378.0 19 bo is 346.0 377.0 20 conoce 343.0 392.0 Tabla 8. F ecuencia de palab as en RapidMine El g á ico 2 es la nube de palab as. En él se ep esen an las palab as más epe idas den o del ex o, en ella des acan las palab as “ acuna”, “pe sonas”, “pasapo e” y “gobie no”. Hay palab as como pasapo e que apa ecen an o en singula como en plu al. Apa ecen e bos de acción como i y pa a (lo que se puede asocia a pa a la acunación, pa a el pasapo e COVID, en e o os, y se pod ían analiza las co elaciones pa a sabe si se e ie e más al pasapo e o a la acunación) y o as palab as que apo an mucho signi icado como conspi ación, gobie no, iempo y el nomb e del p ime minis o del Reino Unido “Bo is”. Aguila Mo eno, Juan An onio -36- G á ico 2. Nube de palab as en RapidMine 4.2 INTERPRETACIÓN DE LOS RESULTADOS 4.2.1 Nube de palab as Los esul ados ob enidos en la nube de palab as y en la abla de ecuencia de palab as indican, como e a de espe a , una al a p esencia de las palab as “ acuna”, “COVID-19” y “passpo ”, palab as que no apo an ningún signi icado más allá de la p eocupación po la acunación, an o en é minos de los posibles e ec os secunda ios como en é minos de disponibilidad de dicha acuna en odos los países. Pe o ambién se encuen an o as palab as que sí o o gan una isión más cla a de la sensación gene al de los in e nau as espec o a la implan ación del pasapo e COVID-19. Son "go e nmen ", con un o al de 734 apa iciones; "s op”; " eedom"; "conspi acy"; "bo is"; “ ime”; “coun y”. Es as palab as hacen e e encia a cues iones é icas como la libe ad, que ya se comen aba en la e isión bibliog á ica como uno de los aspec os más con adic o ios espec os del pasapo e, así como las di e encias en e países “coun y”. También la necesidad de “gana iempo” pa a “ ena ” el i us, iéndolo po el lado posi i o, o “s op COVID-19 Passpo ” si es en sen ido de ac o , algo que ambién cob a sen ido al inclui palab as elacionadas con la polí ica y sus líde es en Reino Unido, el gobie no y las eo ías conspi a i as. 4.2.2 Clasi icación po opics La ca ego ización de los comen a ios según los opics o emas au ode ec ados a pa i del con enido mues a un ele ado peso de los comen a ios en los que las mayo es Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 37 - p eocupaciones e san sob e la necesidad de consegui el pasapo e COVID-19 y su elación con la acuna, como se puede ap ecia en el opic 1 “Opiniones gene ales sob e la ob ención del pasapo e COVID-19 y la acunación” cuyas palab as ep esen a i as más ecuen es son: “pe sona”, “ acunas”, “pasapo e”, “quie en”, “necesi a ”, “gobie no. En la Tabla 9 “Pesos de las palab as del Topic 1”, las palab as “ acuna” y “gen e” ienen un ele ado peso que sob esalen del es o, como se puede comp oba a con inuación: Palab a Peso acuna 1929.0 gen e 1870.0 consegui 924.0 pasapo e 799.0 necesi a 691.0 pasapo es 661.0 yendo 613.0 gobie no 579.0 gus a 563.0 oma 547.0 que e 518.0 acunado 512.0 co id 494.0 pod ía 482.0 i us 454.0 Tabla 9. Pesos de las palab as del Topic 1 “Opiniones gene ales sob e la ob ención del pasapo e COVID-19 y la acunación” Algunas opiniones, que se exponen en las siguien es líneas, se cen an undamen almen e en que, a pesa de la acuna, sigue exis iendo iesgo de in ección, po lo an o, el pasapo e COVID-19, que ac edi a habe se acunado ca ece ía de sen ido. Algunos incluso p oponen la p ueba de an icue pos como ac edi ación al e na i a: Aguila Mo eno, Juan An onio -38- “Mo e lies om he go e nmen , 1 he accine doesn' s op you ca ching COVID-19. 2 he accine will no s op you passing i on. Explain why accine passpo s will help?” “The only al e na i e is he 99% ha e o be epea edly locked down because o he i esponsible 1%. Jus ban hem om public and le 's all ge on wi h ou li es. Mos o hem a e he deadweigh on socie y anyway - who needs hem?” “Well his is e y in e es ing ?? so you can s ill ge he i us wi h he clo sho ….So why passpo s? The CCP would be p oud.” “I jus ead he P ize accine documen a ion and i says aking he accine only s ops you om ge ing sick om he i us, bu doesn' s op you om ca ching o sp eading i . So wha 's he poin o a " accine passpo " i you can s ill sp ead i a e ha ing he accine?” El opic 0 “Teo ía de la conspi ación” es el segundo con mayo impo ancia, en él se ag upan los comen a ios que exp esan opiniones ela i as a la eo ía de la conspi ación. En la abla 10 “Pesos de las palab as del Topic 0”, las palab as con mayo peso son “conspi ación”, “ eo ía”, “Bo is” (p ime minis o de Reino Unido) o “de echos”. Palab a Peso Conspi ación 325.0 BBC 171.0 Bo is 164.0 homb e 134.0 gus a 128.0 deci 109.0 iempo 109.0 mundo 109.0 eo ía 108.0 llamado 106.0 eó icos 100.0 Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 39 - bes ia 98.0 de echo 97.0 señal 95.0 iniendo 95.0 Tabla 10. Pesos de las palab as del Topic 0 “Teo ía de la conspi ación” Los comen a ios ela i os a las es icciones de libe ad como medidas pa a ena el a ance de la pandemia, así como la obliga o iedad de posee pasapo e COVID-19 pa a accede a de e minados luga es, que con as a con el de echo a la lib e decisión de acunación, son las opiniones más ecu en es en e los no pa ida ios. “And he conspi acy heo ies keep u ning ou o be ue, well how abou ha !” “ye ano he es ic ion on ou eedoms o choice mo emen & speech. ano he s ep close o being a communis s a e. whe e will i end BORIS?” “They say he accine isn’ compulso y bu hen slowly ake ou igh s and eedoms un il we ha e no op ion bu o comply ! I s c azy we a e all s anding o i !!” Algunos pa ida ios de la implan ación del pasapo e op an po sac i ica esas libe ades en a as de con ene la p opagación y conside an que los c í icos deben basa sus a gumen aciones no en los de echos humanos, sino en po qué se han implemen ado ales medidas: “I don' unde s and he opposi ion o his. We' e in he mids o a pandemic; he accines p o ec you om symp oms; being asymp oma ic is p o ec ing o he s since i g ea ly educes he p obabili y o one sp eading. The only a gumen I can see o aluing you igh s o e esponsibili ies is i people doub he se iousness o he pandemic. Only by doub ing he c isis can I see why people a en' unde s anding why hey can' do hings. I s ill means people a e being igno an . P e y much e e y a gumen I' e seen agains he es ic ions now a e abou " igh s" wi hou conside ing he "pandemic". I 's eally ob use o s ick o human igh s as an Aguila Mo eno, Juan An onio -40- a gumen , wi hou using i in ligh o why es ic ions a e in place. I you explained why ce ain igh s shouldn' be in inged upon in ligh o he ac ha we' e in a pandemic, we'd ha e a be e con e sa ion.” En e ce luga , es á el opic 2 “Asun os sani a ios”, en el cual se incluyen los comen a ios sob e asun os sani a ios con las palab as “inmunidad”, “mue es”, “ acunas”, “e ec os”, “expe imen al”, “casos”, o “salud”, cuyos pesos den o del opic ci ado iene de e minado en la Tabla 11 “Pesos de las palab as del Topic 2” que se expone a con inuación, cob ando g an impo ancia “ acunas”, “ i us”, “médico” y mue e. Palab a Peso Vacunas 145.0 Vi us 113.0 médico 105.0 mue es 104.0 Co id 84.0 COVID 82.0 ambién 72.0 acunación 72.0 e ec os 71.0 expe imen al 71.0 salud 70.0 casos 69.0 inmunidad 66.0 millón 65.0 acunado 65.0 Tabla 11. Pesos de las palab as del Topic 2 “Asun os sani a ios” Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 47 - Topic 0 Topic 1 Topic 2 Topic 3 Topic 4 Nomb e Teo ía de la conspi ación Opiniones gene ales sob e la ob ención del pasapo e COVID-19 y la acunación Asun os sani a ios De echos ciudadanos P eocupación sob e segu idad ciudadana a aíz del COVID-19 To al de likes 8030 39534 1689 1449 694 To al de comen a ios 663 4061 171 190 112 P omedio 12,11 9,73 9,87 7,62 6,19 Tabla 14. Recuen o de likes según el opic Aguila Mo eno, Juan An onio -48- 5 DISCUSIÓN Las p edicciones de sen imien os aun cuen an con un amplio ma gen de mejo a y desa ollo, ac ualmen e se abajan en mé odos que pe mi an mejo a la p ecisión de es os análisis y sis emas al e na i os que amino en la subje i idad de asigna una pun uación de posi i idad o nega i idad a cada palab a del dicciona io. (Mohammad, 2017). A con inuación, se exponen los p incipales a gumen os que han p o ocado una meno p ecisión en el análisis ealizado con el so wa e RapidMine . El so wa e de ec a el sen imien o posi i o, nega i o o neu o del comen a io, no del comen a io hacia el pasapo e COVID-19. Po lo que se pueden da casos en los que un comen a io en con a del pasapo e y exp esado con palab as posi i as cuya pun uación es posi i a sea clasi icado como posi i o. En el siguien e comen a io, Hope ully apo a una pun uación posi i a que hace que el comen a io sea clasi icado como posi i o siendo ealmen e una c í ica al pasapo e COVID-19: “Hope ully, e e yone will boyco e en s ha equi e hese passpo s.” Se a a de un comen a io posi i o pa a quienes no son pa ida ios del pasapo e, pe o de un comen a io nega i o pa a el pasapo e. Pa a es os casos, es mejo ealiza un análisis de pos u a que un análisis de sen imien o. El análisis de pos u a se de ine como una clasi icación au omá ica en a o able, en con a o neu al usando écnicas de Na u al Language P ocessing de la pos u a hacia un ema en conc e o de quien edac a un ex o (Küçük y Fazli, 2020). No obs an e, se a a de un campo de in es igación eme gen e que aun no es á demasiado desa ollado, como se puede comp oba en el es udio del a e que elabo a on ALDayel A y Magdy W (2021) en el que se ap ecia un c ecien e núme o de publicaciones en es a ma e ia desde 2017. La i onía es o a de las causas que pueden p o oca e o es en la p edicción. En el siguien e comen a io, clasi icado como posi i o cuando ealmen e es á exp esando una opinión nega i a o neu a espec o al pasapo e, se exp esa que los bene iciados de su implan ación son las emp esas a macéu icas debido a que el pasapo e es obliga o io en locales de ocio noc u no, ho eles y luga es de abajo y end án que suminis a acunas a un ele ado núme o de pe sonas. Sin emba go, el comen a io es á exp esado en é minos posi i os pa a las emp esas a macéu icas y el so wa e lo econoce con un sen imien o posi i o: Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 49 - Nigh clubs, hen ho els, hen jobs. The pha maceu ical companies a e making a on posi i e También, el hecho de clasi ica los comen a ios en unción de una pun uación asignada a cada uno de los okens o palab as independien es que o man el comen a io puede p oduci un e o en la clasi icación po sen imien o, pues el comen a io puede ene palab as con pun uación posi i a y a a se de un con ex o nega i o. “Looks like spo s is going o ha e emp y s adiums his yea o only ools ake g aphene accines”. O o e o ecuen e en la ca ego ización es la omisión de palab as en el análisis de sen imien o que apo an un signi icado ele an e, e incluso pueden llega a cambia comple amen e el signi icado del comen a io o la pun uación que le asigna a cada oken: “Bye bye eedom”. Es e comen a io exp esa que el pasapo e COVID-19 implica una pé dida de la libe ad. En el análisis de sen imien o el único oken que ha apo ado una pun uación es eedom, cuya conno ación es posi i a, pe o no ha enido en cuen a Bye Bye que cambia o almen e el sen ido a la ase. “so i s ly i s no a accine, also i doesn make you immune o s op ansmission, so wha s he poin o a passpo ? his is all abou con ol!” La no inmunidad o al de la acuna es o o de los emas más comen ados. Es e comen a io cues iona la u ilidad del pasapo e eniendo en cuen a que aun es ando acunado puede con agia se, lo cual coincide con Fa gnoli e al. (2021), que concluye en su a ículo que la con iabilidad de los da os cien í icos espec o a la inmunidad es una de las mayo es p eocupaciones, eniendo es o una incidencia en el pasapo e COVID-19, pues deja ía de se is o como álido pa a el obje i o con el se concibió. La p edicción lo ha clasi icado como posi i o debido a los pesos que ha asignado a cada oken, pe o es ealmen e nega i o. Se hace necesa io de nue o educi la subje i idad de asigna una pun uación de posi i idad o nega i idad a cada palab a del dicciona io como pone de mani ies o Mohammad (2017) en su publicación “Challenges in Sen imen Analysis”. Aguila Mo eno, Juan An onio -50- Los esul ados del análisis de sen imien o, en el que la mayo ía de los comen a ios son posi i os, concue dan con el abajo ci ado en el ma co eó ico elabo ado po Khan e al. (2022) en que se analizan las opiniones en Twi e y ob ienen unos esul ados con mayo ía de pos u as posi i as hacia el pasapo e COVID-19. 6 CONCLUSIONES Y DESAFÍOS FUTUROS Como espues a a la p ime a p egun a de in es igación, la acep ación del pasapo e COVID-19 ha despe ado nume osas c í icas en ambos sen idos, an o a a o como en con a. Los mo i os de las opiniones que se posicionan a a o de su implemen ación se basan undamen almen e en la necesidad de e oma la co idianidad y eac i a una economía en ecesión as un la go pe íodo de inac i idad o de ac i idad limi ada sin enuncia adicalmen e a las medidas y es icciones pa a con ene la p opagación del i us. Po la o a pa e, las c í icas nega i as se cen an el hecho de que la acunación no elimina o almen e el iesgo de con agio, po lo an o, a gumen an que el pasapo e COVID-19 no es una medida de ga an ías pa a e i a la p opagación al en a en locales ce ados o en medios de anspo e. La segunda p egun a de in es igación de es e es udio consis ía en analiza los asun os de mayo ele ancia en el deba e sob e la implan ación del pasapo e COVID- 19. En es e sen ido, los esul ados del análisis de opics y de la nube de palab as a ojan como conclusiones la p eocupación po los e ec os secunda ios de la acuna, a la que muchos cali ican como “expe imen al” y su desigual disponibilidad según el país, lo que sesga la u ilidad del pasapo e COVID-19. También de g an ele ancia ha sido la ges ión gube namen al, que ha sido achada en nume osas ocasiones po sus de ac o es como con a ia a los de echos undamen ales, lo cual coincide con los esul ados ob enidos en el análisis de opics ealizado en es e abajo, al impone el uso obliga o io del pasapo e COVID-19 pa a accede a de e minadas ac i idades, lo que cali ican como una p esión añadida pa a acuna se con a la lib e olun ad pe sonal. Po o a pa e, en lo que espec a a los a ances que se han p oducido du an e los meses de pandemia, des aca la gene alización del uso del código QR con la implicación de que educe el iempo pa a ealiza cie os ámi es, po ejemplo, la consul a de his o iales de acunación y pe mi e alida la au en icidad de los Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 51 - documen os. Se a a de una ecnología ya exis en e an es de la pandemia, pe o que ha expe imen ado un auge du an e es e pe íodo y se ha implan ado en la sociedad. En el apa ado más écnico de es e abajo, la pa e que hace alusión al p ocesamien o de lenguaje na u al y los so wa es u ilizados pa a ello, se pone de mani ies o como líneas u u as de in es igación, el uso de un so wa e que pe mi a una mayo p ecisión en el análisis de sen imien o (pasando de un en oque en léxico como se ha ealizado en es e abajo a un en oque de ap endizaje au omá ico), así como la posibilidad de inclui un análisis de pos u as al como se comen a en el epíg a e de discusión y una clasi icación de los comen a ios en unción de las emociones básicas, pa a así pode comp ende de una o ma más especí ica y de allada la opinión del público (aleg ía, is eza, en ado, miedo, disgus o, espe anza, so p esa, neu alidad...). También se ía con enien e plan ea la posibilidad de ex ae la mues a de comen a ios de dis in as edes sociales (en es e es udio se ha elegido YouTube) debido a que el pe il y las ca ac e ís icas de los usua ios pueden a ia de una ed social a o a, lo cual se aduce en dis in os ipos de comen a ios en los que p edominan la i onía, una mayo o malidad, b e edad o ex ensión, en e o os aspec os. O a al e na i a se ía analiza la in luencia del géne o en la posi i idad o nega i idad de los comen a ios u ilizando algo i mos de de ección de géne o, un campo de es udio eme gen e. Con el obje i o de comp ende mejo el con ex o de las opiniones exp esadas en los comen a ios, se pod ía ealiza un es udio de co elaciones ecuen es en e palab as de los comen a ios. El pasapo e COVID-19 no ha sido una medida de éxi o pleno, pues ha con ado con mul i ud de de ac o es, no obs an e, sí ha sido más exi oso que o os in en os ecnológicos en el ma co con ex ual de la pandemia como las aplicaciones mó iles de as eo de con agios y que debe ía se enida en cuen a an o con sus ac o es de éxi o como con sus elemen os suscep ibles de mejo a en caso pandemias u u as. Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 53 - Bibliog a ía ALDayel, A., & Magdy, W. (2021). S ance de ec ion on social media: S a e o he a and ends. In o ma ion P ocessing & Managemen , 58(4), 102597. h ps://doi.o g/10.1016/J.IPM.2021.102597 Bayhaqy, A., S en ian o, S., Nainggolan, K., & Kabu uan, E. R. (2018). Sen imen Analysis abou E-Comme ce om Twee s Using Decision T ee, K-Nea es Neighbo , and Naï e Bayes. 2018 In e na ional Con e ence on O ange Technologies, ICOT 2018. h ps://doi.o g/10.1109/ICOT.2018.8705796 Blei, D. M., Ng, A. Y., & Edu, J. B. (2003). La en Di ichle Alloca ion Michael I. Jo dan. Jou nal o Machine Lea ning Resea ch 3, 993–1022. B ad o d, L., Aboy, M., & Liddell, K. (2020). COVID-19 con ac acing apps: a s ess es o p i acy, he GDPR, and da a p o ec ion egimes. Jou nal o Law and he Biosciences, 7(1), 1–21. h ps://doi.o g/10.1093/JLB/LSAA034 B own, R. C. H., Sa ulescu, J., Williams, B., & Wilkinson, D. (2020). Passpo o eedom? Immuni y passpo s o COVID-19. Jou nal o Medical E hics, 46(10), 652. h ps://doi.o g/10.1136/mede hics-2020-106365 de Figuei edo, A., La son, H. J., & Reiche , S. D. (2021). The po en ial impac o accine passpo s on inclina ion o accep COVID-19 accina ions in he Uni ed Kingdom: E idence om a la ge c oss-sec ional su ey and modeling s udy. EClinicalMedicine, 40, 101109. h ps://doi.o g/10.1016/J.ECLINM.2021.101109/ATTACHMENT/33FFEB69-292B- 4D63-B15B-C35C6DA8BA4B/MMC2.DOCX de la Fuen e, A. (2021). The economic consequences o Co id in Spain and how o deal wi h hem. APPLIED ECONOMIC ANALYSIS, 29(85), 90–104. h ps://doi.o g/10.1108/AEA-11-2020-0158 Fa gnoli, V., Nehme, M., Guessous, I., & Bu on-Jeang os, C. (2021). Accep abili y o COVID-19 Ce i ica es: A Quali a i e S udy in Gene a, Swi ze land, in 2020. F on ie s in Public Heal h, 9, 682365. h ps://doi.o g/10.3389/FPUBH.2021.682365/FULL G eyling, T., & Rossouw, S. (2022). Posi i e a i udes owa ds COVID-19 accines: A c oss-coun y analysis. PLOS ONE, 17(3), e0264994. h ps://doi.o g/10.1371/JOURNAL.PONE.0264994 GSTREIN, O. J. (2021). The EU Digi al COVID Ce i ica e: A P elimina y Da a P o ec ion Impac Assessmen . Eu opean Jou nal o Risk Regula ion, 12(2), 370– 381. h ps://doi.o g/10.1017/e .2021.29 Hu o, C.J. & Gilbe , E.E. (2014). VADER: A Pa simonious Rule-based Model o Sen imen Analysis o Social Media Tex . Eigh h In e na ional Con e ence on Weblogs and Social Media (ICWSM-14). Ann A bo , MI, June 2014. Jiang, Y., Ahmad, H., Bu , A. H., Sha ique, M. N., & Muhammad, S. (2021). QR Digi al Paymen Sys em Adop ion by Re aile s: The Mode a ing Role o COVID-19 Knowledge. H ps://Se ices.Igi- Aguila Mo eno, Juan An onio -54- Global.Com/Resol edoi/Resol e.Aspx?Doi=10.4018/IRMJ.2021070103, 34(3), 41–63. h ps://doi.o g/10.4018/IRMJ.2021070103 Khan, M. L., Malik, A., Ruhi, U., & Al-Busaidi, A. (2022). Con lic ing a i udes: Analyzing social media da a o unde s and he ea ly discou se on COVID-19 passpo s. Technology in Socie y, 68, 101830. h ps://doi.o g/10.1016/J.TECHSOC.2021.101830 Kolahchi, Z., De Domenico, M., Uddin, L. Q., Cauda, V., G ossmann, I., Lacasa, L., G ancini, G., Mahmoudi, M., & Rezaei, N. (2021). COVID-19 and I s Global Economic Impac . In N. Rezaei (Ed.), Co ona i us Disease - COVID-19 (pp. 825– 837). Sp inge In e na ional Publishing. h ps://doi.o g/10.1007/978-3-030-63761- 3_46 Kolchyna, O., Souza, T. T. P., T elea en, P., & As e, T. (2015). Twi e Sen imen Analysis: Lexicon Me hod, Machine Lea ning Me hod and Thei Combina ion. h ps://doi.o g/10.48550/a xi .1507.00955 Küçük, D., & Fazli, C. A. N. (2020). S ance De ec ion. ACM Compu ing Su eys (CSUR), 53(1). h ps://doi.o g/10.1145/3369026 Liu, Y.-C., Kuo, R.-L., & Shih, S.-R. (2020). COVID-19: The i s documen ed co ona i us pandemic in his o y. Biomedical Jou nal, 43(4), 328–333. h ps://doi.o g/h ps://doi.o g/10.1016/j.bj.2020.04.007 Liu, Y., & Ying, X. (2010). A Re iew o Social Ne wo k Si es: De ini ion, Expe ience and Applica ions. CONFERENCE ON WEB BASED BUSINESS MANAGEMENT, VOLS 1-2, 749–752. Lopez-Ma inez, R., & Sie a, G. (2020). Resea ch T ends in he In e na ional Li e a u e on Na u al Language P ocessing, 2000-2019 — A Bibliome ic S udy. Jou nal o Scien ome ic Resea ch, 9, 310–318. h ps://doi.o g/10.5530/jsci es.9.3.38 Malawani, A. D., Nu mandi, A., Pu nomo, E. P., & Rahman, T. (2020). Social media in aid o pos disas e managemen . T ans o ming Go e nmen : People, P ocess and Policy, 14(2), 237–260. h ps://doi.o g/10.1108/TG-09-2019-0088/FULL/PDF Mohammad, S. M. (2017). Challenges in Sen imen Analysis. In E. Camb ia, D. Das, S. Bandyopadhyay, & A. Fe aco (Eds.), A P ac ical Guide o Sen imen Analysis (pp. 61–83). Sp inge In e na ional Publishing. h ps://doi.o g/10.1007/978-3-319- 55394-8_4 Nakamo o, I., Wang, S., Guo, Y., & Zhuang, W. (2020). A QR Code–Based Con ac T acing F amewo k o Sus ainable Con ainmen o COVID-19: E alua ion o an App oach o Assis he Re u n o No mal Ac i i y. JMIR Mheal h Uheal h 2020;8(9):E22321 H ps://Mheal h.Jmi .O g/2020/9/E22321, 8(9), e22321. h ps://doi.o g/10.2196/22321 Oliu-Ba on, M. (2022). El pasapo e COVID educe miles de mue es: un análisis con da os de F ancia, I alia y Alemania EsadeEcPol B ie #23 Ene o 2022 AUTOR. Análisis de opiniones sob e el pasapo e COVID-19 median e p ocesamien o de lenguaje na u al (NLP) - 55 - Opinions on digi al a el ce i ica es Eu ope 2021 | S a is a. (2022). h ps://www-- s a is a--com.us.debiblio.com/s a is ics/1267155/opinions-digi al-ce i ica e- a el- planning- ips-eu ope/</di > Pawa , T., Kal a, P., & Meh o a, D. (2018). Analysis o Sen imen s o Spo s da a using RapidMine . P oceedings o he 2nd In e na ional Con e ence on G een Compu ing and In e ne o Things, ICGCIoT 2018, 625–628. h ps://doi.o g/10.1109/ICGCIOT.2018.8752989 Pe o a, K., Romanello, A., Medlin, B. D., & Vannoy, S. A. (2016). QR codes ad an ages and dange s. ICETE 2016 - P oceedings o he 13 h In e na ional Join Con e ence on e-Business and Telecommunica ions, 2, 112–115. h ps://doi.o g/10.5220/0005993101120115 Sanchez-Nunez, P., Cobo, M. J., He as-Ped osa, C. D. Las, Pelaez, J. I., & He e a- Viedma, E. (2020). Opinion Mining, Sen imen Analysis and Emo ion Unde s anding in Ad e ising: A Bibliome ic Analysis. IEEE Access, 8, 134563– 134576. h ps://doi.o g/10.1109/ACCESS.2020.3009482 Sánchez, P. R. P., Folgado-Fe nández, J. A., Sánchez, M. A. R., Sánchez, P. R. P., Folgado-Fe nández, J. A., & Sánchez, M. A. R. (2022). Vi ual Reali y Technology: Analysis based on ex and opinion mining. <i>Ma hema ical Biosciences and Enginee ing 2022 8:7856, 19(8), 7856–7885. h ps://doi.o g/10.3934/MBE.2022367 Sau a, J. R., Reyes-Menendez, A., & Al a ez-Alonso, C. (2018). Do Online Commen s A ec En i onmen al Managemen ? Iden i ying Fac o s Rela ed o En i onmen al Managemen and Sus ainabili y o Ho els. Sus ainabili y, 10(9). h ps://doi.o g/10.3390/su10093016 Sau a, J. R., Reyes-Menendez, A., & Palos-Sanchez, P. (2019). A e Black F iday Deals Wo h I ? Mining Twi e Use s’ Sen imen and Beha io Response. Jou nal o Open Inno a ion: Technology, Ma ke , and Complexi y 2019, Vol. 5, Page 58, 5(3), 58. h ps://doi.o g/10.3390/JOITMC5030058 Se ano, L., A iza-Mon es, A., Nade , M., Sianes, A., & Law, R. (2020). Explo ing p e e ences and sus ainable a i udes o Ai bnb g een use s in he e iew commen s and a ings: a ex mining app oach. H ps://Doi.O g/10.1080/09669582.2020.1838529, 29(7), 1134–1152. h ps://doi.o g/10.1080/09669582.2020.1838529 Sha un, K., Tiwa i, R., Dhama, K., Rabaan, A. A., & Alhumaid, S. (2021). COVID-19 accina ion passpo : p ospec s, scien i ic easibili y, and e hical conce ns. H ps://Doi.O g/10.1080/21645515.2021.1953350, 17(11), 4108–4111. h ps://doi.o g/10.1080/21645515.2021.1953350 Shin, H., Kang, J., Sha ma, A., & Nicolau, J. L. (2021). The Impac o COVID-19 Vaccine Passpo on Ai T a ele s’ Booking Decision and Companies’ Financial Value: H ps://Doi.O g/10.1177/10963480211058475, XX, No. X, 1–10. h ps://doi.o g/10.1177/10963480211058475 Shoeb, M., & Ahmed, J. (2017). Sen imen Analysis and Classi ica ion o Twee s Using Da a Mining. In e na ional Resea ch Jou nal o Enginee ing and Technology. www.i je .ne Aguila Mo eno, Juan An onio -56- So wa e pa a Análisis de Da os Cuali a i os | MAXQDA - MAXQDA (n.d.). Re ie ed June 3, 2022, om h ps://es.maxqda.com/so wa e-analisis-da os-cuali a i os Tanbee , S. K., Jiang, F., Leung, C. K.-S., MacKinnon, R. K., & Medina, I. J. M. (2013). Finding G oups o F iends who a e Signi ican ac oss Mul iple Domains in Social Ne wo ks. 2013 FIFTH INTERNATIONAL CONFERENCE ON COMPUTATIONAL ASPECTS OF SOCIAL (CASON), 21–26. Ta ineni, P., Sobhan Babu, B., Kanu i, B., Rao, G. R. K., Chi u i, P., & Na esh, C. (2021). Pos COVID-19 Twi e use ’s Emo ions Classi ica ion using Deep Lea ning Techniques in India. P oceedings - In e na ional Con e ence on A i icial In elligence and Sma Sys ems, ICAIS 2021, 338–343. h ps://doi.o g/10.1109/ICAIS50930.2021.9395899 Thakka , H., & Pa el, D. (2015). App oaches o Sen imen Analysis on Twi e : A S a e- o -A s udy. h ps://doi.o g/10.48550/a xi .1512.01043 Thelwall, M., Kousha, K., & Thelwall, S. (2021). Co id-19 accine hesi ancy on English- language Twi e . P o esional de La In o mación, 30(2). h ps://doi.o g/10.3145/epi.2021.ma .12 T ipa hi, P., Vishwaka ma, S. K., & Lala, A. (2016). Sen imen Analysis o English Twee s Using Rapid Mine . P oceedings - 2015 In e na ional Con e ence on Compu a ional In elligence and Communica ion Ne wo ks, CICN 2015, 668–672. h ps://doi.o g/10.1109/CICN.2015.137 Tu, M., Wu, L., Wan, H., Ding, Z., Guo, Z., & Chen, J. (2022). The Adop ion o QR Code Mobile Paymen Technology Du ing COVID-19: A Social Lea ning Pe spec i e. F on ie s in Psychology, 12, 6586. h ps://doi.o g/10.3389/FPSYG.2021.798199/BIBTEX Velicia-Ma in, F., Cab e a-Sanchez, J. P., Gil-Co de o, E., & Palos-Sanchez, P. R. (2021). Resea ching COVID-19 acing app accep ance: inco po a ing heo y om he echnological accep ance model. Pee J Compu e Science, 7, 1–20. h ps://doi.o g/10.7717/PEERJ-CS.316/SUPP-1 Villa icencio, C., Mac ohon, J. J., Inba aj, X. A., Jeng, J. H., & Hsieh, J. G. (2021). Twi e Sen imen Analysis owa ds COVID-19 Vaccines in he Philippines Using Naï e Bayes. In o ma ion 2021, Vol. 12, Page 204, 12(5), 204. h ps://doi.o g/10.3390/INFO12050204 Voo, T. C., Reis, A. A., Thomé, B., Ho, C. W., Tam, C. C., Kelly-Ci ino, C., Emanuel, E., Beca, J. P., Li le , K., Smi h, M. J., Pa ke , M., Kass, N., Goba , N., Lei, R., Upshu , R., Hu s , S., & Munsaka, S. (2021). Immuni y ce i ica ion o COVID-19: e hical conside a ions. Bulle in o he Wo ld Heal h O ganiza ion, 99(2), 155–161. h ps://doi.o g/10.2471/BLT.20.280701 Wahsheh, H. A. M., & Al-Zah ani, M. S. (2021). Secu e and Usable QR Codes o Heal hca e Sys ems: The Case o Co id-19 Pandemic. 2021 12 h In e na ional Con e ence on In o ma ion and Communica ion Sys ems, ICICS 2021, 324–329. h ps://doi.o g/10.1109/ICICS52457.2021.9464565