PREDICCIÓN DE BROTES DE GRIPE AVIAR
AVIAN INFLUENZA OUTBREAKS PREDICTION
TRABAJO FIN DE GRADO
CURSO 2020-2021
AUTOR
CHENG JUN LIU ZHENG
EMILIO JOSÉ VALENCIA CALVOPIÑA
DIRECTORES
JOSÉ IGNACIO GÓMEZ PÉREZ
CHRISTIAN TOMÁS TENLLADO VAN DER REIJDEN
GRADO INGENIERÍA INFORMÁTICA
FACULTAD DE INFORMÁTICA
UNIVERSIDAD COMPLUTENSE DE MADRID
PREDICCIÓN DE BROTES DE GRIPE AVIAR
AVIAN INFLUENZA OUTBREAKS PREDICTION
TRABAJO DE FIN DE GRADO EN INGENIERÍA INFORMÁTICA
DEPARTAMENTO DE ARQUITECTURA DE COMPUTADORES Y
AUTOMÁTICA
AUTOR
CHENG JUN LIU ZHENG
EMILIO JOSÉ VALENCIA CALVOPIÑA
DIRECTORES
JOSÉ IGNACIO GÓMEZ PÉREZ
CHRISTIAN TOMÁS TENLLADO VAN DER REIJDEN
CONVOCATORIA: JUNIO 2021
CALIFICACIÓN: NOTA
GRADO EN INGENIERÍA INFORMÁTICA
FACULTAD DE INFORMÁTICA
UNIVERSIDAD COMPLUTENSE DE MADRID
DÍA DE MES DE AÑO
V
DEDICATORIA
A mi amilia, que me ha sopo ado
du an e odo es e p oceso y más iempo
aún. – Cheng Jun Liu Zheng
A mi amilia po habe me b indado la
opo unidad de es udia g acias a su g an
es ue zo. A mis ecinos po su cons an e
apoyo y a mi pa eja po alen a me a se
mejo , po su ca iño y apoyo en odo
momen o. -Emilio José Valencia
Cal opiña
VII
AGRADECIMIENTOS
A Nacho y a Ch is ian po guia nos y ayuda nos an o hacia el buen camino po
el que segui el p oyec o. A I ene Iglesias po apoya nos an o y hace posible el
desa ollo del modelo y a Ca los Edua do po la in e az web y po ene an a paciencia
con nues os iche os GeoJSON.
IX
RESUMEN
P edicción de b o es de G ipe A ia
Los b o es po G ipe A ia , conc e amen e las a iaciones de al a pa ogenicidad
de es e i us son un p oblema que a ec a ecuen emen e a oda Eu opa,
especialmen e en países ubicados al no e donde las empe a u as son más bajas lo
que les con ie e en en o nos ideales pa a la supe i encia del i us.
Du an e es e abajo se ha desa ollado una he amien a pa a pode p edeci en
qué coma cas ganade as de España hay un mayo iesgo de que ocu a un b o e,
eniendo en cuen a b o es de Eu opa, omados de la pla a o ma de Emp es-i y
p opo cionados po la o ganización de WAHIS, u as mig a o ias de di e en es especies
de a es que suelen ealiza ayec os en e pa es de Eu opa y España, p opo cionadas
po la Sociedad Española de O ni ología (SEO) y p e isiones de la empe a u a pa a
cada coma ca ganade a.
La he amien a además gene a á epo es con in o mación pe inen e a las
posibles ale as de cada coma ca ganade a en o ma o PDF y CSV, que se en ia án a
una unidad en Google D i e pa a su almacenamien o.
Todas es as a eas se ealiza án con una ecuencia semanal y además se
ac ualiza án los b o es que ayan epo ándose en Emp es-i, con la misma ecuencia.
Palab as cla e
G ipe A ia , Py hon, Neo4j, MongoDB, Ma kdown, SEO Bi dli e, Geohash, Web-
sc aping, Emp es-I, B o es
XVII
ÍNDICE DE FIGURAS
Figu a 2.1 Mapa con los b o es de g ipe a ia en Eu opa en el año 2021 .......................... 5
Figu a 2.2 Lenguajes más usados según S ack O e low en 2020 ..................................... 10
Figu a 3.1 Mapa mundial con cuad ículas de geohash ...................................................... 12
Figu a 3.2 Repo e con in o mación de un b o e en el an iguo WAHIS-OIE ...................... 14
Figu a 3.3 Página con la in o mación de un b o e en Emp es-i .......................................... 15
Figu a 3.4 P ime a e sión de es uc u a en Neo4j ................................................................ 19
Figu a 3.5 Solapamien o en e cuad ículas de coma ca y geohash ................................ 20
Figu a 3.6 Segunda e sión de es uc u a en Neo4j ............................................................. 21
Figu a 3.7 Te ce a e sión de es uc u a en Neo4j ................................................................ 22
Figu a 3.8 Ope aciones de alo es-clima ológicos ............................................................... 23
Figu a 3.9 Ejemplo de consul a ................................................................................................ 24
Figu a 3.10 URL da os ................................................................................................................. 24
Figu a 3.11 URL de me ada os .................................................................................................. 25
Figu a 3.12 Consul a con la i ud y longi ud ............................................................................ 26
Figu a 3.13 Ejemplo salida JSON (TuTiempo.ne ) ................................................................... 26
Figu a 4.1 Es udio con cu a ROC del modelo ...................................................................... 34
Figu a 4.2 Mapa con los ni eles de ale a de ene o 2021 y coma cas donde hubo b o es
............................................................................................................................................... 35
Figu a 4.3 Cabece a y suma io PDF ........................................................................................ 36
Figu a 4.4 Tabla de ale as PDF ................................................................................................ 37
Figu a 4.5 Tabla de b o es PDF ................................................................................................. 37
Figu a 4.6 Ale as CSV ................................................................................................................ 37
Figu a 4.7 B o es (1) CSV ............................................................................................................ 37
XVIII
Figu a 4.8 B o es (2) CSV ............................................................................................................ 37
Figu a 4.9 Aplicación web pa a la isualización de ale as, u as y b o es ....................... 39
Figu a 4.10 Aplicación web mos ando a ias u as mig a o ias asociadas a b o es...... 41
XIX
ÍNDICE DE TABLAS
Tabla 3.1 Dimensiones de una cuad ícula geohash según la longi ud ............................. 13
XXI
ÍNDICE DE CÓDIGOS
Código 1 Documen o de un b o e en MongoDB ................................................................. 16
Código 2 Documen o de una u a en MongoDB ................................................................. 18
Código 3 Documen o de una es ación en mongo .............................................................. 28
Código 4 Documen o del his ó ico de una es ación en mongo ....................................... 29
Código 5 Documen o del his ó ico inal y la p edicción de una coma ca en Mongo .. 30
Código 6 Ejemplo de una ale a en GeoJSON ..................................................................... 40
Código 7 Ejemplo de una u a en GeoJSON ......................................................................... 40
Código 8 Ejemplo de b o e en GeoJSON .............................................................................. 41
Capí ulo 1 - In oducción
1
Capí ulo 1 - In oducción
La G ipe A ia es una en e medad que a ec a a las a es sil es es y domés icas,
no malmen e de o ma asin omá ica debido a que en la mayo ía de los casos se a a
de g ipe a ia de baja pa ogenicidad. Las a es sil es es acuá icas (ga io as, cigüeñas,
pa os, e c.) son los p incipales huéspedes de es e i us y ambién son las que más
pueden ansmi i el i us en é minos de dis ancia.
Po o o lado, la a ian e al amen e pa ógena puede p o oca g a es sín omas,
pudiendo p o oca la mue e del a e con acilidad y además es al amen e con agiosa.
Un con agio con es e ipo de i us po pa e de un a e en una g anja puede ex ende se
muy ácilmen e a odas las demás a es del ecin o, al no habe mucho espacio en e
unas y o as po lo gene al. Es es a la a ian e con más posibilidad de con agia a un se
humano, en conc e o los sub ipos H5N1 Y H7N9, de nue o pudiendo p o oca g a es
sín omas en humanos.
Las epidemias gene adas po es e i us apa ecen en la mayo ía de los casos en
el con inen e asiá ico y eu opeo. Den o de Eu opa ocu en con mayo ecuencia en
países localizados al no e, debido a que el i us es capaz de sob e i i más iempo en
el medio ambien e con empe a u as bajas. Sin emba go y po desg acia, España no
es á exen a de es e i us con ejemplos de b o es en 2017, y en 2020 y 2021 den o de
una nue a ola de es e i us.
1.1 Mo i ación
La a icul u a iene una g an impo ancia pa a la economía española. De hecho,
España se consolidó en 2019 como el cua o país de Eu opa que más can idad de ca ne
p oduce en las más de 18.000 explo aciones que exis en en el país
1
. Con el comienzo
de la pandemia del COVID-19 odos los sec o es se ie on pe judicados. A pesa de es a
c isis p o ocada po la pandemia, los sec o es ag ícolas, ganade as y pesque as
1
lamoncloa.gob.es
Capí ulo 1 - In oducción
2
u ie on un epun e del PIB de un 4,7% en 2020
2
. Y con espec o a la indus ia a ícola
española, es a gene a al ededo de 2.300 millones de eu os al PIB nacional y
ap oximadamen e gene a al ededo de unos 40.000 pues os de empleo
3
.
Además, España es una g an expo ado a de ca ne de a e. En es os años, se
p odujo un aumen o del 2,5% del núme o de en as en compa ación a la década
an e io . Los p incipales países a los que se les ende es a ca ne de a e son los países
de la Unión Eu opea, de es os des acan los países ecinos (F ancia y Po ugal)
4
.
Hay que des aca que a lo la go de odo el año se p oducen mig aciones de
di e en es especies de a es p o enien es de países de Eu opa ele ando la p obabilidad
de con agio en España y poniendo en pelig o el sec o a ícola.
Las consecuencias de un b o e de g ipe a ia en España no son solo sani a ias
sino ambién económicas pudiendo se pelig osamen e ca as ó icas. Los p ime os
a ec ados se ían los a icul o es y ag icul o es, pues o que es a en e medad es
al amen e con agiosa en e las a es, obligando a sac i ica g an pa e de las a es del
ecin o po azones de salud, suponiendo una g an pé dida económica pa a ellos.
Además, de lo mencionado an e io men e, pod ía ene g andes epe cusiones en la
economía del país e incluso en Eu opa.
En cuan o a las consecuencias sani a ias, la a ian e de al a pa ogenicidad es
muy le al en las a es, po o o lado, las in ecciones en humanos son poco p obables,
pe o siguen pudiendo causa g a es sín omas.
Po es os mo i os, es necesa io ene un mecanismo pa a p edeci y ene el
iempo su icien e pa a oma las medidas necesa ias y e i a pé didas económicas
sob e odo en la si uación ac ual donde odo el país es á me mado as la c isis
p o ocada po el COVID-19.
2
e eag o.com
3
a icul u a.com
4
h ps://a icul u a.com/espana-las-expo aciones-de-ca ne-de-a e-cuad iplican-a-las-
impo aciones-en-cinco-anos/
Capí ulo 1 - In oducción
3
1.2 Obje i os
El obje i o de es e p oyec o consis e en la elabo ación de una he amien a
capaz de p edeci posibles b o es de g ipe a ia en las coma cas ganade as de España
a pa i de da os de b o es ecien es en Eu opa, u as mig a o ias de dis in as especies y
empe a u as pa a cada coma ca den o de un pe íodo semanal. Pa a es o se necesi a:
• Una base de da os con b o es de Eu opa capaz de ac ualiza se pe iódicamen e,
así como una uen e de da os pa a ex ae dicha in o mación.
• Una base de da os con u as mig a o ias de especies de a es impo an es con
espec o a la ansmisión del i us en España.
• Una uen e de da os de donde ecaba p e isiones de empe a u as en las
di e en es coma cas ganade as y de donde oma las empe a u as eales pa a
echas pasadas con el in de almacena las en la base de da os, odo de o ma
pe iódica.
• Un modelo capaz de da un ni el de ale a a cada coma ca con los da os
an e io es, además de pode gene a un epo e con los da os enidos en cuen a
pa a calcula es e ni el en cada ale a.
El código esul an e se almacena á en es e eposi o io público de Gi hub.
1.3 Plan de abajo
Es e es el plan de abajo a segui pa a el cumplimien o de los obje i os
an e io men e de allados:
• Búsqueda y elección de las uen es de da os: se analiza án posibles uen es de
da os pa a ex ae cada ipo de da o necesa io pa a el modelo. Una ez
encon ados se p ocede á a elegi uno pa a cada ipo de da o.
• Diseño de los módulos so wa e: se de alla án los módulos necesa ios pa a la
ealización de los obje i os de es e p oyec o.
• Desa ollo de la he amien a: se analiza án ecnologías adecuadas pa a
implemen a los dis in os módulos.
Capí ulo 2 - Es ado de la cues ión
10
de S ack O e low o ece en una web
13
esul ados de sus encues as du an e di e en es
años.
Una g an pa e de los encues ados en 2020 usa el lenguaje de p og amación
Py hon, cuya popula idad ha aumen ado sin pa a a lo la go de los úl imos años. Se a a
de un lenguaje con una sin axis sencilla, muy habi ualmen e usado en el campo del
es udio de da os y que o ece una amplia gama de lib e ías hechas po la comunidad,
las cuales lo con ie en en un lenguaje muy e sá il y ela i amen e ácil de ap ende ,
lo cual nos impulsó pa a usa lo como nues o lenguaje de p og amación.
Figu a 2.2 Lenguajes más usados según S ack O e low en 2020
13
S ack O e low De elope Su ey 2020
Capí ulo 3 - Ex acción y almacenamien o de los da os
11
Capí ulo 3 - Ex acción y almacenamien o de los
da os
En es e capí ulo se explica á con más de alle y p o undidad el p ocedimien o de
ex acción de da os sob e b o es, u as mig a o ias y empe a u as pa a las coma cas
pa a su pos e io almacenamien o.
An es de es o se explica á la écnica de geohashing, la cual ha simpli icado las
ope aciones pa a asocia zonas geog á icas y u as en el desa ollo del p oyec o.
3.1 Geohash
Pa a pode ealiza las asociaciones en e b o e, u a y coma ca se necesi aba
p ime o encon a u as en una zona al ededo de un b o e y pos e io men e e i ica si
el o o ex emo de la u a es á en España.
La écnica del geohash consis e en di idi el mapa mundial en ec ángulos, cada
uno con un código pa a iden i ica los, como se e en la Figu a 3.1, es e p oceso sigue
de o ma ecu si a den o de cada uno de los ecuad os añadiendo un ca ác e al
código geohash co espondien e cada ez que se baja un ni el. De es a o ma
podemos enma ca a ias coo denadas den o de una zona geohash, es deci ,
podemos asocia b o es y u as compa ando los códigos de geohash que se calculan
a pa i de sus coo denadas.
Además, exis en a ias lib e ías de Py hon des inadas al uso de es os geohashes.
Las dos lib e ías usadas en el p oyec o ue on Geolib
14
y Geopy
15
, las cuales pe mi en
calcula el geohash asociado a un pun o geog á ico ep esen ado po los alo es de
la i ud y longi ud en e o as unciones.
14
geolib · PyPI
15
geopy · PyPI
Capí ulo 3 - Ex acción y almacenamien o de los da os
12
Figu a 3.1 Mapa mundial con cuad ículas de geohash
Al inicio del p oyec o, se especi icó que un b o e se asocia ía con las u as en las
que alguno de sus ex emos es u ie a localizado den o de un adio de 25 km al ededo
de dicho b o e, pa a emula es e adio se op ó po usa geohash con longi ud de 4
ca ac e es cuya cuad ícula iene unas dimensiones de 39 km x 19.5 km.
Capí ulo 3 - Ex acción y almacenamien o de los da os
13
Longi ud en ca ac e es
Dimensiones de la cuad ícula
1
5004km x 5004km
2
1251km x 625km
3
156km x 156km
4
39km x 19.5km
5
4.9km x 4.9km
Tabla 3.1 Dimensiones de una cuad ícula geohash según la longi ud
3.2 Ex acción y almacenamien o de b o es
Como se explicó an e io men e, la página de WAHIS-OIE ue la uen e de da os
de b o es al p incipio del p oyec o. Su po al pa a la búsqueda de b o es con iene la
in o mación más comple a, pues es la uen e de da os de la o a opción que
es udiamos, el po al de Emp es-i.
3.2.1 WAHIS-OIE y Emp es-i
Hoy en día, una p ác ica muy habi ual en es e ipo de po ales web es la de
o ece una API pa a el acceso a sus da os, pe o es e no ue el caso. El buscado sob e
b o es ampoco o ecía ninguna o ma de desca ga los da os, po lo que se op ó po
aplica la écnica del Web sc aping.
Es a écnica consis e en emula las pe iciones que ha ía una pe sonal eal a una
web y ecoge los da os de la página que de ol iese es a pe ición, odo de o ma
au omá ica. El lenguaje de Py hon pe mi e abaja con la lib e ía eques s pa a ealiza
es as pe iciones y la in o mación se puede ex ae median e exp esiones egula es, las
cuales nos pe mi en busca po pa ones en la página del b o e.
Como ya se mencionó en el an e io capí ulo, WAHIS-OIE se ía la uen e de da os
inicial del p oyec o. Se es udió el p oceso con el que se no i icaban casos, con el in de
en ende dónde se encon aba la in o mación que se necesi aba ex ae . Cuando un
b o e es de ec ado, el se icio e e ina io que lo haya descubie o no i ica a WAHIS-OIE
gene ando un epo e, el cual con iene in o mación sob e dicho b o e o b o es. A cada
b o e se le asigna un iden i icado único y se añaden a la base de da os de la
Capí ulo 3 - Ex acción y almacenamien o de los da os
14
o ganización, o eciendo acceso a es a in o mación median e su po al web. Es a
in o mación incluye campos como el país y localidad donde se p odujo el b o e, la
echa en la que se hizo el epo e, el se o ipo del i us o el núme o de casos a is ados.
Figu a 3.2 Repo e con in o mación de un b o e en el an iguo WAHIS-OIE
Sin emba go, en diciemb e de 2020 el po al de WAHIS-OIE ce ó empo almen e
pa a mejo a la in e az de la web y usa ecnologías más mode nas en ella, as lo cual
se publicó el nue o po al
16
2 meses después.
La écnica Web sc aping equie e del es udio p e io de la es uc u a de una
página pa a pode ex ae la in o mación de ella. Es imando el iempo que se
necesi a ía pa a ol e a ealiza el p oceso con la nue a es uc u a, se decidió usa el
po al de Emp es-i el cual pe mi e desca ga los da os desde 2017 en un iche o CSV. En
es e iche o apa ecen muchos de los da os que o ecía WAHIS-OIE como el país, el
16
OIE-WAHIS
Capí ulo 3 - Ex acción y almacenamien o de los da os
15
se o ipo del i us o el núme o de casos, pe o ca ecían de la unidad epidemiológica
asociada al b o e la cual indicaba si es e se había p oducido en un en o no domés ico
o más bien en e a es sil es es. Emp es-i ambién o ece acceso a la in o mación sob e
b o es en su web de o ma simila a como lo hacía WAHIS-OIE y con una página sencilla
de comp ende , lo cual no e a de ex aña pues WAHIS-OIE es su uen e de in o mación
en ma e ia de b o es de g ipe a ia . Po lo que se ol ió a usa Web sc aping pa a
ecolec a es a in o mación, apoyándonos en el campo Disease E en ID, el
iden i icado único pa a cada b o e, que apa ecía en el iche o CSV pa a ealiza las
pe iciones a su web.
Figu a 3.3 Página con la in o mación de un b o e en Emp es-i
3.2.2 Almacenamien o de los b o es en MongoDB
Los b o es se almacenan en una colección llamada ou b eaks den o de
MongoDB, donde cada documen o sigue la es uc u a del Código 1. Los campos más
impo an es en cada documen o son:
• La i ud y Longi ud: las coo denadas donde se p odujo el b o e. Es necesa io sabe
es a in o mación pa a pode asocia un b o e con una posible u a mig a o ia con
des ino en España.
• Geohash: calculado a pa i de las coo denadas del b o e, necesa io pa a
simpli ica la asociación en e u as y b o es.
• Fecha de obse ación y epo e: necesa io pa a delimi a en el iempo los b o es
que se ienen en cuen a pa a la aplicación del modelo.
Capí ulo 3 - Ex acción y almacenamien o de los da os
16
• Epiuni : ambién llamado Animal Type en Emp es-i, se a a del ipo de unidad
epidemiológica que pe mi e sabe si el b o e sucedió en un en o no sal aje, po
ejemplo. Es e puede se Wild, Backya d o Domes ic. Necesa io en la aplicación
del modelo.
Código 1 Documen o de un b o e en MongoDB
3.3 Ex acción y almacenamien o de u as mig a o ias
Las a es acuá icas sil es es son los p incipales p opagado es de la g ipe a ia ,
ansmi iendo el i us a a és del agua de los lagos o humedales donde suelen habi a .
Es as, según la época del año, mig an hacia o as egiones del plane a siguiendo lo que
se conocen como u as mig a o ias. Las u as mig a o ias son los desplazamien os que
en el momen o de la mig ación las a es ealizan. No malmen e suelen segui un pa ón
según la zona y las ca ac e ís icas geog á icas de dicha zona.
Las a es que con aen la a ian e de al a pa ogenicidad del i us y
pos e io men e siguen es as u as has a España son la p incipal causa de b o es en
España y es o es lo que la he amien a del p oyec o busca p edeci .
Capí ulo 3 - Ex acción y almacenamien o de los da os
17
3.3.1 SEO Bi dli e
G acias a la Sociedad Española de O ni ología
17
, a sus es ue zos y a la
in es igado a I ene Iglesias, disponemos de un a chi o CSV con da os sob e las u as de
más de 40 especies y más de 28 mil u as conseguidas median e la écnica de
anillamien o, explicada an e io men e en la sección Ob ención de da os sob e u as
mig a o ias del Capí ulo 2 - .
3.3.2 Almacenamien o de u as en MongoDB
Las u as se almacenan en la colección mig a ions den o de MongoDB, cada
u a se sigue la es uc u a del Código 2. Los campos más impo an es en la es uc u a
son:
• La i ud y Longi ud: las coo denadas del ex emo de la u a que es á ue a de
España, necesa io pa a la asociación en e u as y b o es.
• Geohash: calculado a pa i de las coo denadas an e io es, necesa io pa a
simpli ica la asociación en e u as y b o es.
• Especie: código de la especie de la u a mig a o ia.
• Coma ca_SG: omado di ec amen e del CSV, g acias a es e campo se puede
asocia una u a con una coma ca ganade a en España de o ma di ec a.
17
SEO Bi dli e - Sociedad Española de O ni ología
Capí ulo 3 - Ex acción y almacenamien o de los da os
18
Código 2 Documen o de una u a en MongoDB
3.3.3 Almacenamien o de u as en Neo4j
Neo4j se a a de o a base de da os NoSQL como MongoDB. Sin emba go, Neo4j
iene la pa icula idad de almacena da os, no en documen os, sino en g a os.
Pa a es e p oyec o, Neo4j se ha u ilizado pa a almacena una u a como una
elación en e dos nodos, ambos ep esen ando zonas geog á icas. Es a base de da os
se ha ees uc u ado a ias eces pa a in en a mejo a el endimien o y p ecisión al
consul a u as asociadas a un b o e.
3.3.3.1 Zonas de geohash como nodos
Es a p ime a e sión cons aba de un solo ipo de nodo, los nodos geohash. Es os
con enían solamen e el geohash calculado a pa i de las coo denadas de cada
ex emo de la u a. Las elaciones en e es os nodos ep esen aban las u as que asocian
una cuad ícula geohash con o a.
Capí ulo 3 - Ex acción y almacenamien o de los da os
19
Figu a 3.4 P ime a e sión de es uc u a en Neo4j
Es a es uc u a p esen aba dos p oblemas p incipales:
• P ecisión de la asociación en e b o es y u as: pueden exis i casos en los que
un b o e es é si uado muy ce ca del lími e que sepa a su zona geohash de
o a. En es os casos puede habe u as cuyo pun o es é si uado jus amen e en
la zona geohash ecina, p o ocando que no se asocien b o es y u as aun
es ando muy ce ca en e sí.
• Complejidad en la asociación u a-coma ca: la asociación ambién se debe
hace en e u as y coma cas. En es e caso no hay un des ino ijo pa a cada
u a sino una zona geohash en España. Debido a es o se decidió o ma una
cuad ícula al ededo de cada coma ca y calcula pa a cada cuad ícula
geohash de una u a, el po cen aje del á ea que solapaba con una
cuad icula de una coma ca ganade a. En la Figu a 3.5, se puede ap ecia de
o ma isual el p oceso, la cuad ícula eyy0 co espondien e al pun o de la u a
es á comple amen e solapada po la cuad ícula de la coma ca (po cen aje
de solapamien o del 100%), po lo que se acep a ía la asociación u a-
coma ca.
Capí ulo 3 - Ex acción y almacenamien o de los da os
26
Figu a 3.12 Consul a con la i ud y longi ud
Las p edicciones son de los p óximos 7 días (Figu a 3.13). Po lo que, pa a
consegui la empe a u a semanal es su icien e con hace la media de las empe a u as
de esos 7 días.
Figu a 3.13 Ejemplo salida JSON (TuTiempo.ne )
Pa a asigna una p edicción a una coma ca ganade a se usa el cen oide de
dicha coma ca pa a la consul a de la API y se almacena en la base de da os. Una
limi ación de la API es que la búsqueda se ealiza en un adio de 30 km según la la i ud
y longi udes especi icadas y, si no hay da os en ese ango, la salida se á nula. U ilizando
únicamen e el cen oide como pun o de e e encia, muchas de las coma cas no
disponen de p edicción. Pa a soluciona es e p oblema, se han c eado cua o ni eles
Capí ulo 3 - Ex acción y almacenamien o de los da os
27
de búsqueda donde acceden aquellas coma cas que no han enido p edicción en el
an e io ni el:
• P ime ni el: búsqueda en la API según el cen oide de las coma cas
ganade as.
• Segundo ni el: búsqueda en la API según las coo denadas de la coma ca
que apa ece en la colección es aciones. La di e encia de es as
coo denadas con las coo denadas que apa ecen en la colección
coma cas es que es as ienen meno p ecisión, es deci , menos decimales.
Se usan pues o que, en algunos casos, la búsqueda con menos decimales
si a ojan esul ados, en cambio con las coo denadas de las coma cas de
la colección es aciones, no.
• Te ce ni el: búsqueda en la API según las coo denadas de las es aciones
más ce canas. Se eco e la lis a de odas las es aciones ce canas
co espondien es con la API de AEMET, se ex aen dichas coo denadas y
se ealiza la consul a.
• Cua o ni el: como úl imo ecu so se busca odas las coma cas de la
p o incia de la coma ca que no iene p edicción y se le asigna la
p edicción de las coma cas de esa p o incia que si ienen. En caso de
ampoco ob ene p edicción se ealiza el mismo p ocedimien o según la
Comunidad Au ónoma en la que se encuen e.
3.4.3 Almacenamien o de empe a u as en MongoDB
Se hace uso de es colecciones dis in as: es aciones, his ó ico y empe a u a.
3.4.3.1 Es aciones
En es a colección se gua da la elación en e una coma ca ganade a y las
es aciones me eo ológicas más ce canas. Po ello p esen a 496 documen os, mismo
núme o de documen os que la colección coma cas. Cada elación sigue la es uc u a
del Código 3. Los campos más ele an es son:
• coma ca_sg: es el iden i icado único de cada coma ca.
Capí ulo 3 - Ex acción y almacenamien o de los da os
28
• indica i o: es el iden i icado único de la es ación p incipal asociada a
dicha coma ca.
• es acionesAdd: un a ay que con iene po o den de ce canía los
indica i os de las es aciones más ce canas. Usada en caso de que la
es ación p incipal no pueda p o ee da os.
Código 3 Documen o de una es ación en mongo
3.4.3.2 His ó ico
Es a colección se usa pa a albe ga las empe a u as ecogidas po AEMET
OpenDa a, según cada es ación. Po es e mo i o, hay un o al de 210 documen os.
Todos los documen os se o ganizan siguiendo la es uc u a del Código 4, cuyos campos
son:
• idEs acion: iden i icado único de la es ación.
• his ó ico(semanal): un dicciona io cuya cla e es el año y el alo es un
a ay con la empe a u a mínima de odas las semanas de ese mismo año.
Capí ulo 3 - Ex acción y almacenamien o de los da os
29
• boolComple o: un dicciona io cuya cla e es el año y el alo es un a ay
con el núme o de semana que no iene empe a u a mínima. Es deci , es
un dicciona io auxilia , que se u iliza pa a sabe po cada año las semanas
que no ienen empe a u a mínima. Haciendo que comple a esa
in o mación con in o mación de las es aciones más ce canas sea más
ácil.
Código 4 Documen o del his ó ico de una es ación en mongo
3.4.3.3 Tempe a u a
Colección que con iene, pa a cada coma ca ganade a, la empe a u a po
semanas desde el 2017 has a la echa ac ual, así como la p edicción pa a la siguien e
semana. La colección sigue la es uc u a del Código 5. Los campos que lo con o man
son:
• coma ca_sg: iden i icado de la coma ca ganade a.
• his ó icoFinal: un dicciona io cuya cla e es el año y el alo es un a ay con
la empe a u a mínima de odas las semanas de ese mismo año. No hay
alo es nulos.
• p edicción: es la p edicción p opo cionada po la API de TuTiempo.ne
Capí ulo 3 - Ex acción y almacenamien o de los da os
30
Código 5 Documen o del his ó ico inal y la p edicción de una coma ca en Mongo
Capí ulo 4 - Aplicación del modelo y gene ación de ale as
31
Capí ulo 4 - Aplicación del modelo y gene ación de
ale as
T as habe asen ado la ob ención de los da os y su almacenamien o, se pasó a
la ase de diseño de la he amien a. Re isando de nue o los obje i os, aún son
necesa ios cie os módulos en nues a he amien a pa a pode aplica el modelo
usando los da os adqui idos. En las p óximas secciones se a a de alla el p oceso de
implemen ación pa a cada módulo.
4.1 Ac ualización de da os sob e b o es y empe a u as
Los da os sob e b o es y empe a u as en cada coma ca deben es a
ac ualizados pa a la co ec a aplicación del modelo y uncionamien o de la
he amien a. Pa a ambas colecciones se han u ilizado sc ip s pa a ac ualiza los da os,
lo cual se hace de o ma semanal median e el uso del se icio c on, añadiendo una
egla en el iche o de c on ab pa a que cada lunes a las 1:00 se ejecu en los sc ip s.
El sc ip de ac ualización de b o es manda una pe ición a la web de Emp es-i que
de uel e un a chi o en o ma o CSV con los b o es de 1 año ac ualizados. Se almacena
en la ca pe a da a, se ab e dicho iche o y se buscan los b o es de la úl ima semana. Si
el b o e ya exis e se ac ualiza en la base de da os, si no se añade.
El sc ip de ac ualización de empe a u as ealiza una consul a a AEMET
OpenDa a ob eniendo las empe a u as mínimas de la semana pasada y se gua dan
en la base de da os. Una ez ac ualizado el his ó ico se p ocede a ealiza o a consul a,
pe o a la API de TuTiempo pa a gua da en la base de da os la p edicción de la semana
ac ual pa a la que se a a ejecu a el modelo.
4.2 Implemen ación del modelo
La implemen ación del modelo cons a de es pa es p incipales:
• Fac o ías de da os: las ac o ías p incipales son la de los b o es y empe a u as,
que hacen consul as a las bases de da os y ans o man la in o mación
ob enida a un o ma o más con enien e pa a el modelo. Básicamen e c ean
Capí ulo 4 - Aplicación del modelo y gene ación de ale as
32
dicciona ios con las coma cas como cla e y da os asociados a cada
coma ca como alo . Con es o asociamos cada coma ca con los b o es en
Eu opa median e las u as almacenadas en Neo4j y ambién con su
empe a u a mínima.
• Con olado : le enca ga de pasa los da os al modelo y de con ola el núme o
de ejecuciones se han de ealiza . Según una echa y un núme o de semanas,
ei e a el p oceso de ejecución del modelo empezando po la semana de la
echa especi icada y pa a las semanas an e io es.
• Modelo: es la pa e que usa los da os p opo cionados po el con olado pa a
calcula un ni el de iesgo pa a cada coma ca. Pa a calcula el iesgo de una
coma ca i, pa a una semana se ienen en cuen a los b o es su gidos en una
en ana empo al de 3 meses (12 semanas) en el pasado. Pa a ello se sigue
es a ó mula, p opo cionada po la in es igado a I ene Iglesias:
Riesgo i, = supe i encia del i us i, * ∑ ( iesgo_ u a i)
o Riesgo_ u a i: Es el iesgo que gene a una u a mig a o ia que asocia
una coma ca i con un b o e. El suma o io se hace con odas las u as
p o enien es de b o es que se p oduje on den o de la en ana
empo al de 3 meses mencionada an e io men e. Es e iesgo a su ez
se calcula con la ó mula:
Riesgo_ u a = P obMig ación * Epiuni
▪ P obMig ación: con un alo en e 0 y 1, es la p obabilidad de
que la especie asociada a la u a se desplace hacia la coma ca
ganade a du an e la semana ac ual.
▪ Epiuni : la cons an e asociada a la unidad epidemiológica del
b o e de la u a. Un b o e de a es domés icas apenas p esen a
un pelig o pues no malmen e se encuen an en cau i e io,
mien as que las sil es es son las más pelig osas. Los alo es son
los siguien es:
• Domés icas: 0.1
Capí ulo 4 - Aplicación del modelo y gene ación de ale as
33
• Cau i as: 0.3
• Sil es es: 1
o Supe i encia del i us i, : núme o de días que el i us de la g ipe puede
sob e i i según el p onós ico de la empe a u a mínima de la coma ca
i du an e la semana ac ual . Es a a su ez se calcula con la ó mula:
Supe i encia = -7.82 * ln( empe a u a en g ados Celsius (Cº) ) + 29.94
Es e alo se sa u a á en 66. También, en caso de que la empe a u a
sea igual o es é po debajo de los 0º.
Una ez calculado el iesgo es e debe aduci se a un ni el de ale a del 1
al 5 pa a pode se isualizado en la aplicación web. Po ello se sigue el siguien e
esquema:
o Ale a ni el 1: 50-100
o Ale a ni el 2: 100-150
o Ale a ni el 3: 150-300
o Ale a ni el 4: 300-2000
o Ale a ni el 5: >2000
Pa a ajus a el iesgo a los ni eles de ale a necesa ios y p oba la p ecisión de las
dis in as e siones del a amien o de los da os, la in es igado a I ene Iglesias hizo a ios
es udios con la ejecución del modelo du an e el pe iodo de un año (52 semanas) en e
los años 2020 y 2021, pues en es os dos años se p odujo una ola de g ipe a ia po oda
Eu opa, p o ocando ambién casos en España.
Es os es udios consis ían, p incipalmen e, en la gene ación de una g á ica
mos ando una cu a ROC. Es a g á ica cons a de dos ejes, el e ical ep esen ando
sensibilidad, p obabilidad de que un caso posi i o (hubo e dade amen e un b o e en
una coma ca) sea p edicho como posi i o, y 1 - especi icidad en el eje ho izon al,
donde la especi icidad es p obabilidad de que un caso nega i o (no hubo b o e) sea
p edicho como nega i o. En la Figu a 4.1 se mues a la g á ica esul an e jun o con una
abla que mues a di e en es umb ales de iesgo y la can idad de Falsos Posi i os y
Capí ulo 4 - Aplicación del modelo y gene ación de ale as
34
Nega i os (ale as mal p edichas), la can idad los e dade os posi i os y nega i os
(núme o de coma cas en los hubo b o e y en los que no hubo), además de la
sensibilidad y especi icidad co espondien es a cada umb al.
Figu a 4.1 Es udio con cu a ROC del modelo
Con el es udio se in en ó a e igua qué umb al o ecía mayo especi icidad, con
el obje i o de le an a el meno núme o de alsas ala mas posible. Así se op ó po ija el
umb al con un alo de 2000, adqui iendo así una especi icidad del 95%. Si bien es e
umb al es el más adecuado pa a el modelo, ambién conlle aba una sensibilidad de
solamen e el 33%, lo que signi icaba 2 de cada 3 b o es no se ían co ec amen e
p edichos.
Los pocos casos que ha habido en España hacen que sea muy di ícil mejo a la
p ecisión con la que se p edicen posibles b o es. En la Figu a 4.2 se mues an los ni eles
gene ados po el modelo en ene o de 2021, con las dos coma cas donde se p oduje on
b o es odeados en azul. Es e mes jun o con diciemb e de 2020 ue on los meses con
mayo núme o de b o es en Eu opa du an e es a ola de g ipe a ia . Como bien mues a
la imagen g an pa e de las coma cas mos aban un ni el de ale a ele ado, pe o solo
hubo b o es en dos coma cas con ni eles de ale a 3 y 5.
Capí ulo 4 - Aplicación del modelo y gene ación de ale as
35
Figu a 4.2 Mapa con los ni eles de ale a de ene o 2021 y coma cas donde hubo b o es
4.3 A chi os gene ados po la he amien a
Una ez aplicado el modelo pa a el núme o de semanas especi icado, se debe
gua da es a in o mación de o ma pe sis en e. Pa a cub i las dis in as necesidades del
p oyec o, se gene an los siguien es a chi os:
4.3.1 Repo es
La he amien a gene a epo es de las ale as con in o mación impo an e en
o ma o PDF y CSV. Todos los epo es i án des inados a una ca pe a D i e.
4.3.1.1 Repo es PDF
Se gene a un iche o PDF, po cada semana donde se haya ejecu ado la
he amien a. Haciendo uso del lenguaje de ma cado lige o Ma kdown.
Capí ulo 5 - Conclusiones y abajo u u o
43
Capí ulo 5 - Conclusiones y abajo u u o
En es e capí ulo apa ece án las conclusiones ob enidas de es e p oyec o,
además de posibles líneas de abajo u u o pa a mejo a la he amien a.
5.1 Conclusiones
Du an e es e p oyec o, se ha que ido desa olla una he amien a capaz de
calcula un ni el de iesgo de b o e de G ipe A ia pa a cada coma ca ganade a
española. Pa a es o se han usado da os sob e b o es en Eu opa, u as mig a o ias de
a ias especies de a es acuá icas y las empe a u as mínimas de las coma cas
ganade as.
Los da os sob e b o es ue on adqui idos inicialmen e del po al de WAHIS-OIE y
inalmen e de la web de Emp es-i. Es o se hizo median e desca ga di ec a y la écnica
de Web sc aping pa a manda pe iciones y ex ae es os da os de su web. Los da os
sob e empe a u as se ob u ie on de AEMET y u iempo.ne , ambas median e el uso de
sus APIs y inalmen e las u as mig a o ias ue on p opo cionadas po la o ganización
SEO-Bi dli e.
T as es o, se pudo aplica el modelo pa a la ob ención de ni eles de iesgo y
mejo a la p ecisión de es os. La he amien a ambién es capaz de gene a a chi os con
in o mación sob e los ni eles en cada coma ca y los da os usados pa a calcula los,
además de pode subi es os iche os a su espec i a pla a o ma de almacenamien o
en la nube.
5.2 T abajo u u o
Al inicio del p oyec o, se especi ica on las a iables que se iban a usa en el
modelo pa a el cálculo del iesgo de posibles b o es. Apa e de las que ac ualmen e se
es án u ilizando, se deba ió sob e el posible uso de dos a iables más:
• La es acionalidad de las a es: da os sob e el mo imien o de las a es según la
es ación del año pod ían ayuda a mejo a el uso de u as mig a o ias en el
cálculo de iesgo.
Capí ulo 5 - Conclusiones y abajo u u o
44
• La ce canía en e pun os de llegada de a es mig a o ias y humedales del país:
es os luga es son ideales pa a la ansmisión del i us en e a es sil es es.
Po ello, uno de los abajos a u u o se ía el empleo de es as a iables en el
modelo, con el in de ob ene una mayo p ecisión al calcula el iesgo de un posible
b o e.
O o de los abajos a u u o, consis e en el desa ollo de una he amien a “o line”.
Es a pe mi i ía explo a dis in os pa áme os usados en el modelo como las cons an es
asociadas al ipo de a e de una u a mig a o ia o la en ana de iempo usada en la
búsqueda de b o es, y además aplica es e nue o modelo en semanas an e io es a la
ac ual. Es a he amien a end ía el obje i o p incipal de compa a los ni eles de iesgo
esul an es con b o es eales que ocu ie on en coma cas de España pa a así es ablece
un umb al de iesgo que se pod ía usa pa a p edeci si una coma ca es á en iesgo o
no. La he amien a gene a ía una ma iz de con usión mos ando los núme os de
e dade os posi i os, alsos posi i os, e dade os nega i os y alsos nega i os, además
de una g á ica con una cu a ROC u ilizando di e en es umb ales.
Las colecciones en MongoDB pueden c ece de o ma inde inida si no se piensa
en un mecanismo pa a limi a su amaño. Una o ma de consegui es o se ía la de bo a
las en adas más an iguas in en ando que las colecciones solo almacena an la
in o mación den o de una en ana de iempo. Es o se ha ía de o ma pe iódica y pa a
no pe de es as en adas an iguas, se pod ían comp imi en un iche o y se gua dadas
en o o luga . Aunque es o solo mi iga ía el p oblema, pod ía se su icien e pa a e i a
amaños de da os excesi os.
Chap e 6 -In oduc ion
45
Chap e 6 - In oduc ion
A ian In luenza is a disease ha a ec s wild and domes ic bi ds, usually
asymp oma ically because mos o he cases a e caused by low pa hogenic a ian
in luenza. Wild aqua ic bi ds (seagulls, s o ks, ducks…) a e he main hos s o his i us and
he ones ha can ansmi he i us he mos in e ms o dis ance.
On he o he hand, he highly pa hogenic a ian can cause dange ous
symp oms, which can easily kill a bi d and is also highly con agious. An in ec ion o his
ype o i us in a poul y a m can easily sp ead o all he o he bi ds as gene ally he e
isn´ much space be ween hem. This is he a ian ha is also he mos p obable o in ec
a human being, speci ically he H5N1 and H7N9 sub ypes, which can also cause se ious
symp oms in humans.
The epidemics gene a ed by his i us appea in mos cases on he Asian and
Eu opean con inen s. Wi hin Eu ope, hey occu mo e equen ly in coun ies loca ed o
he no h, because he i us can su i e longe ou in he en i onmen wi h low
empe a u es. Howe e , and un o una ely, Spain is no exemp om his i us wi h
examples o ou b eaks in 2017, and in 2020 and 2021 wi hin a new wa e o his i us.
6.1 Mo i a ion
Poul y a ming is o g ea impo ance o he Spanish economy. In ac , Spain was
consolida ed in 2019 as he ou h coun y in Eu ope ha p oduces he mos mea in he
mo e han 18,000 a ms ha exis wi hin he
23
coun y. Wi h he beginning o he COVID-
19 pandemic, all sec o s we e ha med. Despi e his c isis caused by he pandemic, he
ag icul u al, li es ock and ishing sec o s had a GDP ebound o 4.7% in 2020.
24
And
23
lamoncloa.gob.es
24
eag o.com
Chap e 6 -In oduc ion
46
ega ding he Spanish poul y indus y, i gene a es a ound 2,300 million eu os o he
na ional GDP and app oxima ely gene a es 40,000 jobs.
25
In addi ion, Spain is a majo expo e o poul y mea . In hese yea s, he e was an
inc ease o 2.5% in he numbe o sales compa ed o he p e ious decade. The main
coun ies o which his poul y mea is sold a e in he Eu opean Union, o which he
neighbo ing coun ies (F ance and Po ugal) s and ou .
26
I should be no ed ha h oughou he yea he e a e mig a ions o di e en
species o bi ds om Eu opean coun ies aising he p obabili y o in ec ion in Spain and
endange ing he poul y sec o .
The consequences o an ou b eak o a ian in luenza in Spain a e no only sani a y
bu also economic and can be dange ously ca as ophic. The i s o be a ec ed would
be poul y a me s, since his disease is highly con agious among bi ds, o cing he
slaugh e o a la ge pa o he bi ds in he a m o heal h easons, assuming a g ea
economic loss o hem. In addi ion, he abo e could ha e a majo impac on he
coun y's economy and e en on Eu ope.
As o he heal h consequences, he high pa hogenic a ian is e y le hal in bi ds,
on he o he hand, in ec ions in humans a e less p obable, bu can s ill cause se ious
symp oms.
Fo hese easons, i ´s necessa y o ha e a mechanism o p edic and buy enough
ime o ake he necessa y measu es and a oid economic losses especially in he cu en
si ua ion whe e he whole coun y is weakened a e he c isis caused by COVID-19.
6.2 Objec i es
The objec i e o his p ojec is he de elopmen o a ool capable o p edic ing
possible ou b eaks o a ian in luenza in he li es ock egions o Spain using da a om
25
a icul u a.com
26
h ps://a icul u a.com/espana-las-expo aciones-de-ca ne-de-a e-cuad iplican-a-las-
impo aciones-en-cinco-anos/
Chap e 6 -In oduc ion
47
ecen ou b eaks in Eu ope, mig a o y ou es o di e en species and empe a u es o
each egion wi hin a weekly pe iod. Fo his he ollowing would be needed:
• A da abase wi h ou b eaks in Eu ope capable o being upda ed pe iodically, as
well as a da a sou ce o ex ac such in o ma ion.
• A da abase wi h mig a o y ou es o impo an bi d species ha a e ela ed o he
ansmission o he i us in Spain.
• A da a sou ce o collec empe a u e o ecas s in he di e en li es ock egions
and om whe e o ake he eal empe a u es o pas da es o s o e hem in he
da abase, all on a egula basis.
• A model capable o gi ing an ale le el o each egion wi h he p e ious da a, in
addi ion o being able o gene a e a epo wi h he da a conside ed o calcula e
his le el in each ale .
The esul ing code will be s o ed in his public Gi hub eposi o y.
6.3 Wo kplan
This is he wo k plan which will be ollowed o mee he objec i es de ailed abo e:
• Sea ch and choice o da a sou ces: possible da a sou ces will be analyzed o
ex ac each ype o da a necessa y o he model. Once ound, we will p oceed
o choose one o each ype o da a.
• Design o he so wa e modules: he modules necessa y o comple e he
objec i es o his p ojec will be de ailed.
• De elopmen o he ool: app op ia e echnologies will be analyzed o implemen
he di e en modules.
• E alua ion o he model: once he de elopmen is inished, i will be e alua ed,
compa ing ale s o he model wi h ou b eaks ha occu ed in Spain.
• P epa a ion o he p ojec epo : inally, he p ocedu es and esul s ob ained
du ing he de elopmen p ocess o his p ojec will be d a ed.
Capí ulo 5 - Conclusiones y abajo u u o
49
Chap e 7 - Conclusions and Fu u e Wo k
In his chap e he conclusions ob ained om his p ojec will appea , as well as
possible u u e lines o wo k o imp o e he ool.
7.1 Conclusions
Du ing his p ojec , an a emp has been made o de elop a ool capable o
calcula ing a isk le el o an ou b eak o A ian Flu o each Spanish li es ock egion. Fo
his, da a o ou b eaks in Eu ope, mig a o y ou es o se e al species o aqua ic bi ds and
minimum empe a u es o li es ock egions ha e been used.
Da a on ou b eaks we e ini ially acqui ed om he WAHIS-OIE po al and inally
om he Emp es-i websi e. This was done h ough di ec download and he Web sc aping
echnique o send eques s and ex ac his da a om he websi e. The da a on
empe a u es we e ob ained om AEMET and u iempo.ne , bo h by using hei APIs and
inally he mig a o y ou es we e p o ided by he SEO-Bi dli e o ganiza ion.
A e his, he model could be applied o ob ain isk le els and imp o e hei
p ecision. The ool is also capable o gene a ing iles wi h in o ma ion on he le els in each
egion and he da a used o calcula e hem, as well as being able o upload hese iles
o hei espec i e cloud s o age pla o m.
7.2 Fu u e wo k
A he beginning o he p ojec , he a iables o be used in he model o calcula e
he isk o possible ou b eaks we e speci ied. Apa om hose cu en ly being used, he
possible use o wo mo e a iables was discussed:
• The seasonali y o bi ds: da a on he mo emen o bi ds acco ding o he season
could help o imp o e he use o mig a o y ou es in he calcula ion o isk.
• The p oximi y be ween a i al poin s o mig a o y bi ds and he coun y's we lands:
hese places a e ideal o he ansmission o he i us be ween wild bi ds.
Fo hese easons, one o he u u e asks would be he use o hese a iables in
he model o ob ain g ea e p ecision when calcula ing he isk o a possible ou b eak.
Capí ulo 5 - Conclusiones y abajo u u o
50
Ano he u u e wo k consis s in he de elopmen o an "o line" ool. This would
allow modi ying di e en pa ame e s used in he model such as he cons an s associa ed
wi h he ype o bi d on a mig a o y ou e, o he ime window used in he sea ch o
ou b eaks and apply his new model o weeks p io o he cu en one. This ool would
ha e he main objec i e o compa ing he esul ing isk le els wi h eal ou b eaks ha
occu ed in egions o Spain o es ablish a isk h eshold ha could be used o p edic
whe he a egion is a isk o no . The ool would gene a e a con usion ma ix showing he
numbe s o ue posi i es, alse posi i es, ue nega i es, and alse nega i es, as well as a
g aph wi h a ROC cu e using di e en h esholds.
Collec ions in MongoDB can g ow inde ini ely i a mechanism o limi hei size is
no hough o . One way o achie e his would be o dele e olde en ies by ying o ge
collec ions o only s o e he in o ma ion wi hin a ime window. This would be done
pe iodically and in o de no o lose hese old en ies, hey could be comp essed in o a
ile and sa ed elsewhe e. Al hough his would only mi iga e he p oblem, i could be
enough o a oid excessi e da a sizes.
Capí ulo 8 - Con ibuciones
51
Capí ulo 8 - Con ibuciones
8.1 Emilio José Valencia Cal opiña
Pa icipación en la ac ualización del sc ip de Web sc aping del po al de WAHIS-
OIE. T as ealiza la búsqueda de posibles uen es de da os, se op ó po segui usando el
po al de WAHIS-OIE como uen e de da os sob e b o es, pues es e ue usado du an e el
p oyec o en el que se basa es e TFG. Dicho p oyec o con aba con un sc ip de Web
sc aping pa a es e in, sin emba go, es e código ya e a obsole o en elación con la
ac ual web de WAHIS-OIE debido a que el po al había cambiado la es uc u a de su
in e az, po lo que el sc ip e a inu ilizable y necesi aba se modi icado pa a que la
ex acción uese co ec a.
Implemen ación del modeloV1, usado ac ualmen e. Donde se implemen a la
unción con la que se calcula el iesgo de ale a de una coma ca en conc e o. Teniendo
en cuen a odos los b o es elacionados con dicha coma ca, la p obabilidad de
mig ación de la especie de la semana pasada de cada b o e y la empe a u a mínima
de la semana con la que se es á ejecu ando el modelo en la zona de la coma ca.
Co igiendo el p oblema de las semanas de la p obabilidad de mig ación en el
modeloV1. La ejecución del código en gene al se hace de lunes a lunes, el iche o con
los da os de la p obabilidad de mig ación se dis ibuía po semanas, pe o empezando
del 1 de cada mes y po mes, suponiendo cua o semanas (del 1 al 7, del 8 al 14, del 15
al 22 y del 22 a in de mes). Pues o que el iche o que albe gaba las p obabilidades no
seguía la misma dis ibución del p oyec o en gene al, se debía de adap a .
Enca gado de la búsqueda de uen es de da os que p opo cionasen in o mación
me eo ológica, en conc e o de las empe a u as mínimas de las echas pasadas como
de la p edicción de la semana siguien e. Pieza undamen al en el cálculo del modelo.
La búsqueda de una uen e de da os que pudiese o ece da os de p edicciones ue la
más complicada ya que las uen es halladas no p esen aban una o ma de acceso
sencilla. En su mayo ía, pa a ene acceso a esos da os se debía de hace uso de la
écnica de Web sc aping pe o el ni el de complejidad e a al o y con el in de e i a el
p oblema que hubo con WAHIS-OIE, que as el cambio de la in e az, el sc ip
59
APÉNDICES
Apéndice A - Dependencias so wa e del
p oyec o
A con inuación, se enume an las he amien as so wa e y lib e ías de código que
u iliza el p oyec o. El código equie e de un se ido con un Sis ema Ope a i o
compa ible con odas las he amien as p incipales, así como de una conexión a in e ne
capaz de conec a con las APIs de AEMET y TuTiempo.ne y con la web de Emp es-i.
P incipales dependencias
El siguien e lis ado ecoge odo el so wa e necesa io pa a la ejecución del
código:
• Py hon3: lenguaje de p og amación usado pa a hace el código. Es ambién
ecomendable el uso de e siones >= 3.9, pues es e ue el usado en el
p oyec o.
• Pip3: necesa io pa a usa las lib e ías de Py hon. Usa la e sión aco de con la
e sión de Py hon que se es é usando.
• MongoDB: pa a el manejo de la base de da os p incipal, la cual almacena
da os sob e b o es, u as y empe a u as en e o os.
• Neo4j: des inado al almacenamien o de u as mig a o ias en e zonas de
b o e y coma cas median e una es uc u a de g a os.
• Pandoc: usado pa a con e i los epo es de iche os Ma kdown a PDF.
Lib e ías de Py hon usadas
Se puede ob ene in o mación de odas es as lib e ías en la web de Pypi.o g
• Geolib, geopy y pygeohash: o ecen ope aciones elacionadas con el
manejo de geohashes.
60
• Gi Py hon: lib e ía usada pa a in e ac ua con eposi o ios gi . Usado pa a la
subida de iche os geoJSON al eposi o io de la in e az web.
• Pyd i e2: o ece clases pensadas pa a acili a el uso de la API de Google
D i e. Usado pa a la subida de iche os CSV Y PDF a una unidad, en e o as
unciones.
• Numpy: una popula lib e ía especializada en ope aciones sob e alo es
numé icos, aunque solo se usa su unción de loga i mo nepe iano en la
ó mula del modelo.
• Pandas: o a amosa lib e ía que se usa pa a maneja da os es uc u ados. En
el p oyec o se u iliza pa a ealiza ope aciones sob e ma ices, p incipalmen e
con da os ex aídos de iche os CSV.
• Unicodecs : pe mi e el a amien o de iche os CSV con ca ac e es Unicode.
• Reques s: usado pa a ealiza pe iciones a las APIs y a la web de Emp es-i,
ex ayendo los da os que de ol ían.
• Pymongo: lib e ía o icial de MongoDB pa a in e ac ua con su base de da os.
• Neo4j: lib ea ía o icial de Neo4j pa a in e ac ua con su base de da os.