Una contribución basada en VLSI para la recopilación de datos en tiempo real mediante IA neuromórfica: una aplicación al scouting deportivo

UNIVERSIDAD DE SEVILLA
TESIS DOCTORAL
Una con ibución basada en VLSI pa a
la ecopilación de da os en iempo eal
median e IA neu omó ica: una
aplicación al scou ing depo i o
Au o :
Sal ado Canas Mo eno
Di ec o es:
D a. Elena Ce ezuela Escude o
D . An onio Ríos Na a o
Una esis p esen ada en cumplimien o de los equisi os pa a
la ob ención del g ado de Doc o en Ins alaciones y Sis emas pa a la Indus ia
en el
G upo de in es igación TEP-108: Robó ica y Tecnología de
Compu ado es
Depa amen o de A qui ec u a y Tecnología de Compu ado es
14 de julio de 2024
III
Decla ación de Au o ía
Yo, Sal ado Canas Mo eno, decla o que es a esis doc o al i ulada «Una con ibución
basada en VLSI pa a la ecopilación de da os en iempo eal median e IA neu omó ica:
una aplicación al scou ing depo i o» y los abajos p esen ados en ella son p opios.
Con i mo que:
Es e abajo ha sido ealizado comple amen e siendo es udian e de doc o ado en
es a Uni e sidad.
En caso de que alguna pa e de es a esis doc o al haya sido p esen ada an e io -
men e pa a la ob ención de un í ulo o cualquie o a cuali icación en es a uni e -
sidad o en cualquie o a ins i ución, se ha indicado cla amen e.
En los casos en que se ha consul ado el abajo publicado po e ce os, siemp e se
a ibuye la au o ía cla amen e.
En los casos en que he ci ado el abajo de o os, siemp e se indica la uen e. A
excepción de dichas e e encias, los abajos ealizados pa a es a esis doc o al son
comple amen e de mi au o ía.
He econocido y ag adecido odas las uen es p incipales de ayuda u ilizadas pa a
la elabo ación de los abajos que cons i uyen es a esis doc o al.
En los casos en los que la esis doc o al se basa en un abajo ealizado po mí
conjun amen e con o as pe sonas, he dejado cla o lo que han hecho o os y lo que
he apo ado yo.
Fi ma:
Fecha:
V
UNIVERSIDAD DE SEVILLA
Resumen
Escuela Poli écnica Supe io
Depa amen o de A qui ec u a y Tecnología de Compu ado es
Doc o en Ins alaciones y Sis emas pa a la Indus ia
Una con ibución basada en VLSI pa a la ecopilación de da os en iempo eal
median e IA neu omó ica: una aplicación al scou ing depo i o
po Sal ado Canas Mo eno

VI
La hipó esis en la que se basa es a esis doc o al, es que se puede ealiza una
con ibución al scou ing depo i o, au oma izando la ecogida de da os de e en os ísi-
cos depo i os (mo imien o de una pelo a, posición de una pe sona, e c) u ilizando un
en oque p opio de la ingenie ía neu omó ica, además de écnicas de AI/ML (A i icial
In elligence/Machine Lea ning) con ha dwa e VLSI (Ve y La ge-Scale In eg a ion). En
pa icula , el p incipal obje i o es con ibui al a ance de los sis emas de scou ing de-
po i o ac uales median e el uso de la in eligencia a i icial y disposi i os inspi ados en
la ingenie ía neu omó ica. Si bien exis en in es igaciones y soluciones so wa e pa a
au oma iza la ecolección de da os y gene ación de es adís icas en el ámbi o del scou-
ing depo i o, es e abajo explo a nue os en oques desde la pe spec i a de las edes
neu onales y las cáma as de isión neu o-inspi adas.
Pa a ello se sigue un p oceso analí ico en el que se es udian di e sos en oques
basados en écnicas consolidadas y ampliamen e u ilizadas en el campo de la isión po
compu ado , como las edes neu onales con olucionales, los algo i mos de acking y
o os mé odos ele an es.
Los esul ados ob enidos con el en oque basado en écnicas consolidadas de
isión po compu ado , mencionados p e iamen e, mues an cie as limi aciones an e
di e en es p oblemá icas. Po lo an o, se decide p o undiza en el desa ollo de un sis e-
ma neu omó ico que complemen e y mejo e es e en oque. Dicho sis ema neu omó ico
se cen a en el uso de una cáma a po e en os, ambién conocida como e ina a i icial o
simplemen e e ina. La in eg ación de es a ecnología neu o-inspi ada con los mé odos
adicionales de isión a i icial da luga a un sis ema he e ogéneo con un g an po encial
pa a abo da los desa íos del análisis depo i o.
Finalmen e, se p esen a una compa ación del sis ema esul an e en di e en es
ipos de ha dwa e: CPU, GPU (de esc i o io y empo ada) y TPU. Es a compa ación
iene a demos a el ipo de ha dwa e en el que el sis ema desa ollado se compo a
de mane a más e icien e, es o es, meno la encia, meno consumo ene gé ico, meno
u ilización de ecu sos, en e o os.
VII
UNIVERSIDAD DE SEVILLA
Abs ac
Escuela Poli écnica Supe io
Depa amen o de A qui ec u a y Tecnología de Compu ado es
Doc o en Ins alaciones y Sis emas pa a la Indus ia
Una con ibución basada en VLSI pa a la ecopilación de da os en iempo eal
median e IA neu omó ica: una aplicación al scou ing depo i o
po Sal ado Canas Mo eno
VIII
The hypo hesis on which his doc o al hesis is based is ha a con ibu ion
o spo s scou ing can be made by au oma ing he collec ion o physical spo s e en
da a (mo emen o a ball, posi ion o a pe son, e c.) using a neu omo phic enginee ing
app oach, in addi ion o AI/ML (A i icial In elligence/Machine Lea ning) echniques
wi h VLSI (Ve y La ge-Scale In eg a ion) ha dwa e. In pa icula , he main objec i e is
o con ibu e o he ad ancemen o cu en spo s scou ing sys ems h ough he use
o a i icial in elligence and neu omo phic enginee ing inspi ed de ices. While esea ch
and so wa e solu ions exis o au oma e da a collec ion and s a is ics gene a ion in he
ield o spo s scou ing, his wo k explo es new app oaches om he pe spec i e o
neu al ne wo ks and neu o-inspi ed ision came as.
Fo his pu pose, an analy ical p ocess is ollowed in which se e al app oaches
based on consolida ed and widely used echniques in he ield o compu e ision, such
as con olu ional neu al ne wo ks, acking algo i hms and o he ele an me hods, a e
s udied.
The esul s ob ained wi h he p e iously men ioned app oach based on con-
solida ed compu e ision echniques show ce ain limi a ions in he ace o di e en
p oblems. The e o e, i was decided o u he de elop a neu omo phic sys em o com-
plemen and imp o e his app oach. This neu omo phic sys em ocuses on he use o
an e en -d i en came a, also known as a i icial e ina o simply e ina. The in eg a ion
o his neu o-inspi ed echnology wi h adi ional compu e ision me hods esul s in a
he e ogeneous sys em wi h g ea po en ial o add ess he challenges o spo s analysis.
Finally, a compa ison o he esul ing sys em is p esen ed, on di e en ypes o
ha dwa e: CPU, GPU (desk op and embedded) and TPU. This compa ison demons a-
es he ype o ha dwa e on which he de eloped sys em beha es mo e e icien ly, i.e.,
lowe la ency, lowe powe consump ion, lowe esou ce u iliza ion, among o he s.
IX
Ag adecimien os
En p ime luga quie o ag adece a odos los conejillos de indias que han pa ici-
pado en las di e en es g abaciones y expe imen os p opues os en es e abajo de in es-
igación, an o del depa amen o de A qui ec u a y Tecnología de Compu ado es como
ue a de él.
Si bien nomb a los a odos se ía una a ea a dua, sí me gus a ía ag adece pa -
icula men e a aquellos que han in e enido de mane a decisi a y desin e esada.
A mi amigo Ma co, po su ayuda con ínua con buenos consejos y o ien aciones,
y po o ece me desin e esadamen e el se ido de su g upo de in es igación pa a las
a eas de en enamien o de las edes neu onales usadas en es e abajo.
A Juanjo, esponsable del Cen o de Tecni icación de Tenis Blas In an e de Se-
illa, de la Fede ación Andaluza de Tenis, que a pesa de no conoce me de nada, me
ayudó desde el p ime momen o pe mi iéndome g aba en sus ins alaciones y ponien-
do a mi disposición an o la mejo pis a como di e en es jugado es expe imen ados;
odo sin pedi nada a cambio y siemp e con o al disponibilidad.
A odos los miemb os del depa amen o, uen e de conocimien o e inspi ación.
En especial a aquellos que me b inda on su apoyo o consejo en algún momen o du an e
el anscu so de es e abajo.
A odos aquellos que no han sido nomb ados exp esamen e y que de o ma
di ec a o indi ec a han in luido en mis pasos y en cómo soy, g acias.
Y inalmen e, pe o no po ello en meno medida, me gus a ía ag adece espe-
cialmen e odo el apoyo y ayuda que me han p es ado mis di ec o es Elena y An onio
que han mi ado po mí cada ez que lo he necesi ado, han sido mi guía p incipal en
es e complejo y ascinan e mundo de la in es igación y siemp e han es ado dispues os
a ayuda me con odo, incluso en épocas de acaciones o pe iodos de baja labo al.

XVII
Índice de igu as
2.1. Imagen ilus a i a de la clasi icación de la IA . . . . . . . . . . . . . . . . . 14
2.2. Visualización de una neu ona biológica. . . . . . . . . . . . . . . . . . . . . 21
2.3. Diag ama de una neu ona a i icial o pe cep ón. Ejemplo de en adas y
salida de una neu ona a i icial y su de inición ma emá ica. . . . . . . . . . 22
2.4. Ejemplo de dos opologías de edes neu onales. . . . . . . . . . . . . . . . 23
2.5. G á ica de la unción Sigmoide. . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.6. G á ica de la unción ReLU. . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.7. G á ica de la unción Tanh. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.8. G á ica de la unción So max. . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.9. Validación del ajus e. (A) Ejemplo de un modelo que incu e en unde -
i ing, o e i ing y good i . En el caso del unde i ing, el modelo no
es capaz de ealiza una buena gene alización y alla al p edeci incluso
las mues as del conjun o de en enamien o. En el caso del o e i ing, el
modelo se ajus a demasiado bien a los da os de en enamien o, p opo -
cionando buenas p edicciones cuando se u ilizan esos da os, pe o allan-
do al in en a p edeci el esul ado pa a una nue a mues a. Cuando el
modelo iene una buena capacidad de gene alización, su ajus e es ideal
an o pa a p edeci da os del conjun o de en enamien o den o de un
e o admisible, como pa a p edeci nue os da os. (B) Ejemplo de cu as
que mues an la pé dida en el en enamien o y la alidación pa a a ios
escena ios: unde i ing, o e i ing y good i . . . . . . . . . . . . . . . . . 31
2.10. Ejemplo g á ico del g adien e descenden e cuando el pun o inicial es po-
si i o......................................... 34
3.1. De ección de jugado es y pelo a únicamen e u ilizando Yolo 8 . . . . . . . 53
3.2. De ección de la pose del jugado y la mano con la que golpea la pelo a . . 55
3.3. Pun os de segmen ación de la pis a de enis con su p obabilidad . . . . . . 57
3.4. Pun os de segmen ación de la pis a de enis . . . . . . . . . . . . . . . . . . 58
3.5. Flujo de so wa e del sis ema p opues o, donde los nodos azules co es-
ponden a la salida isual, los nodos ojos ep esen an los nodos de p o-
cesamien o de da os y los nodos e des ep esen an la salida de da os
b u os de las e apas de p ocesamien o. . . . . . . . . . . . . . . . . . . . . . 59
3.6. Cap u a de pan alla del sis ema p opues o en uncionamien o . . . . . . . 61
3.7. Mapa de calo con algunas es adís icas sob e el pa ido . . . . . . . . . . . 62
XVIII
4.1. Mues a del CSV gene ado a pa i de una g abación hecha en modo
E en In ensi y Mode ................................ 75
4.2. Composición del mismo ins an e de un ídeo de la e ina a i icial, gene-
ado con di e en e núme o de e en os. . . . . . . . . . . . . . . . . . . . . . 77
4.3. F ame seleccionado como momen o de sinc onización en es e ídeo. La sin-
c onización se ealiza en el ins an e en que la pelo a impac a con a la ed.
Se mues a el ame con los e en os colo eados pa a mayo cla idad . . . 78
4.4. F ame seleccionado como momen o de sinc onización en es e ídeo. La sin-
c onización se es ablece en el ins an e en que la pelo a golpea la ed, des-
acada con un cí culo ojo pa a acili a su iden i icación. . . . . . . . . . . 79
4.5. Fo og ama de un ídeo g abado po la e ina a i icial, gene ado con
5.000 e en os y p ocesado po G ounding Dino pa a su au o-e ique ado . 82
4.6. Fo og ama de un ídeo omado po la webcam y p ocesado po G oun-
ding Dino pa a su au o-e ique ado . . . . . . . . . . . . . . . . . . . . . . . 83
4.7. Mé icas de las e apas en enamien o y alidación de la CNN con los í-
deos de la e ina a i icial. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.8. Mé icas de las e apas en enamien o y alidación de la CNN con los í-
deosdelawebcam................................. 87
4.9. Cap u a del so wa e que p ocesa el ídeo de la e ina a i icial con Yolo 8
y aslada su bounding box al ideo de la webcam. . . . . . . . . . . . . . . 90
4.10. Fo og ama en el que se ha asladado la bounding box del ídeo de la
e ina a i icial al ídeo de la webcam y se ha sido ampliada al iple de
su amaño o iginal y hecho cuad ada . . . . . . . . . . . . . . . . . . . . . . 92
4.11. Reco e de la bounding box del o og ama mos ado en la igu a 4.10 . . . 93
4.12. Imágenes alea o ias del da ase de alidación. . . . . . . . . . . . . . . . . 94
4.13. Imágenes alea o ias del da ase de alidación después de pasa po la CNN. 95
4.14. Mé icas de las e apas en enamien o y alidación de la CNN ( eco es). . 96
4.15. Imágenes alea o ias del da ase de alidación. . . . . . . . . . . . . . . . . 97
4.16. Imágenes alea o ias del da ase de alidación después de pasa dichas
imágenes po la CNN en enada con el da ase de los eco es. . . . . . . . 98
XIX
Índice de ablas
3.1. Da os analí icos a ex ae y su signi icado . . . . . . . . . . . . . . . . . . . 45
3.2. Da os analí icos b u os y p ocesados . . . . . . . . . . . . . . . . . . . . . . 46
3.3. Compa ación de di e en es acke s u ilizando la mé ica IoU . . . . . . . 50
3.4. Compa ación de di e en es CNNs bajo di e en es escena ios . . . . . . . . 52
3.5. Tabla compa a i a de la implemen ación con/sin es imación de poses . . 54
3.6. Resumen de los esul ados del sis ema p opues o . . . . . . . . . . . . . . 65
4.1. Desc ipción de los campos del CSV pa a el modo E en In ensi y Mode . . 75
4.2. Compa ación de las mé icas de en enamien o y alidación en e el mo-
delo de la e ina a i icial y el modelo de la webcam. . . . . . . . . . . . . . 90
4.3. Compa ación de mé icas en e las es CNNs: e ina a i icial, webcam y
eco es. ...................................... 99
5.1. Compa a i a de endimien o del algo i mo del 3 en di e en es pla a o -
mas ha dwa e ( is a e ical). . . . . . . . . . . . . . . . . . . . . . . . . . . 133
5.2. Compa a i a de endimien o del algo i mo del 4 en di e en es pla a o -
mas ha dwa e ( is a e ical). . . . . . . . . . . . . . . . . . . . . . . . . . . 134
XXI
Lis a de ab e ia u as
RNN Recu en Neu al Ne wo k
ReLU Rec i ied Linea Uni
RNN Redes neu onales
CNN con olu ional neu al ne wo k
RNC Red neu onal con olucional
SVM Suppo Vec o Machine
KNN K-Nea es neighbou s
VP Ve dade os posi i os
VN Ve dade os nega i os
FP Falsos posi i os
FN Falsos nega i os
EX Exac i ud
S Sensibilidad
NN Red neu onal
DVS Dynamic Vision Senso
GPU G aphics p ocessing uni
TPU Tenso p ocessing uni
CPU Cen al P ocessing Uni
FPGA Field P og amable Ga e A ay
ASIC Applica ion-speci ic in eg a ed ci cui
AI A i icial in elligence
IA In eligencia a i icial
ML Machine lea ning
DL Deep Lea ning
MPL Mul ilaye Pe cep on
AUC A ea Unde he Cu e
MSE Mean squa ed e o
SNN Spiking neu al ne wo k
MPSoC Mul ip ocesso sys ems-on-chip
VLSI Ve y La ge-Scale In eg a ion
GPS Global Posi ioning Sys em
IoU In e sec ion o e Union
YOLO You Only Look Once
SAM Segmen Any hing Model
mAP Mean A e age P ecision

1
Capí ulo 1
In oducción
“To unde s and eali y, you ha e o unde s and
how hings wo k. I you do ha , you can s a
o do enginee ing wi h i , build hings. And i
you can’ , wha e e you’ e doing p obably isn’
good science.”
– Ca e Mead
Con el paso del iempo, odos los aspec os de nues a ida han expe imen ado
una e olución, y el depo e no ha sido una excepción. En las úl imas décadas, hemos
p esenciado una ans o mación signi ica i a en cada una de sus ace as: desde los há-
bi os alimen icios de los depo is as, has a los ma e iales de las p endas depo i as, pa-
sando po los mé odos de en enamien o, y los c i e ios u ilizados pa a icha jugado es,
en e o os muchos. La indus ia del depo e ha ap o echado la inno ación ecnológica
que nues a sociedad ha ido log ando pa a se cada ez más e icien e y compe i i a.
Una de las á eas del depo e que ha expe imen ado un cambio no able es el
scou ing depo i o. El scou ing depo i o es una disciplina que se en oca en la iden i-
icación, e aluación y seguimien o de jugado es y equipos con el obje i o de ob ene
in o mación aliosa pa a la oma de decisiones es a égicas. Los scou s, scou e s o caza-
alen os se enca gan de analiza de alladamen e las habilidades écnicas, ác icas, ísicas
y men ales de los depo is as, así como de es udia a los equipos i ales, sus sis emas
de juego y sus pa ones ác icos. Es a in o mación es i al pa a que los en enado es
y di ec i os puedan diseña es a egias e ec i as y oma decisiones in o madas sob e
ichajes, eno aciones de con a os y plani icación de plan illas.
El concep o de scou ing depo i o expe imen ó una ans o mación signi ica-
i a con la in oducción de mé odos es adís icos a anzados, especialmen e en depo es
como el béisbol. Un hi o pa adigmá ico de es a e olución se p odujo en 1997, cuando
William Lama Beane III (conocido popula men e como Billy Beane) ue ascendido a di-
ec o gene al del equipo de béisbol es adounidense Oakland A hle ics. Inspi ado po
el en oque cuan i a i o conocido como sabe me ics, popula izado po Bill James en la
2Capí ulo 1. In oducción
década de 1980 (James, 1985), Beane omó la decisión isiona ia de con a a a un econo-
mis a y basa la e aluación de jugado es en un análisis exhaus i o de es adís icas. Es e
en oque pe mi ió es ablece alo aciones obje i as que si ie on como c i e io p inci-
pal pa a la con a ación y despido de jugado es. La aplicación de es a me odología no
solo lle ó a los Oakland A hle ics a alcanza nue os ho izon es compe i i os, sino que
ambién e olucionó la mane a en que los equipos depo i os de odas las disciplinas
abo dan la oma de decisiones es a égicas. La his o ia de es e cambio ue inmo alizada
en el lib o y la película Moneyball (Lewis, 2004), ma cando un an es y un después en el
uso de análisis de da os en el depo e.
Hoy en día, el depo e p o esional y semip o esional es á in ínsecamen e li-
gado al uso de es adís icas. El p ime paso en es e p oceso es la ecolección de da os, a
pa i de los cuales se gene an es adís icas y se ex aen conclusiones aliosas.
Ac ualmen e, la ecopilación de es os da os es ealizada po una igu a cla e
en los clubes depo i os: el scou e , ambién conocido como scou u ojeado depo i o
en español. Es e p o esional asis e a los pa idos con el obje i o de analiza y ecopila
in o mación de allada sob e los e en os que se desa ollan du an e el juego. T adicio-
nalmen e, los ojeado es u ilizan p og amas in o má icos especializados pa a in oduci
los da os ecopilados, lo que pe mi e gene a es adís icas, conclusiones y ecomenda-
ciones exhaus i as. Es os da os son pos e io men e u ilizados po los clubes depo i os
pa a decisiones an impo an es como la con a ación de jugado es o la elabo ación de
es a egias y en enamien os especí icos pa a en en a se a de e minados i ales.
Es e abajo in oduce una no edosa y p ome edo a línea de in es igación que
se basa en el uso de écnicas a anzadas de In eligencia A i icial (IA) y Ap endizaje
Au omá ico (ML), p edominan emen e edes neu onales con olucionales, jun o con un
componen e cla e de la ingenie ía neu omó ica: las cáma as basadas en e en os. El ob-
je i o es au oma iza la ecogida de da os en e en os depo i os ísicos, lo que incluye
el seguimien o del mo imien o de la pelo a, la posición de los jugado es, el b azo u ili-
zado pa a golpea la pelo a, los desplazamien os en la pis a, la elocidad de eacción y
o os aspec os cla e pa a el análisis de endimien o.
El scou ing depo i o, en endido como la ecopilación y análisis sis emá ico de
da os pa a e alua el desempeño de jugado es y equipos, ha cob ado g an ele ancia
en nume osos depo es, como el ú bol, el balonces o, el béisbol o el au omo ilismo.
Cada disciplina p esen a desa íos especí icos pa a la cap u a y p ocesamien o de da os,
dependiendo de ac o es como la dinámica del juego, el amaño del campo o pis a, y la
elocidad de los obje os en mo imien o. En es e con ex o, el enis ha sido seleccionado
como el depo e de e e encia pa a es e abajo debido a a ias azones undamen ales.
En p ime luga , el enis es un depo e de al a elocidad y ca ga dinámica ele-
ada, donde la pelo a alcanza elocidades supe io es a 200 km/h en algunos golpes, lo
que supone un e o signi ica i o pa a los sis emas de de ección y seguimien o. Además,
el amaño educido de la pelo a y sus cambios b uscos de di ección añaden una comple-
jidad adicional al p oblema, con i iéndolo en un escena io ideal pa a p oba y alida
modelos de isión po compu ado a.
Capí ulo 1. In oducción 3
O o aspec o de e minan e en la elección del enis es la abundancia de con e-
nido audio isual disponible en línea. Exis en miles de ho as de pa idos de enis g a-
bados y e ansmi idos, lo que p opo ciona una uen e ica y accesible de da os pa a
el en enamien o, es eo y alidación de los algo i mos desa ollados en es e abajo. La
disponibilidad de ídeos en al a calidad y desde múl iples ángulos acili a la gene ación
de da ase s ex ensos y a iados, pe mi iendo e alua la obus ez y gene alización de los
modelos en di e en es condiciones de iluminación, ipos de pis a y es ilos de juego.
La In eligencia A i icial (IA) es un campo de la in o má ica que se en oca en
el desa ollo de sis emas que pueden ealiza a eas que no malmen e equie en de la
in eligencia humana, como el ap endizaje, el azonamien o, la esolución de p oblemas
y la pe cepción. Den o de la IA, el Ap endizaje Au omá ico (ML) es un subconjun o de
écnicas que pe mi en a los sis emas ap ende y mejo a a pa i de la expe iencia sin se
p og amados explíci amen e. Las edes neu onales con olucionales, un ipo especí ico
de algo i mo de ML, han demos ado un endimien o excepcional en a eas de isión
po compu ado a, como la de ección y clasi icación de obje os en imágenes y ídeos.
Po o o lado, la Ingenie ía Neu omó ica es un campo eme gen e que se ins-
pi a en la es uc u a y unción del sis ema ne ioso biológico pa a diseña sis emas de
compu ación más e icien es y adap ables. Un ejemplo des acado de es a ecnología son
las cáma as basadas en e en os, ambién conocidas como e inas a i iciales. A di e en-
cia de las cáma as adicionales que cap u an imágenes comple as a una asa ija, las
cáma as basadas en e en os de ec an y ansmi en únicamen e los cambios de lumino-
sidad que ocu en en la escena, lo que esul a en una mayo e iciencia ene gé ica y una
esolución empo al más al a.
La inalidad de es a esis doc o al es doble: po un lado, demos a que la au-
oma ización de la ecolección de da os depo i os es posible y, po o o, e oluciona
los sis emas ac uales de scou ing depo i o, que dependen en g an medida de la eco-
lección manual de da os, hacia una me odología más au oma izada, p ecisa y e icien e.
La es uc u a de es e documen o se de ine de la siguien e mane a. A lo la go de
es e p ime capí ulo, se p esen a á la mo i ación que ha impulsado es e abajo así como
sus obje i os. En el siguien e capí ulo (capí ulo 2) se ealiza á una e isión exhaus i a
del es ado del a e. El capí ulo 3 se cen a á en el p ime en oque abo dado, el cual se
basa en el uso de edes neu onales con olucionales pa a esol e el p oblema plan eado
en es a esis. En el capí ulo 4, se p esen a á una e olución de es e en oque, inco po an-
do la ingenie ía neu omó ica pa a mejo a el endimien o y la e iciencia del sis ema.
El capí ulo 5 es a á dedicado a una compa a i a ha dwa e, donde se e alua á el en-
dimien o del sis ema p opues o bajo di e en es pla a o mas ha dwa e. En el capí ulo
6, se expond án las conclusiones de i adas de es e abajo, des acando los p incipales
hallazgos y con ibuciones. El capí ulo 7 explo a á las posibles líneas de abajo u u-
o, iden i icando á eas de mejo a y posibles di ecciones pa a u u as in es igaciones. A
con inuación, en la sección 8 se pod á encon a la bibliog a ía a lo la go de es a esis.
Finalmen e, el documen o conclui á con una se ie de apéndices que inclui án in o mes,
au o izaciones y publicaciones elacionadas con es a esis doc o al.
10 Capí ulo 2. Es ado del a e
da os his ó icos de compe iciones depo i as pa a in e i in o mación ú il en la oma de
decisiones.
2.1.1. E olución del Scou ing Depo i o
Con el iempo, el scou ing depo i o ha e olucionado signi ica i amen e, in e-
g ando ecnologías a anzadas pa a mejo a la p ecisión y e iciencia del p oceso. En los
p ime os años, el scou ing se limi aba a la obse ación subje i a, donde los ojeado es
se basaban p incipalmen e en su expe iencia y conocimien os pa a e alua a los juga-
do es. Sin emba go, la in oducción de la ecnología ha ans o mado adicalmen e es a
p ác ica.
Dicha e olución ha sido signi ica i a en las úl imas décadas. A medida que
el análisis de da os se con i ió en un componen e in eg al del endimien o depo i o,
su gie on he amien as que pe mi ían a los equipos ecopila y analiza g andes olú-
menes de da os. Inicialmen e, es as he amien as se cen a on en es adís icas básicas,
pe o con el iempo han inco po ado algo i mos a anzados de ap endizaje au omá ico y
isión po compu ado a.
In es igaciones p e ias, como las ealizadas po (Ca ling, Williams y Reilly,
2005) y (Sa men o e al., 2014), demos a on la impo ancia del análisis cuan i a i o en
el scou ing y cómo los da os ecopilados de los pa idos pueden in lui en la oma de
decisiones es a égicas. Es os es udios sub ayan la e olución del scou ing desde una
p ác ica pu amen e cuali a i a hacia una basada en da os cuan i a i os y algo i mos de
análisis.
Además, es udios como el de (S ein e al., 2017) han demos ado la u ilidad de
combina g abaciones de ídeo y da os de ayec o ias pa a un análisis más comple o
en depo es como el ú bol, donde la de ección de jugado es y el seguimien o de sus
mo imien os son esenciales pa a la e aluación del endimien o en iempo eal. Es e
en oque ha sido pa icula men e ú il en depo es de equipo, donde la dinámica de juego
es compleja y los mo imien os de los jugado es deben se analizados en con ex o.
2.1.2. Tecnología y He amien as Mode nas en el Scou ing Depo i o
Hoy en día, el scou ing depo i o se apoya en una a iedad de he amien as
ecnológicas, desde cáma as de al a elocidad y so wa e de análisis de ídeo has a pla-
a o mas de análisis de da os que pueden p ocesa g andes olúmenes de in o mación
en iempo eal. Ejemplos de es os so wa es incluyen Hudl, u ilizado ampliamen e pa-
a el análisis de ídeo y la c eación de in o mes de allados (Hudl Websi e s. .), Wyscou ,
una pla a o ma que p opo ciona da os exhaus i os sob e pa idos y jugado es de ú bol
en odo el mundo (Wyscou Websi e s. .), y S a s Pe o m, que o ece análisis a anzados
y mé icas de endimien o pa a a ios depo es (S a s Pe o m Websi e s. .). También se
u iliza Ca apul , una solución que combina ecnología po á il y so wa e pa a as ea
el endimien o ísico y écnico de los jugado es (Ca apul Websi e s. .). Es as he amien-
as han e olucionado el scou ing, pe mi iendo a los equipos oma decisiones basadas

2.1. Scou ing depo i o 11
en da os p ecisos y en iempo eal. En e odas es as ecnologías en las que se apoya el
scou ing depo i o, las Redes Neu onales Con olucionales han su gido como una de
las más p ome edo as debido a su capacidad pa a analiza g andes can idades de da os
isuales y ex ae pa ones complejos de mane a au ónoma.
T abajos como los de (Bad ina ayanan, Kendall y Cipolla, 2017) han demos-
ado la e icacia de las RNC (Redes Neu onales Con olucionales) en a eas de segmen-
ación semán ica, lo que es c ucial pa a analiza el compo amien o de los jugado es
y la es a egia en depo es como el ú bol o el balonces o. O o es udio ele an e es el
de (Gi shick, 2015), quien desa olló el algo i mo Fas e R-CNN, que ha sido amplia-
men e u ilizado en el análisis depo i o pa a la de ección ápida y p ecisa de obje os en
secuencias de ídeo.
En o os abajos como en de (Liu, Mahapa a y Mayu i, 2021), se explo a el
uso de la in eligencia a i icial y Big Da a en el análisis depo i o median e un ma co de
isualización e ec i a basado en ídeo ( ambién llamado VEVF, del inglés Video-Based
E ec i e Visualiza ion F amewo k), que emplea edes neu onales con olucionales pa a
mejo a la en ega de in o mación a los equipos depo i os, acili ando la medición y
mejo a del endimien o y salud de los a le as.
Además de las RNC, las ecnologías neu omó icas, como las cáma as basadas
en e en os, es án llamadas a e oluciona muchos sec o es, en e ellos el scou ing de-
po i o. Es as cáma as, que imi an el uncionamien o del ojo humano, pueden cap u a
cambios ápidos en la escena con una la encia mínima, lo que las hace ideales pa a de-
po es donde la elocidad y la p ecisión son c í icas. Es udios como los de (Gallego e
al., 2020) han explo ado el uso de cáma as basadas en e en os en la obó ica y la isión
po compu ado a, mos ando su po encial pa a aplicaciones en iempo eal.
2.1.3. Impac o del Scou ing Au oma izado en el Depo e Mode no
El uso de ecnologías a anzadas pa a el scou ing depo i o ha ans o mado sig-
ni ica i amen e el mundo del depo e, pe mi iendo a los equipos ecopila y analiza
da os con una p ecisión y apidez sin p eceden es. Po ejemplo, he amien as como
Hudl pe mi en a equipos de ú bol y balonces o g aba y analiza ídeos de pa idos,
gene ando mé icas de alladas sob e el endimien o de los jugado es (Hudl Websi e s. .).
De igual mane a, pla a o mas como Wyscou , u ilizadas po clubes de ú bol de éli e
como el FC Ba celona y la Ju en us, p opo cionan un análisis exhaus i o de pa idos,
con acceso a es adís icas a anzadas y ídeos de jugado es de odo el mundo (Wyscou
Websi e s. .). Además, soluciones como Ca apul , que as ean da os de endimien o í-
sico y écnico median e disposi i os po á iles, se han popula izado en depo es como
el ugby y el ú bol ame icano, pe mi iendo a los en enado es moni o ea la ca ga de
abajo y educi el iesgo de lesiones (Ca apul Websi e s. .). Es as ecnologías han de-
moc a izado el acceso a he amien as analí icas que an es es aban ese adas pa a los
equipos con mayo es ecu sos, b indando a clubes más pequeños la opo unidad de
compe i en igualdad de condiciones con los g andes equipos.
12 Capí ulo 2. Es ado del a e
El scou ing au oma izado no solo mejo a la p ecisión del análisis, sino que am-
bién pe mi e a los equipos op imiza su es a egia en iempo eal. Po ejemplo, abajos
ecien es han demos ado cómo el análisis de ídeo en iempo eal, impulsado po Re-
des Neu onales Con olucionales, puede iden i ica pa ones ác icos en depo es como
el ú bol, lo que pe mi e ajus a la es a egia du an e el pa ido (Ba nabé e al., 2018).
Sin emba go, la adopción de es as ecnologías p esen a desa íos. Uno de los
p incipales e os es la in eg ación de los da os gene ados au omá icamen e en los p o-
cesos de oma de decisiones, que adicionalmen e han dependido de la expe iencia
humana. Además, exis e una cu a de ap endizaje signi ica i a pa a que los scou e s
dominen es as nue as he amien as.
2.1.4. T abajos P e ios en Scou ing Depo i o Au oma izado
Exis en a ios es udios que han abo dado el uso de ecnologías a anzadas en
el scou ing depo i o. Po ejemplo, el abajo de (Fe nández, Bo nn y Ce one, 2019) ex-
plo a el uso de algo i mos de ap endizaje p o undo pa a la de ección de jugado es en el
ú bol, des acando cómo es as he amien as pueden mejo a la de ección y seguimien-
o en en o nos complejos. O o ejemplo es el es udio de (Lu e al., 2013) que analiza la
e ec i idad de las cáma as de al a elocidad combinadas con algo i mos de isión po
compu ado a pa a mejo a el análisis ác ico en el balonces o.
En el con ex o del seguimien o de jugado es, es udios como el de Liu e al.
(Liu, 2022) explo an nue os mé odos pa a mejo a los as eado es en ídeos depo -
i os u ilizando un algo i mo de á bol de decisión C4.5 op imizado con un algo i mo
gené ico. Es e algo i mo op imizado se compa a con uno no op imizado, des acando
mejo as signi ica i as en la p ecisión y e iciencia del seguimien o.
En una línea simila , Lee e al. (Lee e al., 2020) abo dan el uso del ap endizaje
p o undo pa a el seguimien o de jugado es en depo es a a és de ídeos. Es e es udio
examina mé odos de al o endimien o en la de ección y seguimien o de jugado es y
analiza los desa íos, especialmen e en si uaciones de oclusión en e obje os du an e los
pa idos.
Además, abajos como el de Polk e al. (Polk e al., 2014) demues an la u i-
lidad de los sis emas de isualización de in o mación depo i a, aunque no u ilicen
in eligencia a i icial. P esen an TenniVis, un sis ema inno ado de isualización pa a
pa idos de enis que u iliza da os ácilmen e ecopilables como pun uaciones, du acio-
nes de los pun os y ídeos de los pa idos cap u ados con cáma as comunes.
O o á ea de in es igación elacionada con el scou ing depo i o y la in eligen-
cia a i icial es la clasi icación de escenas depo i as pa a esumi ídeos depo i os. Po
ejemplo, Ra iq e al. (Ra iq e al., 2020) in oducen un nue o mé odo pa a clasi ica es-
cenas en ídeos depo i os, p incipalmen e des inado a esumi los ídeos, u ilizando
mé odos de ap endizaje p o undo.
2.2. In eligencia a i icial 13
Es os abajos han sen ado las bases pa a in es igaciones más ecien es que
buscan combina di e en es ecnologías pa a c ea sis emas de scou ing más obus os
y p ecisos. La in eg ación de nue as y di e en es ecnologías (como puede se el caso
de las cáma as basadas en e en os) no solo ab e una nue a pue a pa a la mejo a de la
p ecisión de la de ección y el análisis, sino que ambién puede o ece nue as opo uni-
dades pa a la au oma ización y mejo a del endimien o en el depo e.
2.2. In eligencia a i icial
La In eligencia A i icial (IA) ha ans o mado múl iples disciplinas, o ecien-
do soluciones inno ado as a p oblemas que an e io men e se conside aban in a ables.
En su esencia, la IA busca eplica o emula las capacidades cogni i as humanas, como
el ap endizaje, la pe cepción, la oma de decisiones y la esolución de p oblemas, me-
dian e la implemen ación de algo i mos y modelos compu acionales a anzados. Des-
de sus inicios, la IA ha a anzado signi ica i amen e, pasando de en oques basados en
eglas y lógica, como los sis emas expe os (Jackson, 1990; Russell y No ig, 2016), a
mé odos de ap endizaje au omá ico que pe mi en a las máquinas ap ende de los da os
y mejo a su endimien o con el iempo. Es os mé odos de ap endizaje au omá ico han
demos ado se excepcionalmen e e ec i os en una amplia gama de aplicaciones, desde
el econocimien o de oz (Hin on e al., 2012) y la isión po compu ado a (K izhe sky,
Su ske e e Hin on, 2017) has a la aducción au omá ica (Vaswani e al., 2017) y la ge-
ne ación de lenguaje na u al (B own e al., 2020). La capacidad de es os sis emas pa a
ap ende y mejo a con inuamen e a pa i de g andes olúmenes de da os ha sido un-
damen al pa a su éxi o. Como señalan (LeCun, Bengio e Hin on, 2015), "la capacidad
de ap ende ep esen aciones de da os a a és de múl iples ni eles de abs acción pe -
mi e a los sis emas de ap endizaje p o undo ap ende unciones complejas que mapean
di ec amen e los da os de en ada a las salidas deseadas, sin depende del diseño de
ca ac e ís icas hechas po humanos". Es a habilidad pa a ap ende y mejo a de o ma
au ónoma es lo que dis ingue a los sis emas de IA mode nos y lo que ha impulsado su
ápido p og eso en los úl imos años.
El campo de la IA es una pa e undamen al de la in o má ica, p esen e des-
de los albo es de es a disciplina. Desde que Alan Tu ing plan eó la posibilidad de que
las máquinas pudie an azona y ap ende como los se es humanos1, la IA ha sido un
á ea de un g an in e és. Hoy en día, es a posibilidad pa ece es a más ce ca que nun-
ca, impulsada po el desa ollo del Ap endizaje P o undo (Deep Lea ning, DL), que ha
omado un papel cen al en el a ance de la IA.
Den o del campo de la IA, el ap endizaje p o undo (DL) ha eme gido como
una de las á eas más p ome edo as, especialmen e en a eas que in oluc an el p ocesa-
mien o de g andes olúmenes de da os no es uc u ados, como imágenes, audio y ex o.
Es e en oque se basa en edes neu onales a i iciales que consis en en múl iples capas
1En su a ículo Compu ing Machine y and In elligence (1950), Alan Tu ing in odujo el concep o de máquinas
capaces de azona y ap ende , p oponiendo lo que hoy se conoce como el Tes de Tu ing.
14 Capí ulo 2. Es ado del a e
de neu onas, cada una de las cuales ex ae ca ac e ís icas cada ez más abs ac as de los
da os de en ada.
FIGURA 2.1: Imagen ilus a i a de la clasi icación de la IA
En el ámbi o de la in eligencia a i icial, se iden i ican es ni eles je á quicos
p incipales ( e igu a 2.1) que e lejan la e olución y especialización de es e campo: la
in eligencia a i icial en gene al, el ap endizaje au omá ico (Machine Lea ning, ML) y el
ap endizaje p o undo (Deep Lea ning, DL). La IA es un campo amplio que engloba la
c eación de sis emas capaces de emula el azonamien o humano y ealiza a eas que
adicionalmen e eque i ían in eligencia humana. Den o de es e ámbi o, el ML ep e-
sen a un subconjun o cen ado en el desa ollo de algo i mos que pe mi en a las máqui-
nas ap ende pa ones a pa i de da os y mejo a su desempeño en a eas especí icas
sin necesidad de se p og amadas explíci amen e pa a ello. Po su pa e, el DL cons i u-
ye una ama a anzada del ML que emplea edes neu onales p o undas, diseñadas pa a
imi a la es uc u a del ce eb o humano, acili ando la capacidad de las máquinas pa a
p ocesa da os complejos y ap ende de o ma au ónoma. Es e en oque ha pe mi ido
a ances signi ica i os en á eas como el econocimien o de imágenes y el p ocesamien o
del lenguaje na u al, des acando el papel del DL como mo o de inno ación den o de
la in eligencia a i icial.
En el ap endizaje supe isado, los algo i mos se en enan u ilizando da os e i-
que ados. Es o signi ica que cada ejemplo de en enamien o incluye la salida co ec a. El
obje i o p incipal es que el algo i mo log e mapea la elación en e en adas y salidas
2.2. In eligencia a i icial 15
pa a que pueda hace p edicciones p ecisas con da os no is os an e io men e (Ko sian-
is, Zaha akis y Pin elas, 2007). Las a eas comunes en el ap endizaje supe isado inclu-
yen la clasi icación, que p edice e ique as disc e as, y la eg esión, que p edice alo es
con inuos. Algunos de los algo i mos más conocidos en es a ca ego ía incluyen la e-
g esión lineal, las máquinas de ec o es de sopo e (Co es y Vapnik, 1995) y las edes
neu onales (Haykin, 1994).
Po o o lado, el ap endizaje no supe isado se en oca en abaja con da os
que no es án e ique ados. El obje i o es descub i la es uc u a subyacen e den o de un
conjun o de da os (Ghah amani, 2004). Una aplicación ípica de es e ipo de ap endizaje
es el clus e ing, donde los obje os se ag upan en unción de sus simili udes den o del
mismo g upo, di e enciándose de los obje os en o os g upos. La educción de dimen-
sionalidad es o a a ea impo an e en es a á ea, que busca simpli ica la isualización de
da os educiendo el núme o de a iables conside adas. Ejemplos de mé odos de ap en-
dizaje no supe isado incluyen el algo i mo de clus e ing K-Means (MacQueen e al.,
1967) y el análisis de componen es p incipales (PCA) (Jolli e, 2002).
En los úl imos años, el Ap endizaje P o undo, una ama del ap endizaje au-
omá ico, ha enido un impac o signi ica i o. Modelos como las edes neu onales con-
olucionales (CNNs) (LeCun e al., 1989) y las edes neu onales ecu en es (RNNs)
(Hoch ei e y Schmidhube , 1997) han sob esalido en á eas como el econocimien o de
imágenes, el p ocesamien o del lenguaje na u al y los ideojuegos, en e o as. Es os
modelos se des acan po su capacidad de u iliza capas de unidades de p ocesamien o
no lineal (neu onas) pa a ex ae y ans o ma ca ac e ís icas complejas (Good ellow,
Bengio y Cou ille, 2016a).
A pesa del éxi o de ambos ipos de ap endizaje, aún exis en desa íos impo -
an es. El ap endizaje supe isado a menudo equie e g andes olúmenes de da os e i-
que ados, lo cual puede se cos oso y lle a mucho iempo de adqui i . Po o o lado,
los algo i mos de ap endizaje no supe isado equie en una selección y ajus e cuidado-
so pa a cap u a la es uc u a subyacen e de los da os, lo cual no siemp e es un p oceso
sencillo.
En es a esis, se abo da la in es igación de es os desa íos median e la u iliza-
ción de algo i mos de ap endizaje supe isado y no supe isado, u ilizando modelos
obus os que mejo an la de ección y análisis de e en os depo i os. El obje i o es ex-
plo a mé odos que op imicen el endimien o y la aplicabilidad de es os algo i mos en
la esolución de p oblemas del mundo eal, en pa icula en el con ex o del scou ing
depo i o y el análisis de pa idos de enis.
2.2.1. El in ie no de la in eligencia a i icial
El é mino in ie no de la in eligencia a i icial se e ie e a los dos pe iodos de
es ancamien o en el desa ollo y inanciación de la IA, ca ac e izados po la al a de
a ances angibles que log a an cumpli con las expec a i as gene adas en o no a es a

16 Capí ulo 2. Es ado del a e
ecnología. Du an e es os pe iodos, an o los gobie nos como las ins i uciones de in-
es igación y las emp esas ecnológicas eduje on d ás icamen e sus in e siones en IA
debido a la pe cepción de que los esul ados no es aban a la al u a de las p omesas
iniciales. El é mino in ie no apa eció po p ime a ez en 1984, un año ma cado po
el pesimismo gene alizado en o no a la in eligencia a i icial. Ese mismo año, ue un
ema cen al en el e en o de la Associa ion o he Ad ancemen o A i icial In elligence
en Es ados Unidos, donde se discu ió ampliamen e la desilusión que p e alecía en la
comunidad cien í ica espec o al p og eso de la IA.
El p ime in ie no de la IA ocu ió en la década de 1970. Du an e es e iempo,
muchos de los sis emas basados en eglas, que inicialmen e pa ecían p ome edo es, no
log a on esol e p oblemas del mundo eal de mane a e icien e. Las expec a i as in-
ladas de los p ime os in es igado es de IA choca on con la complejidad inhe en e al
p ocesamien o del lenguaje na u al, la isión po compu ado a y el azonamien o au o-
ma izado. Es a al a de p og eso p ác ico lle ó a una disminución en la inanciación y el
in e és en el campo.
Un segundo in ie no de la IA u o luga en los años 1980 y p incipios de los 90,
cuando los sis emas expe os, una ecnología cla e en ese momen o, ampoco log a on
cumpli con las expec a i as. Aunque e an capaces de maneja a eas especí icas den o
de dominios limi ados, su incapacidad pa a gene aliza el conocimien o a o as á eas
o adap a se a cambios en el en o no ol ió a gene a escep icismo en la comunidad
ecnológica y cien í ica. A es o se suma on las limi aciones en la capacidad de cómpu o
de la época, lo que es ingió aún más el desa ollo de sis emas más a anzados de IA.
A pesa de es os in ie nos, la IA ha expe imen ado un esu gimien o impo -
an e desde p incipios del siglo XXI, impulsado po los a ances en el ap endizaje p o-
undo, el aumen o de la capacidad de p ocesamien o y la disponibilidad de g andes
can idades de da os. Es e esu gimien o ha demos ado que, aunque los in ie nos de la
IA han sido pe iodos de e oceso, ambién han pe mi ido eplan ea las di ecciones de
in es igación y log a a ances signi ica i os en e apas pos e io es.
Es e con ex o his ó ico es impo an e pa a comp ende los a ances ac uales
en in eligencia a i icial y, pa icula men e, en el uso de edes neu onales p o undas y
modelos de de ección de obje os que o man la base de es a esis doc o al. La IA, aun-
que ha enido momen os de e oceso, ha log ado consolida se como una he amien a
indispensable pa a el análisis de g andes olúmenes de da os y la au oma ización de
p ocesos complejos, como la ecolección de da os en e en os depo i os.
2.3. Una in oducción a las Redes Neu onales
En es a sección se p esen a una isión gene al sob e las edes neu onales, aba -
cando desde su uncionamien o básico has a su es uc u a y componen es p incipales.
Se analiza á cómo es as edes emulan el compo amien o del ce eb o humano median-
e el uso de neu onas a i iciales y cómo, a a és del en enamien o, son capaces de
ap ende pa ones complejos en los da os. Asimismo, se in oduci á su ele ancia en el
2.3. Una in oducción a las Redes Neu onales 17
ámbi o del análisis depo i o, des acando su capacidad pa a abo da p oblemas como
la de ección de obje os, el seguimien o de jugado es y el análisis de jugadas en iempo
eal. Es e con enido es ablece las bases eó icas necesa ias pa a comp ende los algo i -
mos y modelos empleados en el desa ollo de es a in es igación.
2.3.1. Análisis de Da os en el Con ex o Depo i o
El análisis de da os es un p oceso cla e median e el cual se busca ex ae in-
o mación ele an e de un conjun o de da os, pe mi iendo así op imiza decisiones y
es a egias basadas en la e idencia. En los úl imos años, es e p oceso ha alcanzado un
ni el de so is icación sin p eceden es, impulsado po el c ecimien o exponencial de los
da os disponibles y la necesidad de emplea écnicas cada ez más complejas pa a su
análisis. Es a e olución ha dado luga a la c eación de nue as especialidades den o del
ámbi o depo i o, como la de Cien í ico de Da os o Analis a de Da os, oles undamen-
ales hoy día en la op imización del endimien o depo i o de cualquie club.
El análisis de da os en el ámbi o depo i o puede se isualizado como un
g an á bol con múl iples ami icaciones que dependen an o del ipo de da o que se
desea analiza como de las écnicas que se eligen pa a dicho análisis. A lo la go de
es a sección, se explo a án algunos de los pasos que componen el lujo de abajo de
es a disciplina, con ex ualizando su ele ancia pa a los mé odos y esul ados que se
p esen a án en los capí ulos siguien es de es a esis doc o al.
2.3.2. Recolección de Da os
En los úl imos años, el olumen de da os que gene amos y almacenamos ha
expe imen ado un c ecimien o cons an e. Es e aumen o ha sido impulsado po el uso
gene alizado de in e ne , los disposi i os mó iles como los sma phones, las edes socia-
les, y el desa ollo de senso es más p ecisos. Es as ecnologías han c eado un en o no
a o able pa a la acumulación masi a de in o mación (Maye -Schönbe ge y Cukie ,
2013; Cheng, Wei y Liang, 2018).
La a iedad de ipos de da os es ex ensa. En el con ex o de la In eligencia A i-
icial, es común clasi ica los en a ias ca ego ías, ales como: da os numé icos, ca egó i-
cos, ex os, se ies empo ales, imágenes, audio y ideo (McKinney, 2012). Cada uno de
es os ipos de da os equie e mé odos especí icos pa a su adquisición y p ocesamien o.
Po ejemplo, los da os pueden p o eni de bases de da os emp esa iales, ex aídos me-
dian e consul as; ambién pueden ob ene se a a és de si ios web, u ilizando écnicas
de sc aping oAPIs, o incluso se ecogidos po senso es median e p o ocolos especí i-
cos. O os mé odos incluyen la ecopilación de da os a a és de bancos de imágenes,
encues as, edes sociales, en e o os.
Es e p oceso de adquisición de da os no solo implica su ecolección en es ado
b u o, sino ambién un abajo de usión y p ep ocesamien o que pe mi a combina
di e sas uen es y es anda iza la in o mación an es de o ma un conjun o de da os
18 Capí ulo 2. Es ado del a e
uni icado, que pueda se u ilizado pos e io men e pa a, po ejemplo, en ena modelos
de in eligencia a i icial.
En el ámbi o depo i o, los da os ecolec ados pueden inclui una amplia gama
de mé icas elacionadas con el endimien o de los jugado es, como elocidad, ue za,
posicionamien o en la cancha, es adís icas de jugadas, o pa ones de mo imien o. La he-
e ogeneidad de es os da os e leja la di e sidad de las uen es, desde senso es de segui-
mien o en iempo eal, incluso muchos de ellos in eg ados en el p opio jugado (exis en
chalecos (Baskan e al., 2017), balones (S one e al., 2018), muñeque as (Bai, E s a iou
y Ang, 2016), en e o os muchos disposi i os depo i os con senso es) has a análisis
de ídeo de los pa idos. También pueden inclui se da os p o enien es de encues as a
jugado es o en enado es, que e lejen pe cepciones subje i as sob e el endimien o.
Además, la ecolección de da os en es e con ex o debe cumpli con no ma i as
de p i acidad y con idencialidad, especialmen e en lo que espec a al uso de in o ma-
ción pe sonal y da os sensibles de los a le as. Al igual que en o os ámbi os, la calidad
y p ecisión de los da os son ac o es undamen ales pa a ga an iza la alidez de los e-
sul ados y asegu a que las conclusiones ob enidas del análisis sean ú iles pa a la oma
de decisiones es a égicas en el ámbi o depo i o.
2.3.3. E ique ado
Los expe imen os de in eligencia a i icial que emplean ap endizaje supe i-
sado equie en g andes olúmenes de da os e ique ados pa a que el en enamien o sea
e ec i o. Es o se debe a que el p oceso de en enamien o se basa en compa a el esul a-
do gene ado po la ed en una época de e minada con la e ique a eal co espondien e.
La e ique a asignada depende del ipo de da os con los que se es é abajando.
En esencia, su unción es asocia una mues a del conjun o de da os a una ca ego ía
especí ica. Po ejemplo, en el caso de imágenes, las e ique as pod ían iden i ica su con-
enido, como “pe o” o “ga o”. Pa a ec o es de da os, las e ique as pod ían ep esen a
un análisis especí ico, como un examen de o ina o las condiciones climá icas de un día
en pa icula . En el caso de ídeos, las e ique as pod ían iden i ica obje os den o de
un o og ama, como un coche, un semá o o o un pea ón. También se e ique an se ies
empo ales, como los pe íodos de hospi alización, e incluso sen imien os, como pasos
posi i os o nega i os que in luyen en la comp a de un p oduc o en línea.
Algunas e ique as pueden deduci se en unción del con ex o, como la iden i i-
cación de pe iodos de al a demanda hospi ala ia basados en cie as ca ac e ís icas, con
el obje i o de p edeci cuándo pod ían ocu i . Sin emba go, la mayo ía de las e ique as
equie en la supe isión humana, ya que la p ecisión de es e e ique ado in luye de ma-
ne a signi ica i a en la calidad de los esul ados ob enidos en cualquie expe imen o de
ap endizaje supe isado.
Es e p oceso implica la e isión de miles de mues as, a menudo ealizada po
expe os en la ma e ia. Po ejemplo, aunque la mayo ía de las pe sonas pueden di e en-
cia ácilmen e en e un coche y un semá o o, iden i ica con p ecisión los lími es de un
2.3. Una in oducción a las Redes Neu onales 19
á ea pulmona a ec ada po cánce equie e conocimien os especializados. Además, se
necesi an he amien as que sean adecuadas pa a el ipo especí ico de da os a e ique a .
Po ejemplo, e ique a un ídeo pa a segmen a imágenes implica abaja con coo de-
nadas de obje os y núme o de o og amas, mien as que e ique a un p oceso de comp a
o ansc ibi un audio equie e un en oque comple amen e di e en e.
Pa a acili a es e p oceso, se han c eado g andes pla a o mas de e ique ado
donde pe sonas, muchas de ellas sin una cuali icación especí ica, eciben g andes can-
idades de da os y son emune adas po ealiza es e abajo. Ejemplos de es as pla a-
o mas incluyen Amazon Mechanical Tu k (M u k) (Amazon, 2023) y Appen (Appen,
2023). En es as pla a o mas, la con a ación de pe sonal se basa en una p ueba p elimi-
na que e alúa las capacidades del e ique ado , y la emune ación po mues a a ía
en e $0.01 y $0.08.
Además de los mé odos adicionales de e ique ado manual, una écnica in-
no ado a que es á ganando ele ancia es el uso de modelos de de ección de obje os
"ze o-sho "(ze o-sho objec de ec ion model, en inglés), como G ounding DINO (Liu
e al., 2023), que se explo a en de alle en el capí ulo 4 de es a esis doc o al. Es os mode-
los pe mi en la de ección de obje os en nue as clases sin la necesidad de en enamien o
p e io con ejemplos e ique ados de esas clases, u ilizando desc ipciones ex uales o ca-
ac e ís icas gene ales pa a ealiza la de ección. Los modelos de de ección de obje os
"ze o-sho "han e olucionan el campo de la de ección de obje os y ambién el campo del
e ique ado, c eando algo has a aho a inexis en e: el e ique ado au omá ico. Han su gido
así he amien as de e ique ado au omá ico, las cuales es án basadas comple amen e en
es os modelos y han sido ápidamen e adop adas en la indus ia (Robo low websi e s. .).
G ounding DINO es pa icula men e ú il en si uaciones donde el e ique ado manual
esul a cos oso o imp ác ico, o eciendo una o ma au oma izada de gene a e ique as
con un al o g ado de p ecisión.
En el ámbi o depo i o, la idea de una pla a o ma global des inada al e ique-
ado de mues as al es ilo de M u k o Appen, se p esen a como un e o conside able
debido a las es icciones elacionadas con la p i acidad y la necesidad de pe sonal
especí ico pa a ealiza el e ique ado. No obs an e, exis en he amien as que acili an
el abajo de e ique ado cuando se u ilizan da os p opios. Un ejemplo de ello son he-
amien as como Labelbox (Labelbox, 2023) o V7 (V7, 2023), que o ecen sis emas de
e ique ado de imágenes capaces de maneja me ada os.
2.3.4. Redes neu onales
Las edes neu onales (Be sekas y Tsi siklis, 1996) son modelos compu acio-
nales inspi ados en el compo amien o de las edes neu onales biológicas. Es as edes
es án compues as po un conjun o de neu onas a i iciales in e conec adas, que imi an
el uncionamien o de las neu onas en o ganismos i os. Cada neu ona a i icial p oce-
sa in o mación de en ada y, median e unciones de ac i ación, gene a una salida. Las
edes neu onales son undamen ales en múl iples aplicaciones de in eligencia a i icial,
debido a su capacidad pa a ap ende pa ones complejos en los da os.
26 Capí ulo 2. Es ado del a e
FIGURA 2.6: G á ica de la unción ReLU.
2.3.6.3. Función Tanh (Tangen e hipe bólica)
La unción angen e hipe bólica ( anh), cuya g á ica se mues a en la igu a 2.7,
es simila a la sigmoide, pe o con la di e encia de que su salida es á comp endida en e
-1 y 1, lo que la hace más adecuada pa a p oblemas donde es impo an e que las salidas
engan un ango más amplio. La ó mula de la unción anh es:
anh(x) = ex−e−x
ex+e−x
En é minos p ác icos, la unción anh es una e sión escalada de la sigmoide,
y su p incipal en aja es que cen a las salidas en o no a 0, lo que puede hace que la
con e gencia du an e el en enamien o sea más ápida. Al igual que la sigmoide, la anh
ambién su e del p oblema de la desapa ición del g adien e en edes p o undas.

2.3. Una in oducción a las Redes Neu onales 27
FIGURA 2.7: G á ica de la unción Tanh.
2.3.6.4. Función So max
La unción So max, , cuya g á ica se mues a en la igu a 2.8, es comúnmen e
u ilizada en la capa de salida de edes neu onales mul ica ego ía. Es a unción con ie e
un ec o de alo es eales en un ec o de p obabilidades, donde la suma de odas las
p obabilidades es 1. La unción So max se de ine como:
so max(zi) = ezi
∑n
j=1ezj
Donde zies el alo de en ada de una clase especí ica y nes el núme o de
clases. Es a unción es ú il en a eas de clasi icación donde se busca asigna una p oba-
bilidad a cada clase, pe mi iendo a la ed neu onal selecciona la ca ego ía más p obable
como salida.
28 Capí ulo 2. Es ado del a e
FIGURA 2.8: G á ica de la unción So max.
2.3.6.5. Selección de la unción de ac i ación
La selección de la unción de ac i ación adecuada es c ucial pa a el desempe-
ño de una ed neu onal. No exis e una unción que sea ideal pa a odas las a eas; en su
luga , la elección depende del p oblema especí ico, la a qui ec u a de la ed y las ca ac-
e ís icas de los da os. Po ejemplo, pa a edes neu onales p o undas, la unción ReLU
ha demos ado se ex emadamen e e icien e en é minos de elocidad de con e gencia,
mien as que la unción So max es indispensable en a eas de clasi icación mul iclase.
En es a esis, las unciones de ac i ación ReLU y So max han sido seleccio-
nadas en unción de su capacidad pa a maneja a eas de clasi icación y p edicción en
iempo eal, op imizando an o la p ecisión como el iempo de en enamien o.
2.3.7. El en enamien o
El p oceso de ap endizaje en el ap endizaje au omá ico implica es e apas
p incipales: en enamien o, alidación y es . Cada una de es as e apas desempeña un
2.3. Una in oducción a las Redes Neu onales 29
papel c ucial en el desa ollo de un modelo que pueda gene aliza e icazmen e a pa -
i de los da os que ha is o pa a hace p edicciones o oma decisiones p ecisas sob e
da os nue os, no is os y que co esponden a un subconjun o de los da os en que se
di iden los da os o iginales. Cada conjun o de da os con iene ejemplos de en adas y
sus co espondien es salidas co ec as (en el ap endizaje supe isado) o sólo en adas
(en el ap endizaje no supe isado).
En enamien o. En es a ase, el algo i mo se expone a la mayo pa e del conjun o
de da os u ilizados pa a el ap endizaje. Du an e es e p oceso, el modelo p ocesa
i e a i amen e los da os de en enamien o, ajus ando sus pa áme os in e nos con
el obje i o de minimiza una unción de pé dida que cuan i ica la disc epancia en-
e sus p edicciones y los esul ados eales. A a és de écnicas de op imización,
como el descenso de g adien e, el modelo ac ualiza sus pa áme os en cada i e-
ación, buscando educi p og esi amen e el alo de la unción de pé dida. Es e
ajus e mejo a la capacidad del modelo pa a gene aliza en da os no is os. El p o-
ceso con inúa has a que se alcanza un c i e io de con e gencia o se comple a un
núme o p ede inido de i e aciones.
Validación. O o conjun o de da os, denominado conjun o de alidación, se u i-
liza pa a e alua el endimien o del modelo du an e el en enamien o. En es e
paso, se in en a p edeci los esul ados de un subconjun o de da os en el que no se
ha en enado el algo i mo. Es o ayuda a ajus a los hipe pa áme os del modelo
(ajus es que no se ap enden de los da os, sino que se es ablecen an es del en e-
namien o). Es e es un paso c ucial en el p oceso de ap endizaje po que podemos
e alua el endimien o del algo i mo. Aquí se pueden da a ios escena ios: ajus-
e insu icien e (unde i ing) , ajus e excesi o (o e i ing) y buen ajus e (good i ). La
p incipal o ma de de ec a cuál es, es aza la pé dida en e a las épocas pa a
los conjun os de en enamien o y alidación, como en la igu a 2.9. Es a igu a
de ejemplo ilus a los p oblemas comunes en la e apa de alidación de modelos
den o del en enamien o de edes neu onales, mos ando cómo se pueden iden-
i ica isualmen e an o el sob eajus e como el subajus e a pa i de las cu as de
pé dida.
•Unde i ing. Es o ocu e cuando el algo i mo ob iene malos esul ados an o
en los da os con los que se en enó como en los da os de alidación. En es e
caso, el modelo es demasiado simple pa a cap a los pa ones subyacen es
en los da os. Tan o la pé dida de en enamien o como la de alidación se án
al as, y las cu as es a án muy jun as, mos ando poca mejo a a medida que
a anza el en enamien o.
•O e i ing. El sob eajus e ocu e cuando un modelo de ap endizaje au omá-
ico se adap a demasiado bien a los da os de en enamien o, cap u ando no
solo las elaciones subyacen es, sino ambién el uido y las peculia idades
especí icas de ese conjun o de da os. En es e escena io, el modelo ap ende a
memo iza los ejemplos de en enamien o en luga de gene aliza a pa i de
ellos. Como esul ado, el modelo end á un endimien o excepcionalmen e
30 Capí ulo 2. Es ado del a e
bueno en los da os de en enamien o, lo que se e leja á en una pé dida de
en enamien o muy baja. Sin emba go, cuando se e alúa en un conjun o de
da os de alidación o p ueba, el modelo no pod á gene aliza de mane a e ec-
i a, lo que esul a á en una pé dida de alidación signi ica i amen e mayo .
G á icamen e, es o se mani es a á como una b echa no able en e las cu as
de pé dida de en enamien o y alidación, donde la cu a de en enamien-
o segui á disminuyendo mien as que la cu a de alidación comenza á a
aumen a después de cie o pun o. El sob eajus e es un desa ío común en el
ap endizaje au omá ico y limi a la capacidad del modelo pa a hace p edic-
ciones p ecisas en da os nue os y no is os.
•Good Fi . Es e es el escena io ideal en el que el modelo ha ap endido los pa-
ones subyacen es y es bueno en la gene alización. Tan o las pé didas de
en enamien o como las de alidación se án bajas, y las cu as es a án p ó-
ximas en e sí, mos ando una mejo a consis en e y es abilizándose después.
Tes ing. El úl imo paso en el p oceso de en enamien o de una ed neu onal es
p oba el modelo con da os comple amen e nue os y no is os an e io men e.
Aunque los da os del conjun o de alidación no se u iliza on du an e el en e-
namien o del modelo, es os ue on empleados pa a ajus a los hipe pa áme os,
lo que in oduce el iesgo de un sob eajus e indi ec o al conjun o de alidación, ya
que la in o mación sob e esos da os puede il a se du an e el p oceso de ap en-
dizaje. Po es a azón, el conjun o de p ueba debe u iliza se únicamen e una ez,
después de comple a las ases de en enamien o y alidación. Es o pe mi i á ea-
liza una e aluación inal de la capacidad de gene alización del modelo, es deci ,
su habilidad pa a hace p edicciones p ecisas sob e nue os da os que no ue on
u ilizados en ninguna ase del p oceso de en enamien o o ajus e de hipe pa áme-
os.
Si el algo i mo no se ajus a bien o se ajus a demasiado, no malmen e es el mo-
men o de eajus a los hipe pa áme os del modelo, u iliza écnicas como la egula i-
zación o la pa ada emp ana y comenza de nue o el p oceso de en enamien o. Se a a
de un p oceso i e a i o has a alcanza una buena gene alización.
2.3. Una in oducción a las Redes Neu onales 31
(A)
(B)
FIGURA 2.9: Validación del ajus e. (A) Ejemplo de un modelo que in-
cu e en unde i ing, o e i ing y good i . En el caso del unde i ing,
el modelo no es capaz de ealiza una buena gene alización y alla al
p edeci incluso las mues as del conjun o de en enamien o. En el caso
del o e i ing, el modelo se ajus a demasiado bien a los da os de en e-
namien o, p opo cionando buenas p edicciones cuando se u ilizan esos
da os, pe o allando al in en a p edeci el esul ado pa a una nue a
mues a. Cuando el modelo iene una buena capacidad de gene aliza-
ción, su ajus e es ideal an o pa a p edeci da os del conjun o de en e-
namien o den o de un e o admisible, como pa a p edeci nue os da-
os. (B) Ejemplo de cu as que mues an la pé dida en el en enamien o
y la alidación pa a a ios escena ios: unde i ing, o e i ing y good
i .

32 Capí ulo 2. Es ado del a e
2.3.7.1. Función de pé dida
En el con ex o del ap endizaje supe isado en edes neu onales, la unción de
pé dida es una he amien a undamen al que mide la di e encia en e la salida espe a-
da y la salida ob enida po el modelo. Su p incipal obje i o es guia el p oceso de op-
imización, p opo cionando una mé ica que el algo i mo busca minimiza du an e el
en enamien o. A medida que el modelo ajus a los pesos de las conexiones neu onales,
la unción de pé dida e alúa cuán lejos es án las p edicciones de los alo es deseados y
e oalimen a el sis ema pa a mejo a dicho ajus e.
Las unciones de pé dida a ían dependiendo del ipo de p oblema que se es é
esol iendo. Las más comunes son:
E o cuad á ico medio (MSE): Es ampliamen e u ilizada en p oblemas de eg e-
sión. Mide el p omedio de las di e encias cuad adas en e los alo es p edichos y
los eales. La unción MSE penaliza de mane a más in ensa los e o es g andes, lo
que hace que el modelo se concen e en educi las p edicciones que es án muy
alejadas de los alo es eales.
LMSE =1
n
n
∑
i=1
(yi−ˆ
yi)2
Donde yison los alo es eales y ˆ
yilas p edicciones del modelo.
En opía c uzada: Es comúnmen e empleada en p oblemas de clasi icación. Mide
la di e encia en e dos dis ibuciones de p obabilidad: la dis ibución eal y la dis-
ibución p edicha po el modelo. La en opía c uzada se u iliza pa a mejo a la
p ecisión del modelo, haciendo que las p edicciones se ap oximen a las e ique as
eales.
LCE =−1
n
n
∑
i=1
[yilog(ˆ
yi) + (1−yi)log(1−ˆ
yi)]
Hinge Loss: Es a unción es ípica en máquinas de sopo e ec o ial (SVM), pe-
o ambién puede emplea se en edes neu onales pa a p oblemas de clasi icación
bina ia. Hinge Loss a o ece que los má genes en e las clases es én bien de ini-
dos, cas igando los e o es en la clasi icación de los pun os ce canos al ma gen de
decisión.
LHinge =
n
∑
i=1
m´
ax(0, 1 −yiˆ
yi)
El p oceso de minimización de la unción de pé dida es el co azón del en ena-
mien o en edes neu onales. Du an e el p oceso de e op opagación, el g adien e de la
2.3. Una in oducción a las Redes Neu onales 33
unción de pé dida se u iliza pa a ajus a los pesos de las conexiones en e las neu onas,
de mane a que el e o se eduzca con cada i e ación del modelo.
La selección adecuada de la unción de pé dida es c ucial pa a el éxi o de la
ed neu onal, ya que debe es a alineada con el ipo de a ea que se es á esol iendo. Un
mal ajus e en la unción de pé dida puede conduci a un ap endizaje de icien e o a un
sob eajus e (o e i ing).
2.3.7.2. Backp opaga ion
El p oceso de en enamien o de una ed neu onal consis e en ajus a los pesos
de las conexiones en e las neu onas pa a minimiza el e o en las p edicciones de la
ed. Dado el g an núme o de pesos y su in e dependencia, es e ajus e se con ie e en un
desa ío. El en enamien o puede se is o como un p oceso de op imización, en el cual
se p opagan las en adas a a és de la ed pa a calcula la salida y, a pa i de ahí, se
compa a con la salida deseada. El concep o de backp opaga ion no ue in oducido en el
ámbi o de las edes neu onales has a la década de 1980 (Rumelha , Hin on y Williams,
1986). Es e algo i mo, que unciona en modelos de ap endizaje supe isado, e olucio-
nó el campo de la in eligencia a i icial al pe mi i la ac ualización de los pesos de las
neu onas as compa a la salida de la ed con un alo de e e encia a a és de una
unción de e o . El e o esul an e se u iliza pa a ajus a los pesos de mane a i e a i a,
buscando educi dicho e o en las p edicciones u u as.
La unción enca gada de es ima el e o , compa ando los esul ados ob eni-
dos con la salida espe ada, se denomina unción de pé dida o unción de cos e. Una
explicación de allada de es a unción se p opo ciona en el apa ado 2.3.7.1. El obje i o
p imo dial del en enamien o de una ed neu onal es op imiza (minimiza ) es a un-
ción de pé dida. Pa a lle a a cabo es a op imización exis en dis in os mé odos, siendo
uno de los más comunes el descenso de g adien e. El descenso de g adien e es un al-
go i mo de op imización usado pa a ob ene el mínimo de la unción de pé dida de un
algo i mo de ap endizaje au omá ico. De mane a i e a i a –a lo la go de una se ie de
pasos– in en a encon a el mínimo ap oximado de la unción has a que se alcanza una
condición de e minación que inaliza es e bucle. Pa a ello usa el g adien e, la di ección
en la que la unción de cos e se inc emen a, eco iéndolo en la di ección nega i a.
Como emos en el g á ico ( igu a 2.10), si seguimos la di ección nega i a del
g adien e (la pendien e de la unción en ese pun o), nos ace ca emos cada ez más al
alo mínimo de la unción de pé dida. Es e p oceso se denomina e op opagación
(backp opaga ion) y consis e en ajus a los pesos de la ed median e el cálculo de los
g adien es de la unción de pé dida.
De o ma gene al, el algo i mo de backp opaga ion sigue las siguien es e apas:
1. Inicialmen e, los pesos de las conexiones en la ed neu onal se asignan de mane a
alea o ia, lo que p opo ciona un pun o de pa ida.
34 Capí ulo 2. Es ado del a e
FIGURA 2.10: Ejemplo g á ico del g adien e descenden e cuando el pun-
o inicial es posi i o.
2. Un ejemplo especí ico del conjun o de da os es suminis ado a la ed neu onal y
es p opagado hacia adelan e u ilizando los pesos ac uales pa a calcula la salida
de la ed.
3. La salida gene ada po la ed es compa ada con la salida espe ada asociada a
ese ejemplo, y se calcula el e o u ilizando una unción de pé dida p e iamen e
de inida.
4. El e o calculado se p opaga hacia a ás a lo la go de la ed, ajus ando los pesos
de las conexiones con el in de minimiza lo.
5. Es e ciclo de pasos, desde la p opagación hacia adelan e has a el ajus e de pesos,
se epi e pa a cada ejemplo del conjun o de da os.
6. Después de que odo el conjun o de da os haya sido p ocesado po la ed, el p o-
ceso de ajus e se einicia. A es e ciclo comple o se le denomina época.
Es e algo i mo ha sido c ucial pa a el desa ollo y éxi o de las edes neu onales
mode nas, pe mi iendo en ena modelos más p o undos y complejos, como los que se
2.3. Una in oducción a las Redes Neu onales 35
u ilizan en la ac ualidad en a eas de econocimien o de pa ones, isión po compu-
ado a y p ocesamien o de lenguaje na u al.
Como se ha comen ado an e io men e, las edes neu onales mul icapas son ca-
paces de modela unciones más complejas que un pe cep ón simple. Sin emba go, es o
ambién in oduce desa íos adicionales, como la necesidad de un mayo pode compu-
acional y el iesgo de sob eajus e (o e i ing) (concep o a ado en la sección 2.3.7, de-
dicada al en enamien o) si no se manejan co ec amen e los da os de en enamien o.
La op imización de es as edes median e e op opagación y el uso de écnicas como el
descenso de g adien e ha pe mi ido a ances signi ica i os en in eligencia a i icial.
2.3.7.3. Mé icas pa a la e aluación de modelos
Una ez que un modelo de ed neu onal ha sido en enado, es undamen al
e alua su endimien o pa a asegu a se de que sea capaz de gene aliza co ec amen e
los da os no is os. Pa a lle a a cabo es a e aluación, se emplean di e sas mé icas
que pe mi en medi la e ec i idad del modelo en a eas especí icas. La selección de la
mé ica adecuada depende del ipo de p oblema que se es é esol iendo: clasi icación,
eg esión, o incluso p edicción de se ies empo ales. Pa a ealiza es a e aluación, se
u ilizan las siguien es de iniciones:
VP (Ve dade os Posi i os): Mues as que pe enecen a la clase posi i a y son co-
ec amen e clasi icadas po el modelo.
VN (Ve dade os Nega i os): Mues as que pe enecen a la clase nega i a y son
co ec amen e clasi icadas como nega i as po el modelo.
FP (Falsos Posi i os): Mues as que pe enecen a la clase nega i a pe o son inco-
ec amen e clasi icadas como posi i as.
FN (Falsos Nega i os): Mues as que pe enecen a la clase posi i a pe o son inco-
ec amen e clasi icadas como nega i as.
A con inuación, se desc iben algunas de las mé icas más u ilizadas en la e a-
luación de modelos.
P ecisión (Accu acy): Es la mé ica más común en p oblemas de clasi icación. Mi-
de el po cen aje de p edicciones co ec as sob e el o al de ejemplos e aluados.
Aunque es una mé ica in ui i a, puede se engañosa cuando las clases es án des-
balanceadas.
P ecisión =Núme o de p edicciones co ec as
Núme o o al de ejemplos e aluados
P ecisión (P ecision): En p oblemas de clasi icación bina ia, la p ecisión mide el
po cen aje de p edicciones posi i as co ec as sob e odas las p edicciones posi-
i as hechas po el modelo. Es especialmen e ú il cuando el cos o de los alsos
posi i os es al o.
42
Capí ulo 3. Au oma ización de ecogida y análisis de da os en enis median e écnicas
de ap endizaje p o undo
es os p ocesos es undamen al pa a mejo a la p ecisión y la e iciencia del análisis del
endimien o de los jugado es. Es e capí ulo abo da los p incipales desa íos asociados
a la au oma ización de la ecogida de da os en e en os depo i os, cen ándose en el
enis, y p opone soluciones basadas en écnicas de ap endizaje p o undo.
En e los desa íos más ele an es se encuen an la de ección p ecisa de la pe-
lo a y los jugado es en en o nos dinámicos, la iden i icación de pa ones complejos de
juego, y la segmen ación espacial de la pis a pa a un análisis de allado. Además, es c u-
cial op imiza el endimien o del sis ema pa a que pueda ope a en iempo eal y con
un consumo e icien e de ecu sos compu acionales.
Pa a abo da es os desa íos, se aplica án écnicas a anzadas de ap endizaje
p o undo, p incipalmen e edes neu onales con olucionales, que han demos ado su
e icacia en a eas de isión po compu ado . Es as edes pe mi en la de ección au omá i-
ca de obje os, el seguimien o de su mo imien o y la clasi icación de acciones depo i as
con al a p ecisión.
En la e a mode na, la in eg ación de la ecnología y el análisis de da os ha e-
olucionado el scou ing depo i o. Las he amien as ecnológicas a anzadas, como los
sis emas de seguimien o óp ico, el sis ema de posicionamien o global (GPS), las cáma-
as de al a elocidad y los senso es de mo imien o, pe mi en una ecopilación de da os
más de allada y p ecisa que nunca an es. Es as ecnologías cap u an cada mo imien-
o, gi o e impac o en la pis a, gene ando una g an can idad de da os que los scou e s
pueden analiza pa a ob ene in o mación sob e el endimien o de los jugado es.
El auge del big da a y la in eligencia a i icial ambién ha enido un impac-
o ans o mado en el scou ing depo i o. Los algo i mos de ap endizaje au omá ico
pueden p ocesa y analiza as as can idades de da os, iden i icando pa ones y co e-
laciones que pod ían pasa desape cibidos incluso pa a los ojos más expe imen ados.
Es as he amien as pueden p edeci el po encial de un jugado , iden i ica á eas de me-
jo a y suge i es a egias de juego op imizadas basadas en el análisis de da os his ó icos
y en iempo eal. La in eg ación de es as ecnologías pe mi e a los scou e s oma de-
cisiones más undamen adas y basadas en da os, maximizando así las posibilidades de
éxi o.
Además, la ecnología ha pe mi ido una mayo pe sonalización en el desa-
ollo y en enamien o de los jugado es. Los scou e s pueden u iliza he amien as de
análisis a anzadas pa a diseña p og amas de en enamien o a medida que abo den las
necesidades especí icas de cada jugado . Al analiza da os biomecánicos, isiológicos y
de endimien o, los scou e s pueden op imiza los planes de en enamien o pa a ma-
ximiza las mejo as y minimiza el iesgo de lesiones. Es a pe sonalización basada en
da os es especialmen e aliosa pa a los jó enes alen os, ya que ga an iza que eciban el
apoyo y la o ien ación adecuados en las e apas c í icas de su desa ollo.
En conclusión, el scou ing depo i o ha expe imen ado una ans o mación
signi ica i a en la e a digi al. La usión de la obse ación me iculosa adicional con las

3.2. Ma e iales y mé odos 43
he amien as ecnológicas más a anzadas ha lle ado la de ección de alen os y el aná-
lisis del endimien o a nue as co as de p ecisión y e icacia. Los scou e s mode nos son
expe os no solo en el a e de la e aluación isual, sino ambién en el ap o echamien o
de los da os y las ecnologías pa a oma decisiones más in o madas y es a égicas. A
medida que el enis (o el depo e en gene al) sigue e olucionando, el papel del scou ing
segui á siendo undamen al pa a el éxi o en odos los ni eles del juego.
Es a esis doc o al se ha cen ado en el enis y los undamen os de la de ección
en es e depo e y iene como obje i o demos a que las a eas de ecopilación manual
de in o mación pueden se au oma izadas u ilizando las úl imas ecnologías, pa icu-
la men e la in eligencia a i icial. También busca ab i una nue a línea de in es igación
y e oluciona es a indus ia. Las p incipales con ibuciones ealizadas en es e capí ulo
de la p esen e esis doc o al son las siguien es:
1. Se ha ealizado un es udio compa a i o exhaus i o de di e en es algo i mos de se-
guimien o ( acke s) y edes neu onales con olucionales pa a el análisis de ídeos
de enis.
2. Se han es udiado di e sos mé odos pa a la segmen ación p ecisa de una pis a de
enis en secuencias de ídeo, un paso c ucial pa a el análisis espacial del juego.
3. Se p opone un mé odo pa a iden i ica con p ecisión el ipo de golpeo (de echa o
e és) a la pelo a.
4. Se han gene ado es adís icas au omá icamen e a pa i del ídeo de en ada del
sis ema.
5. Finalmen e, se p esen a un sis ema (so wa e) in eg al que combina odas las con-
ibuciones en un lujo de abajo au oma izado de ex emo a ex emo. Es e sis e-
ma p ocesa ídeos de pa idos de enis, gene ando un mapa de calo con es adís-
icas aliosas pa a los scou e s de mane a comple amen e au oma izada.
A lo la go de es e capí ulo, se desc ibi án en de alle los mé odos u ilizados, los
esul ados ob enidos y un análisis c í ico que pe mi i á e alua la e icacia del en oque
p opues o. Se p esen a án an o los desa íos écnicos como las soluciones implemen a-
das, p opo cionando una isión in eg al del p oceso de au oma ización de la ecogida
de da os en el enis median e écnicas de ap endizaje p o undo.
3.2. Ma e iales y mé odos
Es e apa ado p esen a los mé odos aplicados pa a au oma iza la ecolección
de da os de e en os depo i os. De alla los en oques, ecnologías y algo i mos especí-
icos u ilizados en el es udio, con un en oque pa icula en el enis como depo e selec-
cionado pa a la in es igación.
La elección del enis como depo e p incipal pa a es e es udio, al y como se
adelan ó en el capí ulo 1, se basa en a ios ac o es cla e que des acan su ele ancia y
adecuación pa a la in es igación. En p ime luga , el enis cuen a con una amplia base
44
Capí ulo 3. Au oma ización de ecogida y análisis de da os en enis median e écnicas
de ap endizaje p o undo
de jugado es a ni el mundial, es imada en ap oximadamen e 60 millones (In e na ional
Tennis Fede a ion, 2021). Es a popula idad global ga an iza una as a can idad de da os
disponibles pa a su análisis y es udio, lo que es undamen al pa a el desa ollo y la
alidación de écnicas de ex acción au omá ica de da os.
Además, el enis se ca ac e iza po un calenda io compe i i o obus o, con más
de 1,500 o neos o iciales cada año, incluyendo los p es igiosos G and Slams: el Abie o
de Aus alia, Roland Ga os, Wimbledon y el Abie o de Es ados Unidos (In e na ional
Tennis Fede a ion, 2023). Es os e en os de al o pe il no solo a aen la a ención mundial,
sino que ambién gene an una g an can idad de da os de al o alo , an o en é minos
de endimien o de los jugado es como de es a egias de juego.
La dimensión económica del enis ambién es signi ica i a y e leja su es a us
como un depo e global de p ime ni el. Los p emios mone a ios en los o neos más
impo an es alcanzan ci as sus anciales, con el Abie o de Es ados Unidos 2023 epa -
iendo un o al de más de $57 millones y los campeones indi iduales ecibiendo más de
$3 millones cada uno (Uni ed S a es Tennis Associa ion, 2022). Además, los ing esos de
los mejo es enis as, de i ados an o de p emios como de pa ocinios, pueden alcanza
decenas de millones de dóla es anualmen e (Badenhausen, 2022). Es a in e sión inan-
cie a en el depo e sub aya su alo y a ac i o, no solo pa a los jugado es y a icionados,
sino ambién pa a las emp esas y o ganizaciones in oluc adas en el análisis depo i o.
Es os ac o es numé icos no solo demues an la popula idad e impac o eco-
nómico del enis, sino que ambién jus i ican su selección como el depo e ideal pa a
aplica y desa olla ecnologías a anzadas de análisis depo i o. La abundancia de da-
os, la ecuencia de compe iciones de al o pe il y la in e sión económica en el depo e
asegu an un e eno é il pa a la inno ación y el desa ollo ecnológico en el campo de
la ex acción au omá ica de da os.
Pa a alinea es e abajo con las p ác icas ac uales en el análisis de da os de
enis, se ealizó un es udio exhaus i o de las mé icas y es adís icas u ilizadas po di-
e sas emp esas líde es en es e campo. Se p es ó especial a ención a los in o mes de
mues a p opo cionados po Tennis Analy ics (Tennis Analy ics websi e s. .), que o ecen
una isión de allada de los da os ecopilados y analizados pa a di e en es pa idos de
enis. Es os in o mes, jun o con los de o as compañías simila es, ue on compa ados y
analizados pa a iden i ica los da os más impo an es y comúnmen e u ilizados en la
indus ia. La Tabla 3.1 p esen a es os da os cla e, que incluyen mé icas como pun os
o ales ganados, elación ganado es/e o es, ole ancia en golpes, apa iciones en la ed
ganadas, po cen aje de p ime se icio, en e o os.
Es e en oque basado en la indus ia asegu a que la ex acción au omá ica de
da os se alinee con las mé icas ya alo adas y u ilizadas po los p o esionales del análi-
sis de enis. Al cen a se en es os da os es ánda , el sis ema desa ollado en es e abajo
iene una ele ancia y aplicabilidad inmedia as en con ex os del mundo eal.
3.2. Ma e iales y mé odos 45
Pun os To ales Ganados To al de pun os ganados po un jugado
Ganado es/E o es Pun os en los que el oponen e no oca la pelo-
a/pun os en los que el oponen e sí oca la pelo-
a
Tole ancia en Golpes Es e es el núme o de golpes que puedes da an-
es de come e un e o o de que u oponen e
ano e un pun o ganado
Apa iciones en la Red Ganadas Po cen aje de pun os ganados en la ed (cuando
el jugado básicamen e sube a la ed)
% de P ime Se icio El po cen aje de eces que no has allado el p i-
me se icio, es deci , que has log ado me e la
pelo a en la caja del oponen e
Pun os de Quieb e Sal ados Núme o de pun os de quieb e que se han sal a-
do. Po ejemplo, el jugado 1 enía en aja, y el
jugado 2 log ó ano a un pun o, llegando a 40
iguales
P ime os Se icios Ganados Núme o de pun os ganados con el p ime se i-
cio
Segundos Se icios Ganados Núme o de pun os ganados con el segundo se -
icio
P ime as De oluciones Ganadas Núme o de pun os que un jugado ha ganado,
habiendo se ido el oponen e con el p ime se -
icio
Segundas De oluciones Ganadas Núme o de pun os que un jugado ha ganado,
habiendo se ido el oponen e con el segundo
se icio
Aces Núme o de aces
Dobles Fal as Núme o de eces que ha allado ambos se icios
Pun os de Quieb e Con e idos Pun os de quieb e ganados
TABLA 3.1: Da os analí icos a ex ae y su signi icado
46
Capí ulo 3. Au oma ización de ecogida y análisis de da os en enis median e écnicas
de ap endizaje p o undo
Un análisis más p o undo de es as mé icas e ela que algunas pueden de i-
a se o ex apola se a pa i de o as. Es e conocimien o pe mi e un en oque op imi-
zado, donde la in eligencia a i icial se cen a en ex ae solo las mé icas esenciales,
denominadas "da os analí icos b u os". Pos e io men e, se pueden aplica ó mulas ma-
emá icas pa a de i a las mé icas es an es, llamadas "da os analí icos p ocesados", a
pa i de es os da os b u os. La Tabla 3.2 mues a es a ca ego ización de las mé icas en
da os b u os y p ocesados.
KPIs Da os b u os Da os p ocesados
Pun os To ales Ganados X
Ganado es/E o es X
Tole ancia en Golpes X
Apa iciones en la Red Ganadas X
% de P ime Se icio X
Pun os de Quieb e Sal ados X
P ime os Se icios Ganados X
Segundos Se icios Ganados X
P ime as De oluciones Ganadas X
Segundas De oluciones Ganadas X
Aces X
Dobles Fal as X
Pun os de Quieb e Con e idos X
TABLA 3.2: Da os analí icos b u os y p ocesados
Es e en oque es a i icado no solo simpli ica el p oceso de ex acción de da os,
sino que ambién ga an iza que los da os ex aídos sean inmedia amen e aplicables y
aliosos pa a un análisis p o undo y pa a la oma de decisiones en el con ex o del enis.
Al dis ingui en e da os analí icos b u os y p ocesados, el sis ema puede p opo ciona
in o mación in eg al al mismo iempo que op imiza los ecu sos compu acionales y el
iempo de p ocesamien o.
Pa a log a la ex acción au omá ica de da os en el enis, es e abajo abo da
cua o a eas cla e:
1. De ección y seguimien o únicamen e de los jugado es: En los pa idos de enis
ele isados, además de los jugado es, ambién pueden apa ece en la imagen o os
indi iduos como ecogepelo as, á bi os y espec ado es. Es c ucial dis ingui y il-
a a es os indi iduos no ele an es pa a el análisis, asegu ando que la de ección
y el seguimien o se cen en exclusi amen e en los dos jugado es.
2. De ección y seguimien o de la pelo a: Es e es quizás el desa ío más signi ica i o
abo dado en es e abajo. Una pelo a de enis es un obje o pequeño y ápido, capaz
de alcanza elocidades supe io es a los 200 km/h (The-Sydney-Mo ning-He ald,
3.2. Ma e iales y mé odos 47
2012), con un éco d ac ual de 263 km/h. Además, su amaño, con un diáme o en-
e 6.54 y 6.86 cen íme os según las egulaciones de la ITF (In e na ional-Tennis-
Fede a ion, 2022), la hace di ícil de de ec a y segui , especialmen e en condiciones
desa ian es como pis as de césped o con ondos de colo es simila es.
3. De e minación de la mano u ilizada po el jugado pa a golpea la pelo a: Mu-
chas de las es adís icas u ilizadas en el análisis del enis, como se e en los in o -
mes de las emp esas mencionadas, equie en da os sob e la mano u ilizada pa a
golpea la pelo a. Po lo an o, es esencial clasi ica cada golpe como de echa o
e és.
4. Iden i icación de las di e en es egiones de una pis a de enis: Comp ende y
segmen a las dis in as á eas de una pis a de enis es undamen al pa a un análisis
espacial p eciso. Es o implica econoce los lími es de la pis a, las cajas de se icio
y o as zonas ele an es.
Abo da con éxi o es as a eas es esencial pa a desa olla un sis ema obus o y
e icaz de ex acción au omá ica de da os en el enis. Cada uno de ellos p esen a desa íos
únicos que equie en la aplicación de algo i mos y ecnologías a anzadas, pa icula -
men e en las á eas de isión po compu ado a, seguimien o de obje os y ap endizaje
au omá ico. Las secciones siguien es de allan los en oques especí icos y las écnicas in-
no ado as empleadas pa a supe a es os desa íos y log a los obje i os de es e abajo
de in es igación.
3.2.1. Ta ea N.º 1: Seguimien o de la Pelo a y los Jugado es
El seguimien o de obje os es un p oblema undamen al en la isión po compu-
ado a que implica es ima la ayec o ia de un obje o a lo la go de una secuencia de
imágenes. En esencia, un acke (o as eado en Español) asigna e ique as consis en es
al obje o de in e és en cada o og ama, p opo cionando in o mación adicional como su
posición, amaño y o ma, según el dominio de aplicación.
Pa a selecciona el acke más adecuado pa a el seguimien o de la pelo a y
los jugado es en el enis, se analiza on y compa a on nue e algo i mos de seguimien o
disponibles en la li e a u a. La e aluación se ealizó u ilizando un conjun o de ídeos
(human-walking-g ound- u h) (Haggui, Tchalim y Magnie , 2021) que p esen aba di-
e sos desa íos comunes que pod ían a ec a nega i amen e al seguimien o del obje o:
Oclusión (walk1.mp4)1:Ocu e cuando el obje o de in e és es bloqueado pa cial
o o almen e po o o obje o, lo que puede causa que el acke pie da su obje i o
debido a la al a de in o mación isual necesa ia. Las oclusiones pueden se em-
po ales o p olongadas y pueden p o eni de obje os es á icos o dinámicos en la
escena.
1h ps://gi hub.com/salcanmo /PhD/blob/main/Chap e _1/Da ase s/human-walking/

48
Capí ulo 3. Au oma ización de ecogida y análisis de da os en enis median e écnicas
de ap endizaje p o undo
Solapamien o (walk2.mp4)1:Se p oduce cuando dos obje os en el campo de i-
sión se c uzan en e sí desde la pe spec i a de la cáma a, lo que puede con undi
al acke y di icul a la dis inción y el seguimien o del obje o co ec o.
Mo imien o en el Plano (walk3.mp4)1:Se e ie e al mo imien o ela i o en e la
cáma a y el obje o de seguimien o mien as es e úl imo se mue e en cualquie
di ección den o del plano pa alelo a la len e de la cáma a. Es o puede se pa i-
cula men e desa ian e si el ondo con iene pa ones o mo imien os que dis aen
al algo i mo de seguimien o.
Ro ación en el Plano (walk4.mp4)1:Es la o ación del obje o as eado al ededo
de un eje pe pendicula a la línea de isión de la cáma a. Los acke s deben se
capaces de maneja es os cambios en la o ien ación del obje o, que pueden al e a
su apa iencia, pa a man ene un seguimien o p eciso.
Va iación de Escala (walk5.mp4)1:Ocu e cuando la escala del obje o de segui-
mien o cambia en elación con la cáma a, ya sea po el mo imien o del obje o
hacia o alejándose de la cáma a o po cambios en la pe spec i a. Un acke e i-
caz debe se capaz de ajus a su " en ana"de seguimien o pa a adap a se a es os
cambios de amaño.
Baja Resolución (walk5.mp4)1:Se p esen a cuando la imagen o ídeo es de baja
calidad y el obje o de in e és no iene su icien es de alles isuales pa a un segui-
mien o p eciso, lo que puede debe se a la dis ancia del obje o, la mala calidad de
la cáma a o condiciones de iluminación inadecuadas.
Combinación de Va ios de los P oblemas An e io es (walk6.mp4)1:Explo a si un
acke que es esis en e a a ios p oblemas po sepa ado puede no se lo cuando
odos es os p oblemas se combinan.
Abo da es os desa íos es c ucial pa a un seguimien o e ec i o en el análisis
depo i o, ya que impac a di ec amen e en la p ecisión y con iabilidad de la ex acción
de da os. La capacidad del sis ema de seguimien o pa a maneja es os di e sos esce-
na ios es esencial pa a p opo ciona análisis obus os y consis en es, especialmen e en
en o nos depo i os dinámicos e imp edecibles como el enis.
Pa a mejo a la calidad y consis encia del conjun o de da os, se e-e ique a on
aquellos ídeos cuyas e ique as es aban al aban o e an inexac as. Pa a el es o de los í-
deos e ique ados con p ecisión, se c eó un sc ip pa a con e i sus e ique as al o ma o
XML de Pascal VOC (Pascal VOC websi e s. .). Como esul ado, se ob u o un nue o
conjun o de da os donde el 100% de los ídeos es aban e ique ados con p ecisión y es-
anda izados según el o ma o XML de Pascal VOC. Es e conjun o de da os, jun o con
odos los sc ip s y ecu sos u ilizados en es e abajo, es á disponible en el eposi o io
Gi Hub de es a esis doc o al2.
La c eación de es e conjun o de da os e ique ado con p ecisión es un paso sig-
ni ica i o en el desa ollo y alidación de algo i mos de seguimien o. Con a con un
2h ps://gi hub.com/salcanmo /PhD/
3.2. Ma e iales y mé odos 49
conjun o de da os comple o y p eciso es c ucial pa a en ena y p oba la e ec i idad de
es os algo i mos. El uso de un o ma o es anda izado como el XML de Pascal VOC ase-
gu a además la consis encia e in e ope abilidad con a ias he amien as de ap endizaje
au omá ico y isión po compu ado a.
En la in es igación ealizada pa a abo da es e capí ulo de la esis, se han es u-
diado y compa ado a ios algo i mos de seguimien o disponibles en la li e a u a con el
in de de e mina cuál de ellos o ece los mejo es esul ados pa a el sis ema p opues o
en es e abajo. Los algo i mos conside ados son:
1. Boos ing (G abne , G abne y Bischo , 2006): un acke de obje os en iempo eal
que u iliza una e sión en línea del algo i mo AdaBoos , ap o echando el ondo
ci cundan e como ejemplos nega i os pa a e i a el desplazamien o.
2. MIL (Mul iple Ins ance Lea ning) (Babenko, Yang y Belongie, 2010): una écni-
ca de seguimien o de obje os basada en un en oque de ap endizaje en línea pa a
adap a se a los cambios en la apa iencia del obje o obje i o.
3. KCF (Ke nelized Co ela ion Fil e s) (Hen iques e al., 2014): se cen a en el se-
guimien o de al a elocidad u ilizando il os de co elación ke nelizados.
4. TLD (T acking Lea ning De ec ion) (Kalal, Mikolajczyk y Ma as, 2011): un mé o-
do de seguimien o de obje os que combina seguimien o, ap endizaje y de ección
en un ma co uni icado pa a mejo a la obus ez y p ecisión.
5. MedianFlow (Kalal, Mikolajczyk y Ma as, 2010): un mé odo de seguimien o de
obje os basado en la es imación del lujo óp ico, pa icula men e e ec i o en si ua-
ciones con mo imien os ápidos y cambios ab up os.
6. GOTURN (Gene ic Objec T acking Using Reg ession Ne wo k) (Held, Th un
y Sa a ese, 2016): basado en edes neu onales de eg esión que u ilizan el ap en-
dizaje p o undo pa a as ea obje os gené icos sin necesidad de ajus es en línea.
7. MOSSE (Minimum Ou pu Sum o Squa ed E o ) (Bolme e al., 2010): basado
en il os de co elación, des acado po su al a elocidad y e iciencia en si uaciones
con cambios de iluminación y escala.
8. CSRT (Disc imina i e Co ela ion Fil e wi h Channel and Spa ial Reliabili y)
(Lukezic e al., 2016): un acke a anzado que u iliza il os de co elación disc i-
mina i os jun o con la iabilidad espacial y de canales pa a mejo a la p ecisión y
obus ez en el seguimien o de obje os.
9. By eT ack (Zhang e al., 2022): un mé odo de seguimien o mul i-obje o que se
cen a en asocia cada caja de de ección pa a mejo a la p ecisión y educi la
agmen ación en el seguimien o de obje os en escenas complejas.
Todos es os acke s han sido p obados con odos los ídeos del da ase p e-
iamen e mencionado, cada uno acompañado po su a chi o de g ound- u h espec-
i o. El a chi o de g ound- u h es un a chi o que con iene las ano aciones o e ique as
de e e encia que ep esen an la e dad absolu a sob e la ubicación y las dimensiones
50
Capí ulo 3. Au oma ización de ecogida y análisis de da os en enis median e écnicas
de ap endizaje p o undo
T acke / ídeo walk1 walk2 walk3 walk4 walk5 walk6 P omedio
Boos ing 0,45 0,46 0,12 0,33 0,19 0,03 0,26
MIL 0,41 0,41 0,14 0,34 0,20 0,03 0,25
KCF 0,43 0,22 0,07 0,34 0 0 0,18
TLD 0,37 0,18 0,08 0,23 0,09 0,01 0,16
Median low 0,22 0,05 0,08 0,21 0 0 0,09
GOTURN 0 0,02 0,13 0 0 0,01 0,03
MOSSE 0,44 0,33 0,08 0,73 0,21 0,43 0,37
CSRT 0,74 0,44 0,07 0,66 0,19 0,02 0,35
By eT ack 0,78 0,71 0,79 0,87 0,60 0,73 0,75
TABLA 3.3: Compa ación de di e en es acke s u ilizando la mé ica
IoU
del obje o de in e és en cada o og ama del ídeo. Es as ano aciones son c eadas ma-
nualmen e po expe os humanos y si en como una e e encia o almen e exac a pa a
e alua el endimien o de los algo i mos de seguimien o. La mé ica u ilizada pa a com-
pa a los acke s ue la In e sección sob e Unión (IoU), una mé ica es ánda en isión
po compu ado a pa a medi la p ecisión de un modelo de de ección de obje os. IoU
calcula la elación en e el á ea de in e sección y la unión en e la caja delimi ado a p e-
dicha po el acke y la caja delimi ado a de la e dad de e eno p opo cionada en el
a chi o de g ound- u h.
Los esul ados de es as p uebas se esumen en la abla 3.3, que mues a el IoU
alcanzado po cada acke en cada uno de los ídeos, así como el IoU p omedio. El
algo i mo By eT ack log ó el mejo endimien o, supe ando signi ica i amen e al es o;
po lo an o, es el elegido pa a el sis ema p opues o en es e abajo.
La selección de By eT ack como el algo i mo de seguimien o pa a es e sis ema
se basa en su endimien o supe io en la e aluación compa a i a ealizada. Su capaci-
dad pa a maneja e icazmen e di e sos desa íos comunes en el seguimien o de obje os,
como oclusiones, solapamien os y a iaciones de escala, lo con ie e en una elección
sólida pa a el seguimien o de la pelo a y los jugado es en el enis.
Es e en oque igu oso pa a selecciona el algo i mo de seguimien o más ade-
cuado, basado en p uebas exhaus i as y compa aciones cuan i a i as, ga an iza que el
sis ema p opues o es é cons uido sob e una base sólida. Al elegi el acke con el mejo
endimien o, se maximiza la p ecisión y con iabilidad de la ex acción de da os, lo que
a su ez mejo a la calidad y u ilidad de los análisis depo i os esul an es.
3.2.2. Ta ea N.º 2: De ección de la Pelo a y los Jugado es
La de ección p ecisa de la pelo a y los jugado es es un componen e c í ico en el
análisis au omá ico de e en os depo i os, especialmen e en depo es de ápido mo i-
mien o como el enis. En es e abajo, se explo a on Redes Neu onales Con olucionales
3.2. Ma e iales y mé odos 51
(CNNs) como un en oque po encial pa a abo da es e desa ío. El obje i o e a e alua
la iabilidad y e icacia de las CNNs en compa ación con o os mé odos y de e mina si
ep esen aban un pun o de pa ida sólido pa a el desa ollo de un sis ema de de ección
obus o.
Inicialmen e, se expe imen ó con Yolac Edge (Liu e al., 2021), una ed dise-
ñada pa a la segmen ación de ins ancias en iempo eal en disposi i os empo ados.
Yolac Edge se basa en la a qui ec u a YOLACT (Bolya e al., 2019), pe o inco po a dos
mejo as signi ica i as:
1. Op imización u ilizando Tenso RT (Vanholde , 2016): Es a op imización man ie-
ne un equilib io cuidadoso en e elocidad y p ecisión.
2. Un nue o módulo de de o mación de ca ac e ís icas: Es e módulo explo a la e-
dundancia empo al en los ideos. La idea de ás de la de o mación de ca ac e ís-
icas es u iliza la in o mación de o og amas an e io es pa a mejo a la comp en-
sión del o og ama ac ual, educiendo la necesidad de ecálculo y, po lo an o,
acele ando el p oceso.
Es as mejo as hacen de Yolac Edge una opción adecuada pa a a eas de seg-
men ación de ins ancias en iempo eal en el análisis depo i o de pa idos de enis (o
de cualquie depo e en gene al), donde la elocidad y la p ecisión son c uciales. La
capacidad de unciona e icien emen e en disposi i os empo ados ambién la con ie -
e en una solución p ác ica pa a e en os depo i os en iempo eal, donde la po encia
de p ocesamien o puede se limi ada. Al ap o echa es os a ances, Yolac Edge puede
p opo ciona po encialmen e una de ección p ecisa de jugado es y pelo as, lo cual es
esencial pa a la ex acción au omá ica de da os de análisis depo i o.
Sin emba go, después de p oba Yolac Edge en el disposi i o NVIDIA Je son
AGX Xa ie , en busca de un endimien o aún mayo , se decidió p oba YoloX (Ge e
al., 2021), una a qui ec u a conocida po su simplicidad y e icacia en la de ección de
obje os. YoloX se u ilizó pa a de ec a an o a las pe sonas (en es e caso, los jugado es
de enis) como la pelo a de enis. Además, la CNN se in i ió u ilizando el amewo k
PaddlePaddle (Ma e al., 2019). Dicha ed se p obó en la nube, especí icamen e en Goo-
gle Colab (Bisong y Bisong, 2019).
Finalmen e, se e aluó Yolo 8 (Joche , Chau asia y Qiu, 2023; Solawe z y F an-
cesco, 2023). Es a CNN es la úl ima e sión del modelo Yolo en el momen o de ealiza-
ción de es e abajo, conside ado el es ado del a e en el campo. Yolo 8 es una a qui-
ec u a e sá il que admi e múl iples a eas de isión, como de ección, segmen ación,
es imación de poses, seguimien o y clasi icación, lo que la hace especialmen e adecuada
pa a el análisis depo i o in eg al.
Pa a compa a el endimien o de Yolac Edge, YoloX y Yolo 8, se selecciona-
on es ídeos con pis as de enis de di e en es ipos de supe icie: du a (azul), césped
( e de) y a cilla (ma ón).
58
Capí ulo 3. Au oma ización de ecogida y análisis de da os en enis median e écnicas
de ap endizaje p o undo
FIGURA 3.4: Pun os de segmen ación de la pis a de enis
ep esen a la esquina supe io izquie da del á ea de se icio. Es a nomencla u a in ui-
i a acili a la in e p e ación de los esul ados y pe mi e una ácil in eg ación con o os
componen es del sis ema de análisis.
La capacidad de la ed Yolo 8 pa a iden i ica y localiza con p ecisión es-
os pun os cla e es undamen al pa a un análisis de allado del juego. Al segmen a la
cancha en sus di e en es egiones (á eas de se icio, pasillos, zonas de dobles, e c.), se
pueden ex ae in o mación aliosa sob e los pa ones de juego, las es a egias de los
jugado es y las á eas de la cancha más u ilizadas.
Además, la segmen ación p ecisa de la cancha pe mi e un seguimien o más
de allado de los mo imien os de los jugado es. Al conoce la ubicación exac a de los
jugado es en elación con las di e en es egiones de la cancha, se pueden gene a es a-
dís icas a anzadas, como la dis ancia eco ida, la elocidad de los desplazamien os y
la cobe u a de la cancha. Es os da os pueden p opo ciona in o mación aliosa sob e
la condición ísica de los jugado es, su es ilo de juego y sus o alezas y debilidades.
3.2.5. Sis ema P opues o
La igu a 3.5 mues a los componen es del sis ema p opues o y los esul ados,
incluyendo an o el ideo p ocesado como los esul ados numé icos ob enidos po ca-
da uno de ellos. Es e diag ama de lujo ilus a la a qui ec u a y el uncionamien o del
sis ema, des acando las e apas cla e del p ocesamien o y las salidas gene adas.

3.2. Ma e iales y mé odos 59
FIGURA 3.5: Flujo de so wa e del sis ema p opues o, donde los nodos
azules co esponden a la salida isual, los nodos ojos ep esen an los
nodos de p ocesamien o de da os y los nodos e des ep esen an la sa-
lida de da os b u os de las e apas de p ocesamien o.
El p ocesamien o ealizado po el sis ema p opues o se puede di idi en cua o
e apas o bloques p incipales, desc i os a con inuación:
1. Ca ga de modelos y es imación de poses: En la p ime a e apa, se ca gan las
edes neu onales u ilizadas en es e es udio: el modelo de la ed de es imación de poses
60
Capí ulo 3. Au oma ización de ecogida y análisis de da os en enis median e écnicas
de ap endizaje p o undo
(Mo eNe Mul iPose) y dos ins ancias de Yolo 8 pa a la de ección de líneas en la pis a
de enis y la de ección de la pelo a y los jugado es, espec i amen e. Jun o con la ca ga
del modelo de es imación de poses, se es ablecen unciones pa a p ocesa e ilus a las
conexiones en e los pun os cla e en los o og amas de ideo. A con inuación, se eje-
cu an p edicciones de es imación de poses en los o og amas del ideo de en ada pa a
es ima las poses humanas. Los ideos de en ada se ca ac e izan po una esolución
de 1920x1080, una asa de o og amas de 25 y 60 ps dependiendo del ídeo y es án en
o ma o RGB. La in o mación gene ada po la ed de es imación de poses p opo ciona
dos lis as de pun os ela i as a las poses de los jugado es ( enso es CMAP y PAF (Cao
e al., 2017)), que pe mi en la de e minación de los pun os de las a iculaciones y su
co ec a conexión. Es os da os se p ese an pa a un pos e io p ocesamien o y análisis
es adís ico.
Además, se ca ga un modelo de Yolo 8 pa a la de ección de líneas en una pis a
de enis, con unciones de inidas pa a calcula los pun os cla e de la pis a basándose en
las coo denadas de las esquinas. Es e p oceso gene a una ma iz (Model P edic ion wi h
Ul aly ics YOLO s. .) que con iene a ias piezas de in o mación, incluidas las coo de-
nadas de los pun os de la pis a de enis, que ambién se e ienen pa a un p ocesamien o
y análisis es adís ico pos e io .
Pos e io men e, se ca ga el modelo de Yolo 8 en enado pa a la de ección de
la pelo a y los jugado es, gene ando o a ma iz con di e sa in o mación, incluidas las
coo denadas de los pun os de la pis a de enis, que, al igual que las ma ices an e io es,
se gua dan pa a un análisis pos e io .
2. Seguimien o de obje os: En la segunda e apa, se ejecu a el as eado By-
eT ack, u ilizando las de ecciones de la ed mencionada an e io men e pa a as ea la
pelo a y los jugado es. Gene a una ma iz que con iene las coo denadas de las p edic-
ciones pa a ambos elemen os: la pelo a y los jugado es.
3. De e minación del ipo de golpe: En la e ce a e apa, se ealizan cálculos
u ilizando los da os de i ados de los modelos de de ección an e io es y la es imación
de poses pa a de e mina si un golpe es de de echa o e és.
4. P ocesamien o de da os y gene ación de esul ados: En la e apa inal, se lle-
a a cabo el p ep ocesamien o de da os, cálculos es adís icos y la gene ación de mapas
de calo . Además, oda la in o mación y acciones se compilan en un ideo inal. Se u ili-
zan écnicas de isualización pa a mos a es adís icas cla e y acciones de los jugado es.
El ideo esul an e se gua da pa a un análisis o p esen ación pos e io .
La igu a 3.6 mues a una cap u a de pan alla del sis ema p opues o en acción.
Especí icamen e, es a cap u a se omó en el momen o en que uno de los jugado es gol-
pea la pelo a con a la ed, pe diendo así el pun o. Mues a la de ección de la pelo a
y los jugado es, la segmen ación de la pis a de enis y ambién el ma cado de pun os
mos ado en la esquina supe io izquie da. Es a isualización demues a la capacidad
del sis ema pa a in eg a a ios aspec os de un pa ido de enis en un análisis cohe-
en e. La de ección de la pelo a y los jugado es indica la capacidad de seguimien o del
3.3. Resul ados 61
sis ema, mien as que la segmen ación de la pis a mues a su comp ensión del á ea de
juego. La inclusión del ma cado en iempo eal ag ega una capa de in o mación con-
ex ual, lo que hace que el sis ema sea alioso pa a el análisis en iempo eal y la oma
de decisiones en pa idos de enis.
FIGURA 3.6: Cap u a de pan alla del sis ema p opues o en unciona-
mien o
Además, ambién se gene an imágenes como la que se mues a en la igu a 3.7.
Es a igu a p esen a a ias es adís icas y da os analí icos de i ados del p ocesamien o
del pa ido de enis po pa e del sis ema. Es e sis ema combina in o mación sob e ma-
pas de calo y pun os ecopilados a lo la go del p oyec o. Gene a una isualización com-
ple a que incluye es adís icas del mapa de calo y dis ibución de pun os. P opo ciona
un esumen de allado del endimien o de los jugado es y un análisis de los golpes.
3.3. Resul ados
Como se mencionó an e io men e en la sección 3.2, el p oblema abo dado en
es e abajo se di idió en 4 a eas. Las siguien es secciones desc iben las p uebas y e-
sul ados ob enidos pa a cada una de es as a eas. Finalmen e, es a sección concluye con
las p uebas y esul ados del sis ema comple o p opues o en es e abajo.
62
Capí ulo 3. Au oma ización de ecogida y análisis de da os en enis median e écnicas
de ap endizaje p o undo
FIGURA 3.7: Mapa de calo con algunas es adís icas sob e el pa ido
3.3.1. Ta ea 1: Seguimien o de la pelo a y los jugado es
En la a ea 1, el obje i o es de e mina el mejo acke pa a el sis ema p opues-
o en es e abajo. Pa a es e p opósi o, se u ilizó un conjun o de da os que comp ende
6 ídeos, p obando odos es os ídeos con 9 acke s di e en es: Boos ing, MIL, KCF,
TLD, MedianFlow, GOTURN, MOSSE, CSRT y By eT ack. Es os as eado es son muy
di e en es en e sí, cub iendo un amplio espec o del es ado del a e del acking, desde
en oques adicionales has a écnicas más ecien es basadas en ap endizaje p o undo.
Después de ealiza es a se ie de p uebas, cuyos esul ados se mues an en
la abla 3.3, se de e minó cuan i a i amen e que By eT ack ue el mejo acke en o-
dos los escena ios. La e iciencia se midió u ilizando la mé ica In e sección sob e Unión
(IoU), una mé ica es ánda en la e aluación de algo i mos de de ección y seguimien o
de obje os. By eT ack log ó un IoU de 0.75, lo que se conside a una buena p ecisión, su-
pe ando signi ica i amen e a los demás acke s. MOSSE ue el segundo mejo acke
con un IoU de 0.37.
Es os esul ados des acan la supe io idad de By eT ack en el manejo de di e -
sos desa íos de seguimien o, como oclusiones, cambios de escala y mo imien os ápi-
dos, que son comunes en los ídeos de enis. La capacidad de By eT ack pa a man ene
un seguimien o p eciso y obus o de los jugado es y la pelo a lo con ie e en la elección
óp ima pa a el sis ema p opues o en es e abajo.
3.3. Resul ados 63
3.3.2. Ta ea 2: De ección de la pelo a y los jugado es
La a ea 2 se cen a en encon a el mejo mé odo pa a de ec a la pelo a y los
jugado es. Pa a abo da es e p oblema, se u iliza on edes neu onales con oluciona-
les, especí icamen e es a qui ec u as di e en es: Yolac Edge, YOLOX y YOLO 8. Es as
CNNs ue on en enadas exclusi amen e pa a de ec a pelo as y jugado es en ídeos
de enis.
Pa a un análisis de allado, es as es CNNs se p oba on con ídeos de pa idos
de enis en es supe icies di e en es: pis as du as, de a cilla y de césped. Los esul a-
dos de es as p uebas se esumen en la abla 3.4. A pa i de es os esul ados, se puede
conclui que YOLO 8 es la CNN con el mejo endimien o. En é minos de de ección
de jugado es, YOLO 8 log ó una e ec i idad del 100% en 2 de los 3 ídeos y muy ce ca
del 100% (especí icamen e 97.8%) en el e ce o. En cuan o a la de ección de la pelo a,
YOLO 8 ambién alcanza una al a e iciencia, siendo la más baja de 93.71%.
La igu a 3.1 mues a una cap u a de pan alla de la de ección de la pelo a y
los jugado es u ilizando YOLO 8. Es a isualización ilus a la capacidad del sis ema
pa a iden i ica y localiza con p ecisión es os elemen os cla e en un en o no dinámico
y desa ian e como un pa ido de enis.
La supe io idad de YOLO 8 en la de ección de la pelo a y los jugado es pue-
de a ibui se a su a qui ec u a a anzada y su capacidad pa a ap ende ca ac e ís icas
disc imina i as a pa i de los da os de en enamien o. Su endimien o consis en e en
di e en es supe icies de pis a demues a su obus ez y adap abilidad, lo que lo con ie -
e en una elección sólida pa a el sis ema p opues o.
3.3.3. Ta ea 3: De e minación de la mano de golpeo
En la a ea 3, el obje i o es de e mina con qué mano el jugado golpea la pe-
lo a, es deci , si es un golpe de de echa o e és. Se p oba on dos en oques: el p ime o
se basaba en de e mina la posición de la pelo a en elación con el jugado , y el segun-
do implicaba el uso de una CNN de es imación de la pose, especí icamen e Mo ene
mul ipose ligh ning.
El p ime en oque ue desca ado ápidamen e debido al al o núme o de e o-
es que p odujo. Po lo an o, se op ó po u iliza la ed de es imación de la pose. Ambos
mé odos se p oba on u ilizando los mismos ídeos que en la a ea 2. Los esul ados de
es as p uebas se esumen en la Tabla 3.5, donde se puede obse a que el uso de la ed
de es imación de poses elimina cualquie e o , log ando una e ec i idad del 100%.
La igu a 3.2 mues a una cap u a de pan alla no solo con la de ección del
jugado , la pelo a y las egiones de la pis a, sino que ambién indica la mano con la que
se golpea la pelo a. Es a isualización in eg al demues a la capacidad del sis ema pa a
analiza múl iples aspec os del juego simul áneamen e.
El éxi o de la ed de es imación de poses en la de e minación de la mano de
golpeo se a ibuye a su capacidad pa a cap u a y analiza la pos u a y el mo imien o

64
Capí ulo 3. Au oma ización de ecogida y análisis de da os en enis median e écnicas
de ap endizaje p o undo
del cue po humano. Al iden i ica la posición ela i a de las a iculaciones cla e, como
los homb os, los codos y las muñecas, la ed puede in e i con p ecisión la mano u ili-
zada pa a golpea la pelo a. Es e en oque basado en la es imación de la pose supe a las
limi aciones de los mé odos basados en la posición de la pelo a espec o al jugado y
p opo ciona una solución obus a y con iable pa a es a a ea.
3.3.4. Ta ea 4: Iden i icación de las egiones de la pis a
La a ea 4 implica la iden i icación de las di e en es egiones que componen
una pis a de enis. Inicialmen e, se p obó un en oque clásico en isión po compu ado-
a: la ans o mada de Hough. Sin emba go, es a écnica iene algunas des en ajas co-
nocidas, como e o es causados po las somb as, lo que lle ó a la búsqueda de una
al e na i a basada en CNNs.
Se u ilizó YOLO 8, en enada pa a de ec a 19 pun os especí icos en una pis a
de enis, mencionados en la sección 3.2.4 e ilus ados en la igu a 3.4. G acias a la de-
ección de odos es os pun os, podemos segmen a la pis a en sus di e en es egiones y
c ea mapas de calo , de e mina si la pelo a es á den o o ue a de la pis a, en e o as
aplicaciones.
El uso de YOLO 8 pa a la iden i icación de las egiones de la pis a esol ió
los p oblemas asociados con la ans o mada de Hough, demos ando la e ec i idad
de las écnicas de ap endizaje p o undo en a eas de segmen ación y localización. La
capacidad de la ed pa a de ec a con p ecisión los pun os cla e de la pis a, incluso
en p esencia de somb as y o as a iaciones, la con ie e en una solución obus a y
con iable pa a es e a ea.
3.3.5. Sis ema comple o: P uebas y esul ados
Una ez esuel as las a eas mencionados an e io men e, se pudo cons ui el
sis ema inicialmen e p opues o, de allado en la sección 3.2.5. Es e sis ema se p obó u ili-
zando es ídeos que ep esen an di e en es supe icies de pis a: du a, césped y a cilla.
Los esul ados ob enidos ea i man la e ec i idad del sis ema p opues o. El
análisis de los ídeos de salida, como el que se mues a en la igu a 3.6, y el mapa de
calo con es adís icas p esen ado en la igu a 3.7, demues an la capacidad del sis ema
pa a in eg a los di e en es componen es y p opo ciona un análisis comple o del juego.
La p ecisión del sis ema en es os es ídeos se esume en la abla 3.6. El sis-
ema demos ó una p ecisión obus a en la de ección de jugado es y pelo as en pis as
de enis de di e en es colo es (azul, e de, ma ón), log ando un 100% de p ecisión en
la iden i icación de la mano de golpeo en odos los escena ios. Si bien la de ección de
jugado es ue casi impecable, con solo una disminución meno obse ada en la pis a de
césped, la de ección de la pelo a mos ó una p ecisión consis en emen e al a en odas
las pis as.
3.4. Discusión 65
Es impo an e des aca que la p ecisión en la de ección de pun os de la pis a,
medida po el E o Cuad á ico Medio (RMSE) en píxeles, demos ó la al a p ecisión
espacial del sis ema. Con alo es de RMSE que indican un e o ex emadamen e bajo:
siendo el más bajo 1,19 píxeles en la pis a de a cilla, y el más al o 6,91 píxeles en la pis a
du a. Es o se aduce en un e o insigni ican e en cen íme os. Es os alo es bajos de
RMSE esal an la p ecisión e inada del sis ema en la de ección de pun os de la pis a,
donde las disc epancias medidas en las ubicaciones de los pun os de la pis a son mí-
nimas, lo que sub aya la e ec i idad del sis ema en el análisis espacial de allado bajo
di e sas condiciones de la pis a.
Vídeo de
P ueba
Fo og amas De ección
de Jugado-
es (%)
De ección
de Pelo a
(%)
Iden i icación
de Mano
de Golpeo
(%)
De ección
de Pun os
de la pis a
(RMSE)
Vídeo de
pis a du a
244 100 94,67 100 6,91
Vídeo de
pis a de
césped
334 97,8 93,71 100 3,79
Vídeo de
pis a de
a cilla
2104 100 94,01 100 1,19
TABLA 3.6: Resumen de los esul ados del sis ema p opues o
Es os esul ados demues an la e ec i idad y obus ez del sis ema p opues o
pa a el análisis au omá ico de pa idos de enis. Su capacidad pa a de ec a y ackea
con p ecisión a los jugado es y la pelo a, iden i ica la mano de golpeo y segmen a las
egiones de la pis a lo con ie e en una he amien a aliosa pa a en enado es, analis as
y en usias as del enis.
El endimien o consis en e del sis ema en di e en es supe icies de pis a y su
p ecisión en la de ección de pun os cla e sub ayan su po encial pa a e oluciona la
o ma en que se analiza y en iende el juego del enis. Con su capacidad pa a p opo cio-
na da os de allados y p ecisos sob e el endimien o de los jugado es, las es a egias de
juego y los pa ones de golpes, es e sis ema ab e nue as posibilidades pa a mejo a el
en enamien o, la ác ica y el análisis del juego.
3.4. Discusión
Es a in es igación ep esen a una con ibución signi ica i a al campo del scou-
ing depo i o, pa icula men e en el con ex o del enis, un á ea que ha sido ela i a-
men e poco explo ada en la li e a u a académica. La escasez de abajos que abo den
especí icamen e la in e sección en e el scou ing depo i o y el enis des aca la no edad
y el impac o po encial de es e es udio. El scou ing depo i o, como á ea de es udio, ha
66
Capí ulo 3. Au oma ización de ecogida y análisis de da os en enis median e écnicas
de ap endizaje p o undo
es ado adicionalmen e sub ep esen ado en la li e a u a académica. Al en oca se en los
desa íos y opo unidades únicos den o del enis, es a in es igación ag ega una nue a
dimensión al cue po de conocimien o exis en e y ab e camino pa a u u as explo acio-
nes en es e campo.
La in eg ación de ecnologías a anzadas como edes neu onales con oluciona-
les (CNNs), modelos de es imación de poses y algo i mos de seguimien o so is icados
en es e es udio sub aya la e olución del pano ama del análisis depo i o. La aplicación
exi osa de he amien as de angua dia como Yolo 8 y Mo ene pa a el seguimien o de
jugado es y pelo as, la segmen ación de la pis a y el análisis de las acciones de los juga-
do es ep esen a un a ance signi ica i o sob e los mé odos adicionales, que a menudo
dependen de la obse ación manual y análisis es adís icos udimen a ios. La e icacia
demos ada de es as ecnologías en el scou ing de enis des aca su po encial pa a e o-
luciona la o ma en que se analiza y comp ende el endimien o depo i o.
Además, es e es udio abo da de mane a e ec i a los desa íos únicos del enis,
como la al a elocidad del juego, la complejidad de los mo imien os de los jugado es
y las supe icies de juego a iadas. La obus ez del sis ema p opues o pa a de ec a y
as ea obje os en ápido mo imien o, segmen a la pis a y analiza las acciones de los
jugado es, incluso en p esencia de somb as y oclusiones, demues a la solidez de las
soluciones desa olladas y su capacidad pa a maneja las complejidades inhe en es al
depo e.
En el con ex o de abajos elacionados, es no able que, si bien no exis en ca-
sos pa alelos exac os a es e es udio en la li e a u a cien í ica, exis en in es igaciones
que abo dan aspec os simila es. Po ejemplo, "TenniVis: Visualiza ion o Tennis Ma ch
Analysis"(Polk e al., 2014) se cen a en la isualización de da os de pa idos pa a ayu-
da en el análisis pos e io al pa ido. Sin emba go, a di e encia de TenniVis, es e es udio
ap o echa ecnologías de angua dia pa a la ex acción y análisis de da os en iempo
eal, lo que pe mi e un seguimien o en i o de pa idos y es a egias de en enamien o,
además de e isiones pos -pa ido.
O o es udio ele an e es el de S ein e al. (S ein e al., 2017), que emplea éc-
nicas clásicas de isión po compu ado a pa a de ec a jugado es y sus ayec o ias en
el ú bol. Sin emba go, como se discu e en la sección 3.2.1, las écnicas adicionales
de isión po compu ado a pueden se ulne ables a p oblemas como la oclusión, el
solapamien o y las a iaciones de escala. En con as e, es e abajo u iliza in eligencia
a i icial, especí icamen e edes neu onales, pa a supe a es os desa íos.
En (Ra iq e al., 2020), se clasi ican escenas con la in ención de c ea un esumen
del pa ido u ilizando CNNs. Aunque es e en oque es in e esan e, no p opo ciona un
análisis de allado del pa ido en sí, incluyendo es adís icas y esul ados. Po o o lado,
la aplicación Shu leSpace (Ye e al., 2020) inco po a la ealidad i ual (VR) pa a el
análisis de ayec o ias, pe o no abo da aspec os c uciales como las posiciones de los
jugado es, el ipo de golpes a la pelo a, los mapas de calo y la gene ación de es adís icas
del pa ido.
3.4. Discusión 67
En esumen, es a in es igación llena un acío c í ico en la li e a u a al p opo -
ciona una solución in eg al y ecnológicamen e a anzada pa a el scou ing en enis. La
in eg ación de ecnologías de angua dia como CNNs, modelos de es imación de poses
y algo i mos de seguimien o so is icados, jun o con la capacidad de maneja los desa-
íos únicos del enis, dis ingue es e abajo de los es udios exis en es. Al es ablece un
p eceden e pa a u u os es udios en el scou ing depo i o y o ece una combinación de
conocimien os eó icos y p ác icos, es e p oyec o demues a el po encial de in eg a ec-
nología y análisis en el depo e, a anzando hacia una comp ensión más p ecisa, basada
en da os y con mayo p o undidad del endimien o a lé ico.
Las implicaciones de es a in es igación se ex ienden más allá del ámbi o in-
media o del scou ing en el enis. Las me odologías y ecnologías empleadas pueden
adap a se y aplica se a o os depo es, p omo iendo un en oque in e disciplina io en el
análisis depo i o. Es e es udio allana el camino pa a u u as in es igaciones en el scou-
ing depo i o, alen ando la explo ación de la IA y el ap endizaje au omá ico en o os
con ex os depo i os, y o eciendo un modelo pa a a ances simila es en esos campos.
En conclusión, es e abajo ep esen a un a ance signi ica i o en el campo del
scou ing depo i o, pa icula men e en el enis. Al in eg a ecnologías a anzadas, abo -
da los desa íos únicos del depo e y llena un acío c í ico en la li e a u a, es a in es-
igación es ablece un nue o es ánda pa a el análisis depo i o basado en da os. Los
esul ados y conocimien os gene ados ienen el po encial de ans o ma la o ma en
que se analiza y comp ende el endimien o a lé ico, no solo en el enis, sino ambién en
o os depo es. A medida que el pano ama del análisis depo i o con inúa e olucionan-
do, es e es udio si e como un a o pa a u u as in es igaciones, des acando el inmenso
po encial de la in eg ación de la ecnología y el análisis en el mundo del depo e.
74 Capí ulo 4. Ingenie ía neu omó ica y ap endizaje p o undo: una sine gia pa a la
au oma ización a anzada de ecogida de da os en enis
4.2.3. Elabo ación de los da ase
4.2.3.1. Selección de equipos de g abación
En el desa ollo de es e en oque híb ido, el p ime paso ue selecciona las cá-
ma as especí icas ( e ina a i icial y webcam) con las que se abaja ía. La e ina a i icial
elegida ue la CelePixel CeleX-V (Chen y Guo, 2019), debido a sus supe io es ca ac e-
ís icas écnicas en compa ación con o as disponibles en el labo a o io del g upo de
in es igación donde se ealizó es e es udio y se elabo ó es a esis doc o al.
La CeleX-V des aca po su esolución de 1280x800 píxeles y un pi ch (dis ancia
en e píxeles) de 9.8 µm. Es e senso in eg a múl iples unciones de isión en un solo
chip, como la de ección de mo imien o en oda la ma iz y la ex acción del lujo óp ico.
Además, es capaz de gene a imágenes de al a calidad en o og amas comple os, lo
que la hace compa ible con algo i mos adicionales basados en imágenes. La CeleX-V
ambién sopo a in e aces MIPI y pa alelas, con un consumo de ene gía ípico de 400
mW.
Po o o lado, la webcam seleccionada ue la Logi ech C930E, que o ece ídeo
Full HD 1080p (1920x1080) a 30 o og amas po segundo (FPS), un campo de isión de
90 g ados, en oque au omá ico, comp esión H.264, mic ó onos es é eo con cancelación
de uido y compa ibilidad USB 2.0/3.0.
Una ez elegidas las cáma as, el siguien e paso ue de e mina qué se deseaba
g aba . Se decidió cap u a una a iedad de mo imien os especí icos del enis, inclu-
yendo saques (con di e en es elocidades), golpes de e és, golpes de de echa, ma es,
pelo eos y pa idos co os. Es a di e sidad en las g abaciones iene como obje i o c ea
un da ase comple o y di e so.
El se up de g abación consis ió en las dos cáma as mencionadas, mon adas so-
b e dos ípodes p o esionales a una al u a ap oximada de 1,5 me os sob e el suelo.
Ambas cáma as ue on colocadas conjun amen e en di e en es posiciones de la pis a y
con dis in os ángulos, lo que en iquece el da ase esul an e. El da ase inal es á com-
pues o po 104 ídeos, di ididos equi a i amen e en e la e ina a i icial y la webcam.
4.2.3.2. P oceso de g abación y o ma o de los da os
Los ídeos con la e ina a i icial ue on g abados u ilizando el so wa e p o-
pio del ab ican e (CelePixel Technology Co. L d Gi hub Reposi o y, s. .), que pe mi e
a ios modos de uncionamien o: E en O Pixel Times amp Mode, E en In-Pixel Times-
amp Mode, E en In ensi y Mode, Full-Pic u e Mode y Op ical-Flow Mode. Se eligió el modo
E en In ensi y Mode pa a las g abaciones, ya que gua da la in ensidad lumínica ecibida
po el píxel, además de la di ección del píxel ( ila y columna), la pola idad del e en o y
el imes amp (ma ca de iempo), que indica el ins an e en que dicho e en o ue lanzado.
La salida del so wa e de g abación de CelePixel es un iche o en o ma o bina-
io (.BIN). Es os iche os .BIN ue on ans o mados, u ilizando el mismo so wa e, en
iche os .CSV pa a acili a su manejo. La abla 4.1 mues a el o ma o del CSV pa a el

4.2. Da ase 75
modo E en In ensi y Mode y una explicación de cada uno de sus campos, y la igu a 4.1
mues a un ejemplo de es e CSV gene ado a pa i de uno de los ídeos del da ase . La
columna A co esponde a la di ección de la ila ( ango: 0 ∼799), la columna B a la di-
ección de la columna ( ango: 0 ∼1179), la columna C a la in ensidad ( ango: 0 ∼4095),
la columna D a la pola idad ( ango: +1, -1, 0) y la columna E al inc emen ed O Pixel
imes amp (o imes amp inc emen ado del pixel en español) (unidad de iempo: µs).
No ación mín máx Comen a ios
Fila 0 799 Di ección de la ila
Columna 0 1279 Di ección de la columna
In ensidad 0 4095 B illo
O -Pixel Times amp 0 232 −1 ma ca de iempo de emisión del e en o (unidad µs)
TABLA 4.1: Desc ipción de los campos del CSV pa a el modo E en In-
ensi y Mode
FIGURA 4.1: Mues a del CSV gene ado a pa i de una g abación hecha
en modo E en In ensi y Mode
4.2.3.3. Gene ación de o og amas a pa i de e en os
Comp endiendo el signi icado de cada columna, se desa olló un so wa e en
Ma lab pa a con e i los a chi os .CSV en imágenes .PNG. Es e so wa e iene dos mo-
dos de uncionamien o. El p ime o pe mi e c ea las imágenes ealizando ag upaciones
de e en os, es deci , es ablece que se gene e una nue a imagen po cada cie o núme o
de e en os (po ejemplo, cada 10.000 e en os). Es e mé odo implica simplemen e con-
a los e en os gene ados (las ilas del .CSV) y, una ez alcanzado el núme o deseado
76 Capí ulo 4. Ingenie ía neu omó ica y ap endizaje p o undo: una sine gia pa a la
au oma ización a anzada de ecogida de da os en enis
de e en os, pin a los en el lienzo. En la igu a 4.2 se mues a un mismo ins an e de un
ídeo del da ase de la e ina a i icial, compues o po di e en es núme o de e en os.
El segundo modo ag upa los e en os en en anas de iempo, es deci , es ablece que se
c ee una nue a imagen po cada cie o in e alo de iempo (po ejemplo, cada 10.000
µs). En es e caso, se e i ica el imes amp de los e en os: se oma como e e encia el
imes amp del p ime e en o y se con inúa con los siguien es has a que la di e encia
en e el p ime o y el enésimo e en o alcanza el in e alo de iempo de inido. En onces,
odos los e en os den o de dicho g upo se pin an en el lienzo. De es a mane a, a pa i
de un a chi o .CSV, se gene an múl iples imágenes .PNG pa a su pos e io p ocesa-
mien o. Es as imágenes pueden se unidas pos e io men e pa a o ma un ídeo. T as
ealiza di e sas p uebas con di e en es con igu aciones, se op ó po u iliza el p ime
mé odo de ag upación de e en os, ijando un o al de 5.000 e en os po cada ame ge-
ne ado. Es a decisión se undamen ó en dos aspec os cla e: en p ime luga , la selección
del p ime mé odo de ag upación, basado en el núme o de e en os, ga an iza que cada
ame con enga una can idad cons an e de e en os, lo cual p opo ciona una mayo con-
sis encia en la densidad de in o mación p esen e en cada imagen y acili a su pos e io
p ocesamien o y análisis po pa e de la CNN; en segundo luga , la elección especí i-
ca de 5.000 e en os po ame se basó en la calidad isual de las imágenes esul an es,
ya que a a és de una e aluación cuali a i a se de e minó que es e núme o de e en-
os pe mi ía ob ene imágenes con un ni el de cla idad y de alle su icien e pa a que la
CNN pudie a ex ae ca ac e ís icas signi ica i as y log a un endimien o óp imo en
las a eas de de ección y clasi icación. Median e es a con igu ación, se buscó es ablece
un equilib io en e la can idad de in o mación p opo cionada a la CNN y la capacidad
de la misma pa a p ocesa e icazmen e los da os, demos ando se la combinación más
adecuada pa a ob ene esul ados sa is ac o ios en es e abajo.
Es e mé odo de ag upación de e en os pa a gene a imágenes ep esen a i as
ha sido empleado con éxi o en o os con ex os de in es igación neu omó ica, como en
el abajo de Rios-Na a o e al. (2023), donde se u ilizó la misma écnica pa a la c eación
de sonog amas en un da ase o ien ado a la usión senso ial audio- isual pa a lec u a
de labios.
Po o a pa e, los ídeos con la webcam ue on g abados con el so wa e p o-
pio del ab ican e, llamado Logi ech Cap u e (Logi ech, s. .). Es os ídeos son gene ados
en o ma o .mp4, con una esolución de 1920x1080 píxeles a una asa de 30 FPS.
4.2.3.4. P ocesamien o y sinc onización
Pa a comple a la con o mación del da ase , es necesa io ealiza un pos p o-
cesamien o a los ídeos. En p ime luga , se escalan los ídeos de la e ina a i icial a
la misma esolución de los ídeos de la webcam u ilizando el so wa e FFmpeg (New-
ma ch y Newma ch, 2017). Es e paso es c ucial pa a ga an iza la consis encia y compa-
ibilidad de los da os.
Es impo an e señala que, debido a que ambos ídeos ue on g abados con
p og amas di e en es, al inicia las g abaciones, p ime o se u o que pone a g aba una
4.2. Da ase 77
(A) Imagen compues a po 20.000 e en os (B) Imagen compues a po 10.000 e en os
(C) Imagen compues a po 5.000 e en os (D) Imagen compues a po 2.500 e en os
FIGURA 4.2: Composición del mismo ins an e de un ídeo de la e ina
a i icial, gene ado con di e en e núme o de e en os.
78 Capí ulo 4. Ingenie ía neu omó ica y ap endizaje p o undo: una sine gia pa a la
au oma ización a anzada de ecogida de da os en enis
cáma a y, inmedia amen e a con inuación, la o a. El mismo p ocedimien o se aplicó a
la ho a de de ene la g abación. Como consecuencia, los ídeos esul an es no es án
sinc onizados en e sí. Po lo an o, el siguien e paso del pos p ocesamien o consis e en
sinc oniza ambos ídeos pa a que comiencen y e minen en el mismo ins an e. Pa a
consegui esa sinc onización en e ambos ídeos, el p ocedimien o seguido ue busca
un momen o del ídeo, llamado momen o de sinc onización o ame de sinc onización, en el
cual se puede iden i ica sin ma gen de e o el mismo e en o exac o en ambos ídeos.
Lógicamen e, dependiendo del ídeo, ese momen o a ía. Po ejemplo, en las igu as 4.3
y 4.4 se seleccionó el ins an e en el que uno de los jugado es alla un golpe con a la ed,
un e en o isualmen e dis in i o y ácilmen e iden i icable en ambas pe spec i as. Es a
sinc onización es esencial pa a asegu a la cohe encia empo al de los da os y acili a
su análisis pos e io .
FIGURA 4.3: F ame seleccionado como momen o de sinc onización en es e
ídeo. La sinc onización se ealiza en el ins an e en que la pelo a impac a
con a la ed. Se mues a el ame con los e en os colo eados pa a mayo
cla idad
Además, dado que ambas cáma as es aban colocadas en ípodes di e en es,
es necesa io e i ica si el ángulo de los ídeos con espec o a la ho izon al es el mis-
mo. Típicamen e, debido a que el ajus e in-si u se ealizó de o ma manual, es espe able
encon a un pequeño ángulo de e o . Po lo an o, es e e o debe se co egido po
so wa e pa a ga an iza la consis encia espacial de los da os. Pa a co egi el ángulo
4.2. Da ase 79
FIGURA 4.4: F ame seleccionado como momen o de sinc onización en es e
ídeo. La sinc onización se es ablece en el ins an e en que la pelo a gol-
pea la ed, des acada con un cí culo ojo pa a acili a su iden i icación.
de e o en e los ídeos, se empleó un p oceso de alineación basado en ans o macio-
nes a ines (Gonzalez y Woods, 2018). Es e mé odo pe mi e ealiza o aciones, escalado y
aslación de las imágenes pa a ajus a el ángulo de cada ídeo con espec o a un eje ho-
izon al de e e encia. P ime o, se iden i ica on pun os de e e encia comunes en ambos
ídeos, conc e amen e ma cas de in e sección de los segmen os de la pis a. Luego, u i-
lizando es os pun os, se calculó la ans o mación necesa ia pa a alinea ambos ídeos.
La co ección se implemen ó median e la unción wa pA ine de OpenCV (B adski,
2000), que aplica la ans o mación a ín calculada a cada o og ama, ga an izando así
que ambos ídeos engan un ángulo de is a consis en e y compa able.
Una ez ealizados es os pasos de pos p ocesamien o, se ob iene un conjun o
de ídeos iguales, g abados desde dos cáma as di e en es, pe o con la misma esolución,
asa de o og amas y ángulo espec o a la ho izon al.
4.2.3.5. E ique ado de las imágenes
El siguien e paso c ucial en la c eación del da ase es el e ique ado de los da-
os. El e ique ado es un p oceso undamen al en el con ex o del ap endizaje au omá ico
y el en enamien o de edes neu onales con olucionales, ya que p opo ciona la in o -
mación de e e encia (g ound u h) necesa ia pa a en ena y e alua los algo i mos de
in eligencia a i icial. En es e caso, el e ique ado implica iden i ica y delimi a manual-
men e la egión de in e és donde se encuen a la pelo a de enis en cada o og ama de

80 Capí ulo 4. Ingenie ía neu omó ica y ap endizaje p o undo: una sine gia pa a la
au oma ización a anzada de ecogida de da os en enis
los ídeos. Es e p oceso es undamen al pa a la c eación de un conjun o de da os de
en enamien o que pe mi a a la ed neu onal ap ende a econoce y clasi ica obje os,
acciones o pa ones en nue as imágenes o secuencias de ídeo. En gene al, en un ídeo
de enis, los elemen os de in e és se ían la pelo a, los jugado es y las egiones de la pis-
a. Cada uno de es os elemen os se e ique a ía con una clase especí ica, como “pelo a”,
“jugado ” o “línea de pis a”.
El e ique ado no solo p opo ciona a la CNN la in o mación necesa ia pa a
ap ende a dis ingui en e di e en es obje os, sino que ambién es c ucial pa a la co-
ec a segmen ación y análisis del ídeo. La calidad del e ique ado iene un impac o
di ec o en la capacidad del modelo pa a gene aliza y aplica lo ap endido a da os nue-
os y no is os p e iamen e. Po lo an o, el p oceso de e ique ado debe se me iculoso
y, pos e io men e, alidado pa a asegu a la p ecisión y consis encia de los da os de
en enamien o.
Pa a ealiza el e ique ado, se puede u iliza una he amien a de ano ación de
ídeo, como LabelImg (Tzu alin, 2015), que pe mi e dibuja ec ángulos delimi ado es
(bounding boxes) al ededo de los obje os de in e és en cada o og ama. Es os ec ángu-
los delimi ado es indican la ubicación y el amaño de los obje os den o del o og ama
y se almacenan en un a chi o de ano ación, ípicamen e en o ma o XML o JSON. Ade-
más de la in o mación espacial, cada ec ángulo delimi ado se asocia con la e ique a
co espondien e (po ejemplo, "pelo a de enis") pa a iden i ica la clase del obje o.
Debido a que el núme o o al de o og amas en el da ase es ce cano a 100.000,
ealiza un e ique ado manual esul a ía in iable en é minos de iempo y es ue zo.
Po es e mo i o, se op ó po u iliza una écnica a anzada de ap endizaje au omá ico
llamada Ze o-Sho Objec De ec ion (ZSOD) pa a au oma iza el p oceso de e ique ado.
Ze o-Sho Objec De ec ion es un en oque inno ado en el campo de la isión
po compu ado a que pe mi e a un modelo de ec a y econoce obje os en imágenes o
ídeos sin habe sido en enado explíci amen e con ejemplos de esos obje os (Rahman,
Khan y Po ikli, 2018). En o as palab as, el modelo es capaz de iden i ica y localiza
obje os de clases que no ha is o an es du an e su ase de en enamien o. Es o con as-
a con el ap endizaje adicional de de ección de obje os, donde un modelo se en ena
con un conjun o de da os e ique ados que con ienen imágenes de obje os de clases es-
pecí icas, lo que limi a su capacidad pa a de ec a obje os de clases no is as du an e el
en enamien o (Zou e al., 2019).
La cla e del éxi o de ZSOD adica en su capacidad pa a gene aliza a nue-
as clases de obje os u ilizando conocimien os p e ios, como ca ac e ís icas isuales
gene ales, desc ipciones semán icas o elaciones en e clases conocidas y desconocidas
(Bansal e al., 2018). El modelo ap o echa una especie de “in uición” basada en cono-
cimien os p e ios pa a hace conje u as sob e los obje os nue os. Po ejemplo, puede
apoya se en desc ipciones ex uales que le indiquen cómo es un obje o (“animal con
o ejas la gas y pelaje sua e” pod ía desc ibi a un conejo) y usa esa in o mación pa a
iden i ica lo en una imagen. Además, el modelo u iliza lo que ya ha ap endido sob e
o os obje os pa a hace in e encias sob e los nue os, ap o echando las simili udes que
4.2. Da ase 81
conoce en e di e en es clases pa a adi ina cómo pod ía se algo nue o (Xian e al.,
2018).
Pa a log a es o, ZSOD se basa en écnicas a anzadas como embeddings se-
mán icos, ans e encia de conocimien o ( ans e lea ning) y modelos de edes neu ona-
les p o undas (Fu e al., 2018). Es as écnicas pe mi en al modelo combina in o mación
isual y ex ual pa a hace p edicciones sob e obje os que nunca an es había is o.
En es e abajo, se u ilizó una ed neu onal especí ica de Ze o-Sho Objec De-
ec ion llamada G ounding Dino (Liu e al., 2023) pa a e ique a au omá icamen e odas
las imágenes del da ase . G ounding Dino es un en oque, pe enecien e al es ado del
a e en el campo de la isión po compu ado a, que combina écnicas de de ección de
obje os con capacidades de azonamien o semán ico. Es e modelo se basa en a qui ec u-
as de edes neu onales p o undas, pa icula men e en el uso de T ans o me s (Vaswani
e al., 2017), que han demos ado se ex emadamen e e icaces en a eas de comp ensión
y gene ación de lenguaje na u al. G ounding Dino se dis ingue po su capacidad pa a
in eg a in o mación con ex ual y semán ica, lo que le pe mi e no solo iden i ica y lo-
caliza obje os en una imagen, sino ambién “ancla ” o “g oundea ” es os obje os en
desc ipciones ex uales o concep os de lenguaje na u al. Las e ique as gene adas po
G ounding Dino se gua da on en iche os XML siguiendo el o ma o PASCAL VOC
(E e ingham e al., 2010), un es ánda ampliamen e u ilizado en la comunidad de i-
sión po compu ado a pa a ano a y compa i da ase s.
Pa a el e ique ado de los o og amas de los ídeos de la e ina a i icial se u i-
lizó el p omp ainbow ennis ball, y pa a los o og amas de los ídeos de la webcam se
u ilizó whi e ennis ball. En las igu as 4.5 y 4.6, se puede ap ecia la ano ación ealizada
po G ounding Dino.
El uso de G ounding Dino pa a el e ique ado au omá ico de los o og amas
pe mi ió aho a una can idad signi ica i a de iempo y es ue zo en compa ación con
el e ique ado manual. Además, la capacidad de G ounding Dino pa a comp ende y
u iliza desc ipciones ex uales pa a iden i ica obje os en las imágenes esul ó especial-
men e ú il en es e con ex o, ya que pe mi ió dis ingui en e pelo as de enis de di e en e
ipo y colo en los ídeos de la e ina a i icial y la webcam.
4.2.3.6. Ve i icación y co ecciones
Es impo an e des aca que, a pesa de la e icacia de G ounding Dino, el p o-
ceso de e ique ado au omá ico no es á exen o de e o es. Po es e mo i o, ue necesa io
ealiza una e i icación manual de odas las imágenes e ique adas y hace las co ec-
ciones necesa ias pa a ga an iza la p ecisión y calidad del da ase inal.
El da ase esul an e, jun o con el so wa e u ilizado pa a su p ocesamien o,
es á disponible públicamen e en el eposi o io Gi Hub de es a esis doc o al 1.
1h ps://gi hub.com/salcanmo /PhD/
82 Capí ulo 4. Ingenie ía neu omó ica y ap endizaje p o undo: una sine gia pa a la
au oma ización a anzada de ecogida de da os en enis
FIGURA 4.5: Fo og ama de un ídeo g abado po la e ina a i icial, ge-
ne ado con 5.000 e en os y p ocesado po G ounding Dino pa a su au o-
e ique ado
4.2.4. P o ección de da os
La p o ección de los da os de los pa icipan es es una p io idad en es e p o-
yec o de in es igación, el cual se ealiza bajo la supe isión y ap obación del Comi é
de É ica de la In es igación de la Uni e sidad de Se illa (CEIUS) (Rod íguez-González
y Rod íguez-Cal o, 2019). Los da os ecopilados son comple amen e anónimos, p o e-
giendo la p i acidad de los indi iduos y cumpliendo con los p incipios é icos y las e-
gulaciones de p o ección de da os (Hin ze, 2018). La in o mación se almacena en las in-
aes uc u as cloud de la Uni e sidad de Se illa (OneD i e) has a la de ensa de la esis,
as lo cual se á eliminada de mane a segu a (Fe nández-Ce e o, Jakobik y Fe nández-
Mon es, 2019). El acceso es á es ingido al equipo de in es igación. Sin emba go, las
g abaciones de la e ina a i icial p ocesadas y anonimizadas se án compa idas con
ins i uciones sin ánimo de luc o con ines de in es igación, una p ác ica común que
pe mi e la e i icación, eplicación y el log o de nue os a ances (Ellio , Li y B ennink-
meije , 2020). Todos los p ocedimien os cumplen con las no ma i as de p o ección de
da os igen es, como la LOPDGDD (Suá ez Rubio, 2019) y el Reglamen o (UE) 2016/679
(Bu a elli, 2016).
4.3. Ma e iales y mé odos 83
FIGURA 4.6: Fo og ama de un ídeo omado po la webcam y p ocesado
po G ounding Dino pa a su au o-e ique ado
4.3. Ma e iales y mé odos
El obje i o p incipal de es e capí ulo es desa olla un sis ema híb ido que
combine una cáma a adicional de o og amas con una e ina a i icial ( ambién conoci-
da como cáma a de Visión Dinámica o DVS, po sus siglas en inglés) pa a log a una de-
ección con inua y p ecisa de la pelo a de enis du an e un pa ido. Es a p opues a su ge
como una e olución del sis ema p esen ado en el capí ulo an e io , el cual e idenció li-
mi aciones signi ica i as al alla la de ección de la pelo a en nume osos o og amas. Y
además, se a a de un en oque que ue alidado en abajos p e ios como en ‘Dyna-
mic Vision Senso in eg a ion on FPGA-based CNN accele a o s o high-speed isual
classi ica ion’ (Lina es-Ba anco e al., 2021) donde se demues a que la in eg ación de
senso es DVS con acele ado es de edes neu onales implemen ados en ha dwa e posi-
bili a el análisis de escenas de al a dinámica a elocidades muy ele adas, supe ando las
limi aciones de las cáma as con encionales.
A lo la go de es e capí ulo, se p opone un nue o sis ema que segui á u ilizando
una ed neu onal con olucional pa a la de ección de la pelo a en el ídeo g abado po
la cáma a de o og amas. De mane a complemen a ia, la salida de la e ina a i icial se á
p ocesada, con e ida en un ídeo de o og amas (no de e en os), y pos e io men e ana-
lizada po o a CNN independien e. La in eg ación de es os dos lujos de p ocesamien o
pe mi i á que, en los casos donde la CNN aplicada a los o og amas de la webcam no
log e de ec a la pelo a, el sis ema pueda apoya se en la de ección ealizada sob e el
ídeo gene ado po la e ina a i icial. Es o es posible, debido a que en los ídeos de
90 Capí ulo 4. Ingenie ía neu omó ica y ap endizaje p o undo: una sine gia pa a la
au oma ización a anzada de ecogida de da os en enis
Mé ica modelo de la e ina
a i icial
modelo de la webcam
ain/box_loss Inicio: ≈1,8
Final: ≈1,0
Inicio: ≈3,75
Final: ≈2,5
al/box_loss Inicio: ≈2,0
Final: ≈1,2
Inicio: ≈4,0
Final: ≈2,5
ain/cls_loss Inicio: ≈5,0
Final: ≈1,0
Inicio: ≈40,0
Final: ≈10,0
al/cls_loss Inicio: ≈5,5
Final: ≈1,2
Inicio: ≈4,0
Final: ≈3,0
ain/d l_loss Inicio: ≈1,10
Final: ≈0,90
Inicio: ≈0,94
Final: ≈0,84
al/d l_loss Inicio: ≈1,15
Final: ≈0,90
Inicio: ≈0,94
Final: ≈0,84
me ics/p ecision(B) Al o y es able
≈0,9 −1,0
C ecimien o g adual
≈0,2 →0,6
me ics/ ecall(B) Rápido inc emen o
≈0,4 →0,9
Inc emen o g adual
≈0,1 →0,4
me ics/mAP50(B) Rápido inc emen o
≈0,8 −0,9
Inc emen o le e
≈0,1 →0,4
me ics/mAP50-95(B) Fluc uan e pe o es able
≈0,5 −0,6
Inc emen o le e
≈0,025 →0,1
TABLA 4.2: Compa ación de las mé icas de en enamien o y alidación
en e el modelo de la e ina a i icial y el modelo de la webcam.
FIGURA 4.9: Cap u a del so wa e que p ocesa el ídeo de la e ina a i-
icial con Yolo 8 y aslada su bounding box al ideo de la webcam.

4.5. Segunda ap oximación 91
Sin emba go, los esul ados ob enidos e ela on que no hubo una mejo a en
la p ecisión de la de ección de la pelo a en el ídeo de la webcam: en menos de un
15% se de ec ó co ec amen e la pelo a. Es e endimien o indeseado se a ibuye a a ios
ac o es c í icos. En p ime luga , la esolución na i a de ambas cáma as es di e en e, lo
que in oduce inconsis encias al aslada las bounding boxes en e los ídeos. Además,
los ángulos de o ien ación de las cáma as hacia la pis a ambién a ían, lo que ag a a el
p oblema. Además es á la di e encia en el ángulo sob e la ho izon al que ienen ambas
cáma as, lo que hace que la p oyección de las bounding boxes desde el ídeo de la e ina
a i icial al de la webcam sea imp ecisa e inexac a. Sin emba go, a pesa de que a odas
es as cues iones se les ha in en ado da solución du an e la e apa de posp ocesado, hay
una cues ión que cuya solución no es i ial: el ángulo de o ien ación de la cáma a hacia
la pis a. Es os ac o es combinados, pe o p incipalmen e es e úl imo, impiden que las
bounding boxes gene adas en el ídeo de la e ina a i icial se asladen con p ecisión al
ídeo de la webcam, limi ando la e ec i idad de es a écnica.
4.5. Segunda ap oximación
An e los esul ados subóp imos ob enidos en la p ime a ap oximación, se de-
cidió explo a un nue o en oque que pudie a mejo a la p ecisión del sis ema. T as un
análisis de allado de los esul ados iniciales, se obse ó que en los o og amas del í-
deo cap u ado po la webcam, donde la pelo a no e a co ec amen e de ec ada den o
de la bounding box, la pelo a gene almen e quedaba ue a de es a po una dis ancia
ela i amen e pequeña. Es o sugie e que si la bounding box gene ada po la e ina a i-
icial hubie a sido de mayo amaño, la pelo a hab ía pe ec amen e caído den o de la
bounding box del ídeo de la webcam.
Basado en es a obse ación, la p ime a acción adop ada en es e nue o en oque
ue modi ica la bounding box gene ada po la e ina a i icial, ans o mándola en una
caja cuad ada con un amaño es eces mayo que el o iginal. Es a expansión pe mi-
e asegu a que la pelo a, en los o og amas del ídeo de la webcam, quede siemp e
den o de es a bounding box ampliada. La igu a 4.10 mues a un o og ama del ídeo
de la webcam en el que la bounding box ha sido ans o mada en una caja cuad ada
de es eces el amaño de la bounding box o iginal gene ada a pa i del ídeo de la
e ina a i icial. Como se puede obse a , al amplia la bounding box, la pelo a queda
e ec i amen e con enida den o de la misma.
El ac o de escala de la bounding box es un hipe pa áme o del sis ema que
se ha ajus ado empí icamen e. T as ealiza p uebas con di e en es alo es, se ha de e -
minado que iplica el amaño de la bounding box y hace la cuad ada pe mi e que la
pelo a caiga den o de la bounding box en el 100% de los ídeos del da ase ecolec ado.
Es e hipe pa áme o, al igual que o os como el núme o de capas o la asa de ap endi-
zaje (lea ning a e), o ma pa e del p oceso de op imización del modelo, y su ajus e es
una p ác ica común en el desa ollo de sis emas de ap endizaje p o undo. Se a a pues,
de un pa áme o que se ha a inado pa a mejo a el endimien o del sis ema den o del
con ex o especí ico de es e p oyec o.
92 Capí ulo 4. Ingenie ía neu omó ica y ap endizaje p o undo: una sine gia pa a la
au oma ización a anzada de ecogida de da os en enis
FIGURA 4.10: Fo og ama en el que se ha asladado la bounding box del
ídeo de la e ina a i icial al ídeo de la webcam y se ha sido ampliada
al iple de su amaño o iginal y hecho cuad ada
Una ez e i icado empí icamen e que iplica el amaño de la bounding box
y hace la cuad ada es su icien e pa a ga an iza que la pelo a quede den o de la misma,
se p ocedió a ealiza un nue o es del sis ema. En es a ocasión, se alimen ó a la CNN
de la webcam no con el o og ama comple o, sino con el eco e co espondien e a la
bounding box ampliada. En la igu a 4.11 se p esen a el eco e de la bounding box
co espondien e al o og ama comple o mos ado p e iamen e en la igu a 4.10. Como
es lógico, es conside ablemen e más sencillo de ec a la pelo a en una po ción educida
de la imagen, donde se sabe con ce eza que se encuen a, que en el o og ama comple o.
No obs an e, a pesa de la educción del á ea de búsqueda, el desempeño de
la CNN de la webcam al abaja con los eco es de los o og amas no ue sa is ac o io.
El ecall se si uó en 0.00658, lo cual es un desempeño paupé imo. En la igu a 4.12 se
puede ap ecia un conjun o de 16 imágenes del da ase de alidación p ocesadas po
dicha CNN pa a su in e encia, y en la igu a 4.13 se puede ap ecia el esul ado: en sólo
una de ellas se de ec ó la pelo a.
An e es a si uación, se op ó po c ea un nue o da ase basado en es os e-
co es y en ena una e ce a ed neu onal especí ica pa a es a a ea. En es e nue o
en enamien o, se en enó una Yolo 8, que es el mismo modelo de ed neu onal con-
olucional usado an e io men e. La pé dida de la caja delimi ado a ( ain/box_loss)
disminuyó de 2.987 en la época 1 a 1.0108 en la época 150, mien as que la pé dida de
4.5. Segunda ap oximación 93
FIGURA 4.11: Reco e de la bounding box del o og ama mos ado en la
igu a 4.10
94 Capí ulo 4. Ingenie ía neu omó ica y ap endizaje p o undo: una sine gia pa a la
au oma ización a anzada de ecogida de da os en enis
FIGURA 4.12: Imágenes alea o ias del da ase de alidación.
clasi icación ( ain/cls_loss) se edujo de 15.903 a 0.54557. Además, la p ecisión (me-
ics/p ecision(B)) aumen ó de 0.39965 a 0.90465, y la exhaus i idad (me ics/ ecall(B))
mejo ó de 0.33696 a 0.8913. La p ecisión media p omedio al 50% de supe posición
(me ics/mAP50(B)) ambién mos ó un aumen o signi ica i o, pasando de 0.23258 a
0.94113. Es os da os numé icos espaldan la a i mación de que la CNN es á ap endien-
do de mane a e ec i a a localiza y clasi ica la pelo a de enis con mayo p ecisión a
medida que a anza el en enamien o. En la igu a 4.15 se puede ap ecia un conjun o
de 16 imágenes del da ase de alidación p ocesadas po dicha CNN pa a su in e encia,
y en la igu a 4.16 se puede ap ecia el esul ado. En es a ocasión, a di e encia de del
4.5. Segunda ap oximación 95
FIGURA 4.13: Imágenes alea o ias del da ase de alidación después de
pasa po la CNN.
es ealizado an e io men e ( e igu as 4.12 y 4.13): en odas ellas se de ec ó la pelo a.
Po o a pa e, al igual que ya se hizo en el subapa ado 4.4, en la igu a 4.14 se mues a
un conjun o de 10 g á icos co espondien es a las e apas de en enamien o y alidación
de la ed neu onal con olucional en enada con el da ase de los eco es. Es os g á i-
cos, que incluyen 6 g á icos de pé dida y 4 mé icas de p ecisión, e idencian odo lo
expues o an e io men e y pe mi en e alua de mane a de allada el compo amien o del
modelo du an e el p oceso de en enamien o y alidación.
Como esul ado, el sis ema inal quedó compues o po es edes neu onales

96 Capí ulo 4. Ingenie ía neu omó ica y ap endizaje p o undo: una sine gia pa a la
au oma ización a anzada de ecogida de da os en enis
FIGURA 4.14: Mé icas de las e apas en enamien o y alidación de la
CNN ( eco es).
con olucionales Yolo 8 abajando en pa alelo: una dedicada al p ocesamien o de los
ídeos de la cáma a DVS, o a pa a los ídeos de la webcam, y una e ce a pa a los
eco es de las bounding boxes.
El uncionamien o del sis ema inal es el siguien e: en p ime luga , se p oce-
san los o og amas del ídeo de la webcam. En el caso de que no se de ec e la pelo a
en un o og ama, se e i ica si hubo una de ección en el ídeo de la cáma a DVS co-
espondien e. Si se con i ma una de ección en el ídeo de la cáma a DVS, se oman
las coo denadas de dicha de ección, se ans o ma la bounding box en una caja cuad a-
da, se iplica su amaño y se p oyec a sob e el o og ama co espondien e del ídeo
de la webcam. A con inuación, se eco a el o og ama de la webcam u ilizando es a
bounding box ampliada, y dicho eco e se en ía a la nue a CNN en enada especí-
icamen e pa a abaja con eco es. La de ección ealizada po es a CNN se aslada
pos e io men e al o og ama o iginal del ídeo de la webcam, mejo ando así la p eci-
sión y obus ez del sis ema.
4.6. Resul ados
A lo la go del p esen e capí ulo se dio solución a un p oblema e idenciado
en el capí ulo an e io 3: la de ección de la pelo a de enis. Pa a llega a un solución
álida, p ime o se p opuso una solución que esul ó in uc uosa ( e subsección 4.4)
y pos e io men e se pi o ó hacia una segunda solución que esul ó sa is ac o ia ( e
subsección 4.5). En o al, 2 en oques di e en es y 3 CNNs son usadas pa a llega a una
4.6. Resul ados 97
FIGURA 4.15: Imágenes alea o ias del da ase de alidación.
solución álida: una CNN pa a el ídeo de la e ina a i icial, o a pa a el ídeo de la
webcam y o a pa a los eco es.
A con inuación, se esumen y explican los esul ados de cada en oque.
4.6.1. Resul ados del P ime En oque
En el p ime expe imen o, como se de alló en la subsección 4.4, se implemen-
ó un sis ema que p ocesaba simul áneamen e los ídeos cap u ados po la cáma a de
98 Capí ulo 4. Ingenie ía neu omó ica y ap endizaje p o undo: una sine gia pa a la
au oma ización a anzada de ecogida de da os en enis
FIGURA 4.16: Imágenes alea o ias del da ase de alidación después de
pasa dichas imágenes po la CNN en enada con el da ase de los e-
co es.
Visión Dinámica (DVS) y la webcam, asladando las bounding boxes de ec adas en el í-
deo de la DVS al ídeo de la webcam. Los esul ados mos a on que, aunque hubo una
mejo a en la de ección de la pelo a en el ídeo de la webcam, la p ecisión gene al ue
in e io al 50%. Es e esul ado se a ibuye a las di e encias en la esolución na i a y los
ángulos de cap u a en e las dos cáma as, lo que impidió una co ec a ans e encia de
las bounding boxes.
4.6. Resul ados 99
4.6.2. Resul ados del Segundo En oque
Pa a abo da las limi aciones del p ime en oque, se amplió el amaño de las
bounding boxes gene adas po la cáma a DVS a una caja cuad ada de es eces el amaño
o iginal. Es e cambio pe mi ió una inclusión más e ec i a de la pelo a den o de las
bounding boxes en los ídeos de la webcam. Como se mues a en la igu a 4.10, el uso
de bounding boxes ampliadas mejo ó signi ica i amen e la cobe u a de la pelo a en los
o og amas de la webcam, pe mi iendo que la pelo a caiga den o de la bounding box
en el 100% de los ídeos del da ase ecolec ado.
A con inuación, se p esen a la abla 4.3, donde se esumen esul ados de las
ases de en enamien o y alidación de las 3 CNN.
Mé ica CNN Re ina A i icial CNN Webcam CNN Reco es
ain/box_loss 1.0 2.5 1.0
ain/cls_loss 0.5 0.2 0.5
ain/d l_loss (úl ima) 0.9 0.8 1.2
al/box_loss 1.2 3.5 1.5
al/cls_loss 0.7 3.0 0.4
al/d l_loss 0.9 0.9 1.0
me ics/p ecision(B) 0.9 0.4 0.9
me ics/ ecall(B) 0.89 0.35 0.88
me ics/mAP50(B) 0.94 0.4 0.95
me ics/mAP50-95(B) 0.6 0.125 0.5
TABLA 4.3: Compa ación de mé icas en e las es CNNs: e ina a i i-
cial, webcam y eco es.
Las p incipales conclusiones al compa a el endimien o de los 3 modelos son
las siguien es:
La CNN en enada con imágenes de e ina a i icial es la que ob iene mejo es e-
sul ados globales, con un mAP50 del 94.9% y un mAP del 63.1% en el conjun o
de alidación. Es o indica que es capaz de de ec a muy bien los obje os en las
imágenes de e ina a i icial con las que ha sido en enada.
Po con a, la CNN en enada con imágenes de webcam es la que ob iene los peo-
es esul ados con g an di e encia. Su mAP50 en alidación es del 41.1% y su mAP
global apenas del 14.1%. Pa ece que las imágenes de webcam son mucho más di-
íciles de p ocesa pa a el modelo y no consigue ap ende ca ac e ís icas ú iles.
La CNN alimen ada con eco es se si úa en un pun o in e medio. Ob iene muy
buenos esul ados en mAP50 (94.1%), pe o su mAP global baja al 48.7%. Es capaz
de de ec a bien obje os en imágenes simila es a los eco es con los que ha sido
en enada, pe o alla más cuando debe gene aliza .
En cuan o a p ecisión y ecall, el modelo de e ina a i icial iene un g an equilib io
con alo es supe io es al 90% en ambas mé icas. El modelo de eco es ambién
106 Capí ulo 5. Compa a i a ha dwa e
cpu_pe cen () pa a ob ene el po cen aje de u ilización de la CPU (psu il documen a ion
s. .).
Pa a ob ene mediciones p ecisas del uso de CPU du an e la ejecución del al-
go i mo, se u iliza un hilo ( h ead) sepa ado. El uso de hilos pe mi e que el moni o eo
ocu a simul áneamen e con la ejecución del algo i mo p incipal sin in e e i en su en-
dimien o ( h eading — Th ead-based pa allelism s. .).
El moni o eo concu en e se implemen a u ilizando la biblio eca h eading de
Py hon, que pe mi e c ea y ges iona hilos de ejecución.
2. Ob ención del consumo máximo de po encia Se u iliza el TDP del p ocesado In el
Xeon E5-2637 4, que es de 135 W como se comen ó an e io men e.
3. Cálculo del uso p omedio de la CPU A pa i de los da os de uso de CPU ecopila-
dos, se calcula el uso p omedio (Up omedio) median e la siguien e exp esión:
Up omedio =1
N
N
∑
i=1
Ui(5.1)
donde Uies el uso de CPU en el in e alo iyNes el núme o o al de in e alos
de medición.
4. Es imación del consumo de po encia El consumo es imado de po encia (Pes imada)
se calcula mul iplicando el TDP po el uso p omedio de CPU exp esado como acción
decimal:
Pes imada =PTDP ×Up omedio
100 (5.2)
donde PTDP es el TDP del p ocesado .
5. Cálculo de la ene gía consumida La ene gía o al consumida (E) du an e la ejecu-
ción del algo i mo se ob iene mul iplicando el consumo es imado de po encia po el
iempo de ejecución ( ejecución):
E=Pes imada × ejecución (5.3)
Pa a exp esa la ene gía en a ios-ho a (Wh), el iempo de ejecución debe es a
en ho as.

5.1. Mé icas de la CPU 107
5.1.1.4. Cálculo numé ico
T as ejecu a el algo i mo, se han ob enido los siguien es da os:
Uso p omedio de CPU:Up omedio =70,98%
Tiempo de ejecución: ejecución =464,44 segundos
Aplicando los cálculos:
Consumo es imado de po encia:
Pes imada =135 W ×70,98
100 =95,82 W (5.4)
Ene gía consumida:
E=95,82 W ×464,44 s
3600 s/h=12,46 Wh (5.5)
5.1.1.5. Análisis de limi aciones
Es impo an e conside a las siguien es limi aciones al u iliza es e mé odo:
P ecisión de la es imación: La elación en e el uso de CPU y el consumo de po-
encia no es pe ec amen e lineal debido a ecnologías como la ges ión dinámica de
ecuencia y ol aje (Dynamic Vol age and F equency Scaling, DVFS) (Hamma lund,
Chablani y Jain, 2021).
Consumo en eposo: No se conside a el consumo de po encia base cuando la CPU
es á inac i a, lo que puede subes ima el consumo o al (Jiang y Shen, 2020).
Componen es adicionales: El mé odo no incluye el consumo de o os componen-
es como memo ia RAM, almacenamien o o GPU, que pueden con ibui signi i-
ca i amen e al consumo o al (Daya a hna, Wen y Fan, 2015).
En o no compa ido: En en o nos i ualizados como el u ilizado en es a esis
(Google Colab), los ecu sos son compa idos en e múl iples usua ios, lo que pue-
de a ec a la p ecisión del moni o eo del uso de CPU y, po ende, la es imación del
consumo de po encia (Ismail y Fa doun, 2016).
A pesa de es as limi aciones, el mé odo p opues o p opo ciona una ap oxi-
mación azonable del consumo de po encia en ausencia de mediciones di ec as, y es ú il
pa a compa a la e iciencia ene gé ica de di e en es algo i mos ejecu ados en la misma
pla a o ma.
108 Capí ulo 5. Compa a i a ha dwa e
5.1.2. Cálculo del Rendimien o Compu acional de la CPU
En es e apa ado, se analiza el endimien o compu acional de la CPU al ejecu-
a la ase de in e encia de la ed neu onal con olucional (Yolo 8) del algo i mo p o-
pues o en el capí ulo 3 sob e un ídeo de p ueba que cons a de 356 o og amas. El
obje i o es de e mina cuán as ope aciones po segundo, medidas en Giga Ope acio-
nes Po Segundo (GOPS), ealiza la CPU du an e la in e encia del ídeo comple o. Es e
análisis es undamen al pa a comp ende la e iciencia compu acional del sis ema y pa a
iden i ica posibles á eas de mejo a en é minos de op imización y escalabilidad.
5.1.2.1. Pa áme os Iniciales
Complejidad de la Red Neu onal: La ed equie e un o al de 49,551 giga ope a-
ciones de mul iplicación y acumulación (Giga MACs) pa a p ocesa un solo o o-
g ama. Es a complejidad compu acional ue calculada u ilizando la lib e ía THOP
(To ch ision Highe O de P o ile ) (Jiang, 2020), una he amien a especializada
pa a medi el núme o de pa áme os y ope aciones en modelos de ap endizaje
p o undo.
Núme o de Fo og amas del Vídeo de P ueba: El ídeo de p ueba cons a de 356
o og amas.
Tiempo To al de In e encia del Vídeo: La CPU a da 464,44 segundos en ealiza
la in e encia del ídeo comple o de 356 o og amas.
5.1.2.2. Desc ipción de las Ope aciones MAC
Las ope aciones de Mul iplicación y Acumulación (MAC) son undamen ales
en el p ocesamien o de edes neu onales, especialmen e en las capas con olucionales y
o almen e conec adas. Una ope ación MAC implica dos ope aciones a i mé icas bási-
cas:
1. Mul iplicación: Se mul iplican dos núme os, gene almen e un peso y una en ada.
2. Acumulación (Suma): El esul ado de la mul iplicación se suma a un acumulado .
Po lo an o, es común conside a que cada MAC equi ale a dos ope aciones en
pun o lo an e (FLOPs). Es a con ención pe mi e es ima el núme o o al de ope aciones
a i mé icas ealizadas du an e la in e encia.
A lo la go de las subsecciones siguien es de es e capí ulo, se adop a á la con-
ención ampliamen e acep ada de que cada ope ación MAC (Mul iplicación y Acumu-
lación) equi ale a dos ope aciones de pun o lo an e (FLOPs) (Jeong, Lee y Ju, 2018;
He nandez y B own, 2020). Es a p emisa pe mi e es ablece una base común pa a e a-
lua el endimien o compu acional y la e iciencia ene gé ica de las di e en es pla a o -
mas de ha dwa e, independien emen e de sus ca ac e ís icas especí icas o a qui ec u a
subyacen e, y así ealiza una compa ación equi a i a y consis en e en e ellas.
5.1. Mé icas de la CPU 109
5.1.2.3. Cálculo del Núme o To al de Ope aciones
U ilizando la con ención mencionada, el núme o o al de ope aciones (FLOPs)
necesa ias pa a la in e encia de un solo o og ama es:
Ope aciones po Fo og ama =2×Núme o de MACs (5.6)
Sus i uyendo los alo es p opo cionados:
Ope aciones po Fo og ama =2×49,551 ×109=99,102 ×109ope aciones (5.7)
Pa a calcula el núme o o al de ope aciones ealizadas du an e la in e encia
del ídeo comple o, mul iplicamos las ope aciones po o og ama po el núme o de
o og amas del ídeo:
Ope aciones To ales =Ope aciones po Fo og ama ×Núme o de Fo og amas (5.8)
Sus i uyendo los alo es:
Ope aciones To ales =99,102 ×109×356 =35,28 ×1012 ope aciones (5.9)
5.1.2.4. Cálculo de las Ope aciones po Segundo (GOPS)
El endimien o compu acional en é minos de ope aciones po segundo se de-
e mina di idiendo el núme o o al de ope aciones po el iempo o al de in e encia:
GOPS =Ope aciones To ales
Tiempo To al de In e encia (5.10)
Aplicando los alo es co espondien es:
GOPS =35,28 ×1012 ope aciones
464,44 segundos ≈75,95 ×109ope aciones/segundo (5.11)
Po lo an o:
GOPS ≈75,95 Giga Ope aciones Po Segundo (5.12)
110 Capí ulo 5. Compa a i a ha dwa e
5.1.2.5. In e p e ación de los Resul ados
El cálculo an e io indica que la CPU es á ealizando ap oximadamen e 75,95
GOPS du an e la in e encia del ídeo comple o de 356 o og amas con la ed neu onal
conside ada. Es e alo e leja la capacidad de la CPU pa a maneja ca gas compu acio-
nales in ensi as y es un indicado cla e del endimien o del sis ema.
5.1.2.6. Conside aciones Adicionales
Es impo an e ene en cuen a los siguien es aspec os al in e p e a los esul a-
dos:
Con ención de cálculo de MACs: La conside ación de que cada MAC equi ale
a dos FLOPs es una p ác ica común, pe o dependiendo de la a qui ec u a y las
op imizaciones del ha dwa e, el impac o eal en el endimien o puede a ia .
E iciencia del ha dwa e: El endimien o eó ico máximo de una CPU puede se
signi ica i amen e mayo . Sin emba go, ac o es como el ancho de banda de la
memo ia, la e iciencia en caché, la a qui ec u a del conjun o de ins ucciones y la
pa alelización a ec an el endimien o eal.
Op imización del so wa e: Las biblio ecas y amewo ks u ilizados pa a imple-
men a la ed neu onal pueden in lui en la e iciencia compu acional. La u iliza-
ción de ins ucciones ec o iales (SIMD), pa alelismo mul inúcleo y o as op imi-
zaciones pueden mejo a el endimien o.
Sob eca ga del sis ema: La p esencia de o os p ocesos en ejecución y la ca ga
gene al del sis ema ope a i o pueden a ec a el iempo de in e encia medido y,
po ende, el cálculo de GOPS.
5.1.3. Cálculo y Análisis de la E iciencia en Ope aciones po Va io en
la CPU
En es a subsección, se p esen a el cálculo de allado de la e iciencia ene gé ica
del sis ema en é minos de ope aciones po a io (OP/W). Es a mé ica es undamen al
pa a e alua el endimien o ene gé ico de sis emas compu acionales, especialmen e en
aplicaciones in ensi as como el p ocesamien o de edes neu onales p o undas. El ob-
je i o es de e mina cuán as ope aciones ealiza el sis ema po cada a io de po encia
consumido, p opo cionando una medida cuan i a i a de su e iciencia ene gé ica (Daya-
a hna, Wen y Fan, 2016; Mi al, 2014a).
5.1.3.1. Pa áme os Iniciales
Pa a lle a a cabo es e análisis, se conside an los siguien es da os expe imen-
ales y ca ac e ís icas del sis ema:
Consumo ene gé ico o al: E o al =12,46 Wh
5.1. Mé icas de la CPU 111
Po encia media consumida du an e la in e encia: Pconsumo =95,82 W
Núme o de ope aciones po segundo: OP/s =75,95 ×109ope aciones/s
La po encia media consumida du an e la in e encia se ob u o a pa i de las
mediciones y cálculos ealizados en las subsecciones an e io es 5.1.1.4 y 5.1.2.4.
5.1.3.2. Cálculo de las Ope aciones po Va io (OP/W)
Calculamos las ope aciones po a io di idiendo las ope aciones po segundo
en e la po encia media consumida du an e la in e encia:
OP/W =OP/s
Pconsumo =75,95 ×109ope aciones/s
95,82 W ≈0,7925 ×109ope aciones/s/W
(5.13)
Po lo an o, el sis ema ealiza ap oximadamen e 0,7925 ×109ope aciones po
segundo po cada a io de po encia consumido, es deci , al ededo de 792.5 millones de
ope aciones po segundo po a io.
5.1.3.3. Fac o es que A ec an la E iciencia
Va ios ac o es pueden in lui en la e iciencia ene gé ica del sis ema (San iaji
y Sa i, 2019):
A qui ec u a del P ocesado : La e iciencia de la CPU en é minos de IPC, ecuen-
cia de eloj y sopo e SIMD in luye di ec amen e en el endimien o (Blem, Menon
y Sanka alingam, 2013).
Op imización del Código: Implemen aciones más e icien es del algo i mo pue-
den educi el iempo de ejecución y mejo a la e iciencia (Mi al, 2014b).
Ges ión de Ene gía: Tecnologías como DVFS ajus an ol aje y ecuencia según la
ca ga, impac ando la e iciencia ene gé ica (Bambagini e al., 2016).
Ca ga de T abajo: La u ilización e ec i a de núcleos e hilos a ec a el endimien o
y consumo ene gé ico (Ba oso, Clida as y Hölzle, 2013).
5.1.4. Análisis del Tiempo de P ocesamien o po F ame y Rendimien-
o en FPS
Pa a ob ene una comp ensión más de allada del endimien o eal del algo i -
mo p opues o en el capí ulo 3 cuando se ejecu a en la CPU In el Xeon E5-2673 4, es
undamen al analiza el iempo que a da en p ocesa cada o og ama indi idual y la
asa de o og amas po segundo (FPS) que puede man ene . Es as mé icas son pa icu-
la men e impo an es pa a e alua la iabilidad del sis ema en aplicaciones en iempo
eal.

112 Capí ulo 5. Compa a i a ha dwa e
5.1.4.1. Cálculo del iempo de p ocesamien o po ame
Pa iendo de los da os expe imen ales ob enidos du an e las p uebas ealiza-
das con el ídeo de 356 o og amas, podemos de e mina el iempo medio que la CPU
equie e pa a p ocesa un solo o og ama:
Tiempo o al de ejecución =464,44 segundos (5.14)
Núme o o al de o og amas =356 (5.15)
Tiempo po o og ama =Tiempo o al de ejecución
Núme o de o og amas (5.16)
Tiempo po o og ama =464,44
356 =1,3046 segundos/ o og ama (5.17)
Es e esul ado indica que la CPU In el Xeon E5-2673 4 necesi a ap oxima-
damen e 1.3 segundos pa a p ocesa comple amen e un solo o og ama u ilizando el
algo i mo del capí ulo 3. Es e iempo incluye odas las ope aciones ealizadas po el al-
go i mo: la de ección de jugado es y pelo a median e YOLO 8, el seguimien o median e
By eT ack, la es imación de poses pa a de e mina la mano de golpeo, y la iden i icación
de las egiones de la pis a de enis.
5.1.4.2. Cálculo de la asa de o og amas po segundo (FPS)
La asa de o og amas po segundo (FPS) es el in e so del iempo de p ocesa-
mien o po o og ama, y p opo ciona una medida in ui i a de la luidez con la que el
sis ema puede p ocesa un ídeo:
FPS =1
Tiempo po o og ama (5.18)
FPS =1
1,3046 =0,7665 FPS (5.19)
Es e alo de ap oximadamen e 0.77 FPS signi ica que la CPU puede p oce-
sa menos de un o og ama comple o po segundo. En é minos p ác icos, es o implica
que el sis ema ope ando en es a CPU no puede unciona en iempo eal pa a aplicacio-
nes que equie an una espues a inmedia a, como pod ía se el análisis en i o de un
pa ido de enis.
5.1.5. Análisis del consumo ene gé ico po o og ama
Además de las mé icas de endimien o y e iciencia p esen adas an e io men-
e, es undamen al analiza el consumo ene gé ico especí ico eque ido pa a p ocesa
5.1. Mé icas de la CPU 113
cada o og ama indi idual. Es a mé ica p opo ciona una isión complemen a ia y de-
allada de la e iciencia ene gé ica eal del sis ema, pe mi iendo e alua el cos e ene gé-
ico absolu o asociado al p ocesamien o de cada unidad de in o mación isual.
Pa a calcula la ene gía eque ida po o og ama en la CPU In el Xeon E5-
2673 4 du an e la ejecución del algo i mo p opues o en el capí ulo 3, pa imos de los
siguien es da os expe imen ales:
Consumo eléc ico o al =12,46 Wh (5.20)
Núme o o al de o og amas p ocesados =356 o og amas (5.21)
La ene gía consumida po o og ama se ob iene di idiendo el consumo eléc-
ico o al en e el núme o de o og amas p ocesados:
Ene gía po o og ama =Consumo eléc ico o al
Núme o o al de o og amas (5.22)
Ene gía po o og ama =12,46 Wh
356 o og amas =0,0350 Wh/ o og ama (5.23)
Pa a exp esa es e alo en unidades más ap opiadas pa a el análisis de sis e-
mas de p ocesamien o de da os, con e imos el esul ado a julios:
Ene gía po o og ama [J] =Ene gía po o og ama [Wh] ×3600 J/Wh (5.24)
Ene gía po o og ama [J] =0,0350 Wh/ o og ama ×3600 J/Wh =126,0 J/ o og ama
(5.25)
Es e esul ado indica que la CPU In el Xeon E5-2673 4 equie e ap oximada-
men e 126,0 julios de ene gía pa a p ocesa comple amen e un solo o og ama u ilizan-
do el algo i mo p opues o en el capí ulo 3. Es a can idad de ene gía ep esen a el cos e
ene gé ico o al asociado a odas las ope aciones ealizadas po el algo i mo: la de ec-
ción de jugado es y pelo a median e YOLO 8, el seguimien o median e By eT ack, la
es imación de poses pa a de e mina la mano de golpeo, y la iden i icación de las egio-
nes de la pis a de enis.
El alo de 126,0 J/ o og ama p opo ciona una e e encia absolu a del consu-
mo ene gé ico po unidad de p ocesamien o, complemen ando la mé ica de e iciencia
en ope aciones po a io (792,5 MOPs/W) p esen ada an e io men e. Mien as que la
e iciencia (OPs/W) e leja la capacidad del sis ema pa a ealiza ope aciones compu-
acionales po unidad de ene gía consumida, la ene gía po o og ama ep esen a el
114 Capí ulo 5. Compa a i a ha dwa e
cos e ene gé ico absolu o del p ocesamien o de una unidad comple a de in o mación
isual.
Es a mé ica esul a pa icula men e ú il pa a e alua la iabilidad del sis e-
ma en en o nos con limi aciones ene gé icas o pa a es ima los cos es ope a i os a la go
plazo. Po ejemplo, pa a p ocesa un ídeo es ánda de 30 minu os a 30 FPS (ap oxi-
madamen e 54.000 o og amas), el sis ema eque i ía eó icamen e unos 6.804.000 julios
(1,89 kWh) de ene gía, un ac o que pod ía se de e minan e en aplicaciones con es-
icciones ene gé icas o en la plani icación de in aes uc u as de p ocesamien o a g an
escala.
5.2. Mé icas de la GPU
En es a sección se de allan las mé icas de endimien o ob enidas al ejecu a
el algo i mo desa ollado en el capí ulo 3 en la GPU NVIDIA Tesla T4. Se p esen an y
analizan los esul ados de las mé icas cla e conside adas en es a compa a i a y men-
cionadas al comienzo de es e capí ulo.
5.2.1. Es imación del Consumo de Po encia en la GPU N idia Tesla
T4 en Google Colab
En es a subsección se p esen a el p oceso y la me odología pa a es ima el con-
sumo de po encia de la GPU N idia Tesla T4 al ejecu a el algo i mo p opues o en el
capí ulo 3 en el en o no de Google Colab. Debido a las limi aciones de la pla a o ma,
que no p opo ciona acceso di ec o a senso es de po encia de la GPU, se ecu e a las
he amien as n idia-smi y la biblio eca pyn ml pa a ob ene da os indi ec os. Es os da-
os pe mi en es ima la ene gía consumida du an e la ejecución del algo i mo. Además,
se p esen an los esul ados expe imen ales ob enidos al p ocesa el ideo de p ueba de
356 o og amas.
5.2.1.1. Con ex o y He amien as U ilizadas
La GPU N idia Tesla T4 es ampliamen e u ilizada en ca gas de abajo de in-
e encia y en enamien o lige o en el en o no de Google Colab. Es a GPU cuen a con un
TDP (The mal Design Powe ) de 70 W, lo que ep esen a su consumo máximo de po encia
bajo ca gas in ensi as (NVIDIA, 2018). Sin emba go, el consumo eal du an e la ejecu-
ción puede a ia dependiendo de la complejidad del modelo, la u ilización e ec i a de
la GPU y las ope aciones in e nas de op imización de la ecuencia y ol aje (Dynamic
Vol age and F equency Scaling, DVFS) (Mei e al., 2017).
Pa a es ima el consumo de po encia, se u iliza on:
n idia-smi: He amien a de línea de comando p opo cionada po NVIDIA pa a
moni o ea el es ado de la GPU, incluyendo su u ilización, empe a u a y po encia
ins an ánea consumida (NVIDIA, 2021).
5.2. Mé icas de la GPU 115
pyn ml: Una biblio eca Py hon que pe mi e in e ac ua con la NVIDIA Manage-
men Lib a y (NVML) pa a ob ene mé icas de alladas de la GPU, incluyendo el
consumo de po encia en iempo eal (NVIDIA, s. .).
5.2.1.2. Medición y Cálculo
Se ealiza on las siguien es acciones:
1. Inicia el Moni o eo de Po encia: An es de p ocesa el ideo, se inició un hilo de
ejecución que, cada 100 ms, egis aba la po encia epo ada po la GPU median e
pyn ml.
2. P ocesa el Video: El algo i mo basado en YOLO 8 ejecu ó la in e encia sob e ca-
da o og ama, de ec ando obje os y aplicando cuad os delimi ado es y e ique as.
3. Regis o del Tiempo: Se midió el iempo o al de ejecución desde el inicio del
p ocesamien o has a su inalización.
4. Cálculo de la Ene gía Consumida: In eg ando la po encia ins an ánea a lo la go
del iempo, se ob u o la ene gía o al consumida en a ios-ho a (Wh).
5.2.1.3. Resul ados
Los esul ados ob enidos al p ocesa el ideo de p ueba de 356 o og amas con
el algo i mo p opues o en el capí ulo 3 ue on los siguien es:
Tiempo o al de ejecución: 233,1054 s
Consumo ene gé ico o al es imado:E o al =34,29 Wh
FLOPs del modelo (po in e encia): 4,429×109ope aciones, calculadas median e
la lib e ía THOP (Jiang, 2020), que pe mi e una medición p ecisa de las ope acio-
nes de pun o lo an e eque idas po el modelo du an e la ejecución de una sola
in e encia.
Pa áme os del modelo: 3,157 ×106pa áme os
Núme o o al de in e encias: 356 o og amas
Es os esul ados demues an la capacidad de la GPU N idia Tesla T4 pa a p o-
cesa e icien emen e el algo i mo p opues o, ap o echando su a qui ec u a pa alela y
op imizada pa a ca gas de abajo de ap endizaje p o undo. Sin emba go, es impo an-
e ene en cuen a que las es imaciones de consumo de po encia y e iciencia ene gé ica
pueden a ia en unción de las ca ac e ís icas especí icas del modelo y las condiciones
de ejecución.
5.2.2. Cálculo del Rendimien o Compu acional de la GPU
En es e apa ado, se analiza el endimien o compu acional de la GPU NVI-
DIA Tesla T4 al ejecu a la ase de in e encia de la ed neu onal con olucional (Yolo 8)
122 Capí ulo 5. Compa a i a ha dwa e
5. Cálculo de la ene gía o al consumida po la TPU du an e la in e encia in eg ando
la po encia p omedio sob e el iempo de in e encia:
ETPU =Pp omedio × in e encia =240 W ×771,44 s =185145,6 J ≈51,43 Wh (5.44)
De es a o ma, se es ima que la Google TPU 2-8 consumió ap oximadamen e
51.43 Wh du an e la in e encia de la CNN del algo i mo p opues o, asumiendo una
u ilización p omedio del 80%.
Es impo an e des aca que, aunque es a es imación se basa en supues os azo-
nables y iene en cuen a las ca ac e ís icas de las TPUs y de YOLO 8, sigue siendo una
ap oximación debido a la al a de mediciones di ec as de la u ilización y el consumo
de po encia. Pa a ob ene ci as más p ecisas, se ía ideal ene acceso a he amien as
de moni o ización de bajo ni el en el en o no de Google Colab, lo cual no es posible
ac ualmen e.
A pesa de es as limi aciones, la es imación del 80% de u ilización p omedio
p opo ciona una buena e e encia pa a e alua el consumo de po encia y la e iciencia
ene gé ica de la TPU 2-8 du an e la in e encia de YOLO 8. Es a in o mación es alio-
sa pa a compa a el endimien o ene gé ico de di e en es pla a o mas de ha dwa e y
op imiza los algo i mos de ap endizaje p o undo desde una pe spec i a de e iciencia
ene gé ica.
5.3.2. Cálculo del Rendimien o Compu acional de la TPU
En es e apa ado, se analiza el endimien o compu acional de la Google TPU
2-8 al ejecu a la ase de in e encia de la ed neu onal con olucional (Yolo 8) del algo-
i mo p opues o en el capí ulo 3 sob e un ídeo de p ueba que cons a de 356 o og amas.
El obje i o es de e mina cuán as ope aciones po segundo, medidas en Giga Ope acio-
nes Po Segundo (GOPS), ealiza la TPU du an e la in e encia del ídeo comple o. Es e
análisis es undamen al pa a comp ende la e iciencia compu acional del sis ema y pa a
iden i ica posibles á eas de mejo a en é minos de op imización y escalabilidad.
5.3.2.1. Cálculo del Núme o To al de Ope aciones
U ilizando la con ención mencionada, el núme o o al de ope aciones necesa-
ias pa a la in e encia de un solo o og ama es:
Ope aciones po Fo og ama =4,429 ×109FLOPs ×2=8,858 ×109ope aciones
(5.45)

5.3. Mé icas de la TPU 123
Pa a calcula el núme o o al de ope aciones ealizadas du an e la in e encia
del ídeo comple o, mul iplicamos las ope aciones po o og ama po el núme o de
o og amas del ídeo:
Ope aciones To ales =Ope aciones po Fo og ama ×Núme o de Fo og amas (5.46)
Sus i uyendo los alo es:
Ope aciones To ales =8,858 ×109×356 =3,154 ×1012 ope aciones (5.47)
5.3.2.2. Cálculo de las Ope aciones po Segundo (GOPS)
El endimien o compu acional en é minos de ope aciones po segundo se de-
e mina di idiendo el núme o o al de ope aciones po el iempo o al de in e encia:
GOPS =Ope aciones To ales
Tiempo To al de In e encia (5.48)
Aplicando los alo es co espondien es:
GOPS =3,154 ×1012 ope aciones
771,44 segundos ≈4,090 ×109ope aciones/s (5.49)
Po lo an o:
GOPS ≈4,090 Giga Ope aciones po Segundo (5.50)
El cálculo an e io indica que la Google TPU 2-8 es á ealizando ap oximada-
men e 4,090 GOPS du an e la in e encia del ídeo comple o de 356 o og amas con la
ed neu onal conside ada. Es e alo e leja la capacidad de la TPU pa a maneja ca gas
compu acionales in ensi as y es un indicado cla e del endimien o del sis ema.
5.3.3. Cálculo de las Ope aciones po Va io (OP/W)
En es a subsección se p esen a el cálculo de Ope aciones po Va io (OP/W) en
la Google TPU. Pa a es e análisis, se cuen a con el siguien e da o adicional:
Ene gía o al es imada consumida:E o al =51,43 Wh.
124 Capí ulo 5. Compa a i a ha dwa e
La ene gía o al de 51.43 Wh es un alo asumido a pa i del iempo de ejecución y
es imaciones de la po encia p omedio consumida po la TPU du an e la in e encia, que
ue calculado en una subsección an e io . Es e da o no es una medición exac a, sino una
e e encia ap oximada pa a ilus a el p oceso.
Pa a es ima las ope aciones po a io, necesi amos elaciona las ope aciones
o ales con la ene gía consumida. La ene gía o al consumida es de 51.43 Wh. Sabemos
que:
Ene gía (Wh) =Po encia (W) ×Tiempo (s)
3600
Dado que la ene gía o al es 51.43 Wh y el iempo o al es 771.44 s, podemos despeja la
po encia p omedio consumida po la TPU:
51,43 Wh =Pp omedio ×771,44 s
3600
Despejando Pp omedio:
Pp omedio =51,43 ×3600
771,44 W≈240 W
Con una po encia p omedio es imada de 240 W y un endimien o de 4,090 GOP/s, cal-
culamos las ope aciones po a io:
OP/W =OP/s
Pp omedio =4,090 GOP/s
240 W ≈0,017 GOP/s/W
Es e alo equi ale a ap oximadamen e 17 ×106ope aciones/s/W, es deci , unos 17
MOPS/s/W.
Los esul ados sugie en que, bajo las suposiciones ealizadas (un consumo o-
al de 51.43 Wh y las ope aciones es imadas), la TPU ejecu a al ededo de 4,090 GOP/s
y o ece una e iciencia ene gé ica en o no a 0,017 GOP/s/W.
Es impo an e ema ca que es as ci as son ap oximadas y dependen en g an
medida de las suposiciones sob e la po encia p omedio consumida. El alo de la ene -
gía o al (51.43 Wh) se conside ó como un da o ap oximado y no p o iene de una me-
dición di ec a. Además, el en o no de Colab es compa ido y la ca ga e ec i a en la TPU
puede a ia , a ec ando an o el endimien o como el consumo eal.
5.3.4. Análisis del iempo de p ocesamien o po ame y endimien o
en FPS
La Google TPU 2-8 (Tenso P ocessing Uni ) ep esen a una a qui ec u a de
ha dwa e especializada pa a el p ocesamien o de ope aciones ensio ales, op imizada
5.3. Mé icas de la TPU 125
especí icamen e pa a a eas de ap endizaje p o undo. A con inuación, se analiza en de-
alle su desempeño en é minos de iempo de p ocesamien o po o og ama y asa de
o og amas po segundo al ejecu a el algo i mo p opues o en el capí ulo 3.
5.3.4.1. Cálculo del iempo de p ocesamien o po ame
Pa a de e mina con p ecisión el iempo que la Google TPU 2-8 equie e pa-
a p ocesa un o og ama indi idual, pa imos de los da os expe imen ales ob enidos
du an e las p uebas ealizadas con el ídeo de 356 o og amas:
Tiempo o al de ejecución =771,44 segundos (5.51)
Núme o o al de o og amas =356 (5.52)
Tiempo po o og ama =Tiempo o al de ejecución
Núme o de o og amas (5.53)
Tiempo po o og ama =771,44
356 =2,1670 segundos/ o og ama (5.54)
Es e esul ado indica que la Google TPU 2-8 necesi a ap oximadamen e 2.17
segundos pa a p ocesa comple amen e un solo o og ama u ilizando el algo i mo del
capí ulo 3. Es e iempo engloba odas las ope aciones del algo i mo: la de ección de ju-
gado es y pelo a median e YOLO 8, el seguimien o a a és de By eT ack, la es imación
de poses pa a iden i ica la mano de golpeo, y la de ección de las di e en es egiones de
la pis a de enis.
5.3.4.2. Cálculo de la asa de o og amas po segundo (FPS)
A pa i del iempo de p ocesamien o po o og ama calculado, podemos de-
e mina la asa de o og amas po segundo (FPS) que la TPU puede man ene du an e
la ejecución del algo i mo:
FPS =1
Tiempo po o og ama (5.55)
FPS =1
2,1670 =0,4615 FPS (5.56)
Es a asa de ap oximadamen e 0.46 FPS signi ica que la Google TPU 2-8 pue-
de p ocesa menos de medio o og ama po segundo, lo que se aduce en un endimien-
o conside ablemen e in e io al iempo eal. Es e esul ado es especialmen e llama i o
conside ando que la TPU es á diseñada especí icamen e pa a acele a ope aciones de
edes neu onales.
126 Capí ulo 5. Compa a i a ha dwa e
5.3.5. Análisis del consumo ene gé ico po o og ama
El análisis del consumo ene gé ico especí ico po o og ama cons i uye una
mé ica undamen al pa a e alua la e iciencia eal de una pla a o ma ha dwa e, pa i-
cula men e en sis emas especializados como las Unidades de P ocesamien o Tenso ial
(TPU). Es a mé ica pe mi e comp ende en p o undidad las implicaciones ene gé icas
del p ocesamien o isual y p opo ciona in o mación aliosa sob e la iabilidad del sis-
ema pa a di e en es casos de uso.
Pa a calcula con p ecisión la ene gía eque ida po cada o og ama p ocesado
en la Google TPU 2-8 du an e la ejecución del algo i mo desa ollado en el capí ulo 3,
u ilizamos los siguien es da os expe imen ales ob enidos du an e las p uebas:
Consumo eléc ico o al =51,43 Wh (5.57)
Núme o o al de o og amas p ocesados =356 o og amas (5.58)
El cálculo de la ene gía consumida po o og ama se ealiza di idiendo el con-
sumo eléc ico o al en e el núme o de o og amas p ocesados:
Ene gía po o og ama =Consumo eléc ico o al
Núme o o al de o og amas (5.59)
Ene gía po o og ama =51,43 Wh
356 o og amas =0,1445 Wh/ o og ama (5.60)
Pa a exp esa es e esul ado en unidades del Sis ema In e nacional, con e i-
mos el alo a julios:
Ene gía po o og ama [J] =Ene gía po o og ama [Wh] ×3600 J/Wh (5.61)
Ene gía po o og ama [J] =0,1445 Wh/ o og ama ×3600 J/Wh =520,2 J/ o og ama
(5.62)
Es e esul ado e ela que la Google TPU 2-8 consume ap oximadamen e 520,2
julios de ene gía pa a p ocesa comple amen e un solo o og ama u ilizando el algo i -
mo p opues o en el capí ulo 3. Es a can idad ep esen a el cos e ene gé ico o al asociado
a odas las ope aciones ealizadas po el algo i mo, incluyendo la de ección de jugado-
es y pelo a, el seguimien o de obje os, la es imación de poses y la segmen ación de la
pis a de enis.
5.4. Mé icas de la GPU embebida 127
5.4. Mé icas de la GPU embebida
En es a sección se de allan las mé icas de endimien o ob enidas al ejecu a
el algo i mo desa ollado en el capí ulo 3 en la NVIDIA Je son AGX Xa ie . Se p esen-
an y analizan los esul ados de las mé icas cla e conside adas en es a compa a i a y
mencionadas al comienzo de es e capí ulo.
5.4.1. Medición del consumo eléc ico en NVIDIA Je son AGX Xa ie
du an e la in e encia de una CNN
En es a subsección se desc ibe la me odología empleada pa a medi el consu-
mo eléc ico de la pla a o ma embebida NVIDIA Je son AGX Xa ie du an e la ejecu-
ción de la ase de in e encia de la CNN u ilizada en el algo i mo p opues o en el capí ulo
3. La capacidad de cuan i ica el consumo ene gé ico es esencial pa a e alua la e icien-
cia del despliegue de modelos de ap endizaje p o undo en disposi i os con ecu sos
limi ados. En el con ex o de una pla a o ma embebida como la Je son AGX Xa ie , es e
ipo de medición esul a especialmen e ele an e pa a aplicaciones en el bo de, donde
el consumo ene gé ico y la au onomía son ac o es c í icos (Mi al, 2019; Blanco, O ega
y Pé ez, 2020).
La NVIDIA Je son AGX Xa ie iene un TDP de 30 W (NVIDIA Co po a ion,
2021). Es e alo es signi ica i amen e meno que el TDP de CPUs y GPUs de al o en-
dimien o, como los analizados en las an e io es subsecciones de es e capí ulo, lo que
sugie e una mayo e iciencia ene gé ica.
5.4.1.1. Me odología de medición
En el caso del es o del ha dwa e analizado en es e capí ulo, al a a se de
pla a o mas en la nube sin acceso ísico di ec o, se ealizó una es imación de su consumo
de po encia du an e la ejecución del algo i mo p opues o en el capí ulo 3. Sin emba go,
dado que el ha dwa e analizado en es a subsección sí es á disponible ísicamen e, se ha
lle ado a cabo una medición di ec a del consumo, p opo cionando da os eales.
Pa a medi el consumo eléc ico de la NVIDIA Je son AGX Xa ie , se u ilizó un
a íme o con encional modelo "Tapo P110"de la ma ca "TP-Link". Es e a íme o cuen-
a con una esolución de 0.1 W, y pe mi e moni o iza el consumo ene gé ico en iempo
eal a a és de una aplicación mó il (TP-Link, 2021). El a íme o se conec ó a un en-
chu e en la pa ed, y a su ez, la NVIDIA Je son AGX Xa ie se conec ó al a íme o,
siguiendo el siguien e p ocedimien o:
1. Conexión del a íme o TP-Link Tapo P110 a un enchu e en la pa ed.
2. Conexión de la NVIDIA Je son AGX Xa ie al a íme o TP-Link Tapo P110.
3. Medición del consumo eléc ico con la Je son AGX Xa ie en eposo (idle) du an e
5 minu os, egis ando la po encia p omedio a a és de la aplicación mó il.

128 Capí ulo 5. Compa a i a ha dwa e
4. Ejecución de la in e encia de la CNN sob e el conjun o de imágenes de p ueba (356
o og amas del ideo) y egis o de la po encia p omedio du an e es e p oceso
u ilizando la aplicación mó il.
5. Cálculo del consumo eléc ico de la in e encia es ando la po encia p omedio en
eposo a la po encia p omedio du an e la in e encia.
6. Cálculo del consumo eléc ico especí ico de la in e encia di idiendo el consumo
o al en e el iempo de in e encia.
Es e p oceso se epi ió 10 eces, no solo pa a educi la a iabilidad y ob ene
un p omedio ep esen a i o del consumo eléc ico, sino ambién pa a mi iga el e ec o
del enómeno “wa m-up” comen ado al inicio del capí ulo.
5.4.1.2. Resul ados
Las mediciones de consumo eléc ico du an e la in e encia de la CNN en la
NVIDIA Je son AGX Xa ie se ealiza on en diez ocasiones consecu i as. Los esul a-
dos mos a on una no able consis encia, con un consumo o al p omedio de 21.56 W
y un consumo especí ico pa a la in e encia de 12.46 W. Es os alo es p esen a on una
a iación mínima en e mediciones, con des iaciones de ±0.4 W, lo que indica una al a
es abilidad en el consumo ene gé ico del disposi i o.
Cálculos adicionales.
Po encia base en eposo (idle): Ap oximadamen e 9.1 W.
Po encia p omedio o al du an e la in e encia: Al ededo de 21.56 W.
Po encia especí ica de la in e encia: Al ededo de 21.56 W - 9.1 W = 12.46 W.
Tiempo o al de in e encia: Pa a los 356 o og amas del ideo, el iempo o al ue
de 272.51 segundos.
Ene gía o al consumida du an e la in e encia: In eg ando la po encia especí ica
de la in e encia (12.46 W) du an e 272.51 s:
Ein e encia =12,46 W ×272,51 s
3600 s/h ≈0,94 Wh
Dado que la po encia en eposo e a de 9.1 W, si se quisie a inclui la ene gía o al
consumida po odo el sis ema (incluyendo la po encia base), se p ocede ía de la
misma o ma con la po encia o al de 21.56 W.
5.4. Mé icas de la GPU embebida 129
Ene gía po in e encia. Si conside amos el iempo p omedio de in e encia po o o-
g ama (ap oximadamen e 0.765 s po o og ama), la ene gía consumida po cada in e-
encia se ía:
Ene gía po in e encia =12,46 W ×0,765 s
3600 s/h ≈0,00265 Wh (5.63)
5.4.2. Cálculo de las GOPs en la NVIDIA Je son AGX Xa ie
En es a subsección, se p esen a el cálculo del endimien o compu acional, ex-
p esado en Giga Ope aciones po Segundo (GOP/s), alcanzado po la Je son AGX Xa-
ie du an e la in e encia de un modelo de ap endizaje p o undo.
5.4.2.1. Cálculo de Ope aciones To ales y Ope aciones po Segundo
U ilizando la con ención mencionada, el núme o o al de ope aciones necesa-
ias pa a la in e encia de un solo o og ama es:
Ope aciones po Fo og ama =4,429 ×109FLOPs ×2=8,858 ×109ope aciones
(5.64)
Dado que se p ocesa on 356 o og amas, el núme o o al de ope aciones ejecu-
adas du an e la in e encia se calcula como:
O o al =8,858 ×109ope aciones/in ×356 ≈3,154 ×1012 ope aciones (5.65)
Pa a ob ene las ope aciones po segundo (OP/s), se di ide el núme o o al de
ope aciones po el iempo o al de ejecución:
OP/s =3,154 ×1012 ope aciones
272,51 s ≈11,58 ×109ope aciones/s (5.66)
Exp esando es e alo en Giga Ope aciones po Segundo (GOP/s):
11,58 ×109ope aciones/s =11,58 GOP/s (5.67)
La Je son AGX Xa ie , bajo las condiciones analizadas, ue capaz de ejecu a
ap oximadamen e 11.58 GOP/s du an e la in e encia de 356 o og amas del ideo.
130 Capí ulo 5. Compa a i a ha dwa e
5.4.3. Cálculo de Ope aciones po Va io (OP/W) en la NVIDIA Je son
AGX Xa ie
En es a subsección se e alúa la e iciencia ene gé ica de la NVIDIA Je son AGX
Xa ie en é minos de ope aciones po a io (OP/W), un indicado cla e pa a de e mi-
na el equilib io en e el endimien o compu acional y el consumo ene gé ico.
5.4.3.1. Da os Iniciales
Con base en las mediciones y cálculos ealizados p e iamen e, se dispone de
los siguien es da os ele an es:
Ope aciones o ales du an e la in e encia: 3,154 ×1012 ope aciones
Tiempo o al de in e encia: 272,51 s
Po encia p omedio du an e la in e encia: 12,46 W
Rendimien o compu acional (GOP/s): 11,58 GOP/s
5.4.3.2. P ocedimien o de Cálculo
El cálculo de las ope aciones po a io se ealiza di idiendo el endimien o
compu acional (ope aciones po segundo) en e la po encia p omedio consumida du-
an e la in e encia:
OP/W =GOP/s
Po encia p omedio (W) (5.68)
Sus i uyendo los alo es:
OP/W =11,58 GOP/s
12,46 W ≈0,929 GOP/s/W (5.69)
Es o signi ica que la NVIDIA Je son AGX Xa ie es capaz de ealiza ap oxima-
damen e 0,929 Giga Ope aciones po Segundo po cada a io de po encia consumido.
5.4.4. Análisis del iempo de p ocesamien o po ame y endimien o
en FPS
La pla a o ma NVIDIA Je son AGX Xa ie ep esen a una solución de compu-
ación embebida de al o endimien o o ien ada especí icamen e a aplicaciones de in-
eligencia a i icial en disposi i os de bo de (edge compu ing). En es a subsección, se
analiza de alladamen e su desempeño en é minos de iempo de p ocesamien o po
o og ama y asa de o og amas po segundo al ejecu a el algo i mo p opues o en el
capí ulo 3.
5.4. Mé icas de la GPU embebida 131
5.4.4.1. Cálculo del iempo de p ocesamien o po ame
Basándonos en los da os expe imen ales ob enidos du an e las p uebas ealiza-
das con el ídeo de 356 o og amas, podemos de e mina con p ecisión el iempo medio
que la NVIDIA Je son AGX Xa ie equie e pa a p ocesa un o og ama indi idual:
Tiempo o al de ejecución =272,51 segundos (5.70)
Núme o o al de o og amas =356 (5.71)
Tiempo po o og ama =Tiempo o al de ejecución
Núme o de o og amas (5.72)
Tiempo po o og ama =272,51
356 =0,7655 segundos/ o og ama (5.73)
Es e esul ado indica que la NVIDIA Je son AGX Xa ie necesi a ap oximada-
men e 0.77 segundos pa a p ocesa comple amen e cada o og ama del ídeo u ilizando
el algo i mo del capí ulo 3. Es e iempo de p ocesamien o incluye odas las ope aciones
del algo i mo: la de ección de jugado es y pelo a median e YOLO 8, el seguimien o a
a és de By eT ack, la es imación de poses pa a de e mina la mano de golpeo, y la
iden i icación de las egiones de la pis a de enis.
5.4.4.2. Cálculo de la asa de o og amas po segundo (FPS)
A pa i del iempo de p ocesamien o po o og ama, calculamos la asa de
o og amas po segundo (FPS) que es a pla a o ma embebida puede man ene du an e
la ejecución del algo i mo:
FPS =1
Tiempo po o og ama (5.74)
FPS =1
0,7655 =1,3063 FPS (5.75)
La NVIDIA Je son AGX Xa ie alcanza ap oximadamen e 1.31 FPS, lo que sig-
ni ica que puede p ocesa poco más de un o og ama comple o po segundo. Aunque
es a asa no alcanza el umb al conside ado pa a aplicaciones en iempo eal (gene al-
men e 24-30 FPS), ep esen a un endimien o no able pa a un sis ema embebido con
es icciones de po encia.