Evaluación de algoritmos de machine learning para conducción

Uni e sidad Complu ense de Mad id/Uni e sidad de G anada (SICUE) Facul ad de In o má ica TRABAJO DE FIN DE GRADO EVALUACIÓN DE ALGORITMOS DE MACHINE LEARNING PARA CONDUCCIÓN MACHINE LEARNING ALGORITHM EVALUATION ON ADVANCED DRIVER ASSISTANCE Alumnos Alejand o Simón Rod íguez Ra ael Ruz Gómez Di ec o es Ca los Ga cía Sánchez Guille mo Bo ella Juan Doble G ado Ingenie ía In o má ica y Ma emá icas 2019/2020 1 Índice 1 In oducción y mo i ación 8 2 His o ia 9 3 Con ibución de cada es udian e 12 3.1 Con ibución de Alejand o . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 3.2 Con ibución de Ra ael . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 4 Es ado del a e 14 4.1 In oducción a la Visión po Compu ado . . . . . . . . . . . . . . . . . . 14 4.1.1 P oblemas den o de la Visión po Compu ado . . . . . . . . . . . 15 4.2 DeepLea ning ................................. 16 4.2.1 Redes Con olucionales . . . . . . . . . . . . . . . . . . . . . . . . . 18 4.2.2 T ans e Lea ning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 5 A qui ec u as de De ección de Obje os 22 5.1 A qui ec u as de dos ases . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 5.2 A qui ec u as de una ase . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 5.2.1 Single Sho De ec o o SSD . . . . . . . . . . . . . . . . . . . . . . 28 5.2.2 YOLO.................................. 32 6 P esen ación de conjun os de da os u ilizados 38 6.1 KITTI...................................... 40 6.2 Tshingua-Daimle ................................ 42 6.3 Be keley Deepd i e Da ase . . . . . . . . . . . . . . . . . . . . . . . . . . 42 6.4 Conjun os de da os c eados . . . . . . . . . . . . . . . . . . . . . . . . . . 45 7 Disposi i os ha dwa e u ilizados 45 7.1 CPU In el R Xeon R E3-1225 3 ....................... 46 7.2 GPUGEFORCEGTX980 .......................... 46 7.3 GPU UHD In el R 620............................. 46 7.4 In el R Neu al Compu e S ick 2 . . . . . . . . . . . . . . . . . . . . . . . . 47 8 Medidas de p ecisión en la de ección de obje os 47 8.1 P ecisiónyRecall................................ 47 8.2 IOU ....................................... 48 8.3 APymAP ................................... 49 9 F amewo ks 50 9.1 Tenso low.................................... 50 9.1.1 Objec De ec ion API . . . . . . . . . . . . . . . . . . . . . . . . . 50 9.1.2 Tenso boa d............................... 52 2 9.2 Open ino oolki ................................ 53 9.2.1 Ca ac e ís icas p incipales . . . . . . . . . . . . . . . . . . . . . . . 53 9.3 Da kne ..................................... 54 9.4 Módulos..................................... 54 10 Expe imen os ealizados 55 10.1Ancho Boxes.................................. 56 10.2Da aaugmen a ion............................... 58 10.3 Ha d Nega i e Mining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 11 Resul ados del Reen enamien o 60 11.1 Resul ados de la ed SSD Incep ion V2 . . . . . . . . . . . . . . . . . . . . 60 11.1.1 Resul ados SSD Incep ion V2 sob e KITTI . . . . . . . . . . . . . 60 11.1.2 Resul ados SSD Incep ion V2 sob e el da ase comple o . . . . . . 61 11.1.3 Compa ación de esul ados . . . . . . . . . . . . . . . . . . . . . . 62 11.2 Resul ados de la ed Fas e R-CNN . . . . . . . . . . . . . . . . . . . . . . 64 11.2.1 Resul ados Fas e R-CNN sob e KITTI . . . . . . . . . . . . . . . 64 11.2.2 Resul ados Fas e R-CNN sob e el da ase comple o . . . . . . . . 65 11.2.3 Compa ación de esul ados . . . . . . . . . . . . . . . . . . . . . . 66 11.3 Resul ados de la ed SSD Mobile Li e . . . . . . . . . . . . . . . . . . . . . 68 11.3.1 Resul ados SSD Mobile Li e sob e KITTI . . . . . . . . . . . . . . 68 11.3.2 Resul ados SSD Mobile Li e sob e el da ase comple o . . . . . . . 69 11.3.3 Compa ación de esul ados . . . . . . . . . . . . . . . . . . . . . . 70 11.4 Resul ados de la ed YOLO 3 . . . . . . . . . . . . . . . . . . . . . . . . . 72 11.4.1 Resul ados YOLO 3 sob e KITTI . . . . . . . . . . . . . . . . . . 73 11.4.2 Resul ados YOLO 3 sob e el da ase comple o . . . . . . . . . . . 73 11.5 Resul ados de la ed YOLO 3 iny . . . . . . . . . . . . . . . . . . . . . . 74 11.5.1 Resul ados YOLO 3 iny sob e KITTI . . . . . . . . . . . . . . . . 74 11.5.2 Resul ados YOLO 3 iny sob e el da ase comple o . . . . . . . . . 75 12 Resul ado de In e encia 75 12.1 In e encia de SSD Incep ion V2 en Open ino . . . . . . . . . . . . . . . . 76 12.2 In e encia de SSD Mobile Li e en Open ino . . . . . . . . . . . . . . . . . 77 12.3 In e encia de Fas e R-CNN en Open ino . . . . . . . . . . . . . . . . . . 78 12.4 In e encia YOLO 3 en Da kne . . . . . . . . . . . . . . . . . . . . . . . . 79 12.5 In e encia YOLO 3 Tiny en Da kne . . . . . . . . . . . . . . . . . . . . . 79 13 Compa ación 80 13.1MAP....................................... 80 13.2 Velocidad de in e encia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 13.3 In e cambio elocidad-consumo . . . . . . . . . . . . . . . . . . . . . . . . 82 14 Conclusiones 84 14.1Fu u ospasos.................................. 87 3 14.2Fu u es eps................................... 90 4 Índice de ablas 12.1 In e encia del modelo SSD Incep ion V2 usando el amewo k Open ino . 76 12.2 In e encia del modelo SSD Mobile Li e usando el amewo k Open ino . . 77 12.3 In e encia del modelo Fas e R-CNN usando el amewo k Open ino . . . 78 12.4 In e encia del modelo YOLO 3 ejecu ado en la GPU de al o endimien o usando el amewo k Da kne . . . . . . . . . . . . . . . . . . . . . . . . . 79 12.5 In e encia del modelo YOLO 3 Tiny ejecu ado en la GPU de al o endi- mien o usando el amewo k Da kne . . . . . . . . . . . . . . . . . . . . . 79 5 PALABRAS CLAVE: Visión po o denado , conducción au ónoma, ed neu onal con olucional, de- ección de obje os, ap endizaje p o undo, ap endizaje au omá ico, My iad, Tenso low, Open ino, Da kne . RESUMEN El p incipal obje i o de es e p oyec o de in es igación y desa ollo es el análisis e imple- men ación de a qui ec u as deep lea ning pa a la de ección en iempo eal de pea ones, ciclis as y ehículos en el ámbi o de la conducción au ónoma. El e iginoso c ecimien o de la capacidad de p ocesamien o ha p o ocado el su gimien o de nue as amas de in es igación ecnológica, en e ellas la de la In eligencia A i icial (IA). En pa icula , den o de la IA podemos des aca la apa ición de las edes neu onales p o undas como écnica pa a abo da p oblemas elacionados con la pe cepción isual, como puede se la clasi icación de obje os o la de ección de obje os. Uno de los campos donde la IA que es á eniendo una mayo in luencia es la c eación de sis emas a anzados de asis encia pa a la conducción (ADAS). Es os sis emas de conduc- ción se apoyan en una amplia a iedad de cáma as y senso es que p opo cionan oda la in o mación necesa ia pa a oma decisiones con p ecisión y segu idad. Un sis ema ADAS es á compues o po dis in os módulos. Uno de ellos se enca ga de la de ección en iempo eal de obje os. En es e p oyec o nos cen amos en la de ección en iempo eal de ehículos, ciclis as y pea ones, aunque pod ían inclui se líneas de ca e e a y señales de á ico, en e o os obje os. Pa a consegui dicho obje i o di idi emos en dos pa es di e enciadas el abajo: Reen enamien o de una ed gene alis a pa a ap ende a iden i ica ehículos, pea- ones y ciclis as. Es udio del endimien o de la in e encia ealizada po la ed een enada en é mi- nos de p ecisión, elocidad de in e encia y consumo sob e un conjun o de disposi- i os ha dwa e. 6 KEYWORDS: Compu e ision, au onomous d i ing, con olu ional neu onal ne wo k, ob- jec de ec ion, deep lea ning, machine lea ning, My iad, Tenso low, Open- ino, Da kne . ABSTRACT The main aim o his esea ch and de elopmen p ojec is he analysis and implemen a- ion o deep lea ning’s a chi ec u es o eal- ime objec de ec ion o pedes ians, cyclis s and ca s on he scope o au onomous d i ing. The b eakneck g ow h o he compu ing capaci y has caused he eme gence o new ech- nological esea ch ields such as A i icial In elligence (AI). Especi ically, we can highligh he unco e ing o deep neu al ne wo ks as a echnique o app oach challenges ela ed o isual pe cep ion, o example objec classi ica ion o objec de ec ion. One o he a eas whe e he a i icial in elligence is ha ing a g ea in luence is on he c ea ion o ad anced d i e -assis ance sys ems (ADAS). These sys ems ake ad an age o cu ing-edge came as and senso s ha eed he sys ems wi h all he necessa y in o ma ion o ake decisions wi h accu acy and secu i y. An ad anced d i e -assis ance sys em is made o se e al modules. One o hem pe o m objec de ec ion in eal- ime. The main ocus o his p ojec is eal- ime de ec ion o pedes ians, cyclis s and ca s. To achie e his objec i e, we will di ide he wo k in o wo pa s: Fine- uning o a gene alis ne wo k o lea n how o iden i y pedes ians, cyclis s and ca s. Pe omance analysis in e ms o e iciency, speed and powe consump ion du ing he in e ence pe o med by he ine- uned ne wo k o e a se o ha dwa e de ices. 7 1. In oducción y mo i ación El desa ollo de sis emas a anzados de asis encia al conduc o (ADAS) es una ealidad a día de hoy y no un sueño u u is a. Ac ualmen e es una ecnología cuyo desa ollo se ha di ido en ases con el obje i o de i cumpliendo obje i os p og esi amen e en p o de log a un sis ema de conducción comple amen e au ónomo. La Sociedad de Ingenie os de Au omoción [53] es ablece una di e enciación en cuan o al ni el de au onomía en la conducción en la que se dis inguen seis ca ego ías o ni eles: Ni el 0: Ninguna au oma ización, el conduc o debe ealiza odas las a eas ela- i as a la conducción. Ni el 1: Asis encia en la conducción, se cuen a con algún sis ema au oma izado, como po ejemplo pa a con ola el mo imien o la e al o longi udinal, pe o no ambos a la ez, y no se dispone de sis emas pa a esponde an e obje os. Debiendo ealiza el es o de las a eas el conduc o . Ni el 2: Au oma ización pa cial, apa ecen sis emas pa a an o el con ol la e al como longi udinal, eximiendo al conduc o de con ola el mo imien o, pe o no del es o de a eas como la de ección de obje os y espues a an e ellos. Ni el 3: Au oma ización condicional, se con ola au omá icamen e an o el mo i- mien o como se moni o iza el en o no, pe o se equie e al conduc o disponible en segundos po si ocu ie a algún allo, sal ando una ale a. Ni el 4: Au oma ización ele ada, se iene un sis ema au ónomo, en casi cualquie si uación, con olando el mo imien o, de ec ando obje os y ac uando an e allos, eniendo que oma el con ol el conduc o en a a ocasión. Ni el 5: Au oma ización comple a, se cuen a con sis emas au ónomos an e cualquie si uación, y el conduc o nunca es á obligado a oma con ol manualmen e si no lo desea. Ac ualmen e, nos encon amos a medio camino en e el e ce y el cua o ni el. Se e- quie e de una ecnología mas a anzada con o me aumen an los ni eles, siendo ecnologías imp escindibles la senso ización, el p ocesado de las señales de es os y la oma de deci- siones basándose en la in o mación de los senso es p ocesada. Una pa e de es e abajo se enma ca á en apo a soluciones den o de una de es as a eas, la de ección de obje os con écnicas de In eligencia A i icial. O o aspec o a ene en cuen a pa a el despliegue de la conducción au ónoma es la ene gía que deben consumi odos los sis emas de de ección, p ocesamien o y oma de decisiones en unción de la in o mación ecabada. Po ello, o a pa e de es e p oyec o se dedica á a analiza la e iciencia ene gé ica de los sis emas u ilizados. Podemos esumi la mo i ación de es e abajo en dos cues iones abie as: 8 ¿Cómo p ocesa oda la in o mación ecabada po el ehículo de o ma que pe mi a oma decisiones en iempo eal? ¿Cómo c ea un Sis ema de Con ol Au ónomo óp imo en é minos de e iciencia ene gé ica? Ambas cues iones son de i al impo ancia pa a el desa ollo de la ecnología necesa ia pa a el coche au ónomo. Pa a esponde a la p ime a cues ión nos apoya emos en el á ea de la isión po compu ado , donde los mayo es éxi os en cuan o a endimien o han llegado con el c ecimien o exponencial de las edes neu onales p o undas, en conc e o, con la e olución de las edes neu onales con olucionales. Es as edes han demos ado bajas asas de e o y una meno necesidad de ecu sos compu acionales que sus p edeceso as, las edes neu onales comple amen e conec adas ( ully-connec ed). Po o o lado, es un e o mayúsculo el c ea un sis ema de conducción au ónoma e icien e en consumo. Es e desa ío podemos di idi lo en dos subp oblemas: Es udia el so wa e que sea capaz de p ocesa las imágenes en iempo eal y cumpla las es icciones de ene gía necesa ias. Es udia el ha dwa e más adecuado pa a dicho so wa e en búsqueda de la e iciencia ene gé ica. El p ocesamien o de imágenes ha sido es udiado ampliamen e, y se ha demos ado que lo más óp imo es hace uso de a ios núcleos en luga de unos pocos, como suele ocu i en CPUs es ánda . En es e abajo a a emos el uso de GPU y My iad, es e úl imo consis e en ha dwa e especí ico pa a o ece ecu sos o ien ados a implemen a edes neu onales, desa ollado po In el. Po úl imo es á el desa ío de o ques a odo es e so wa e y ha dwa e. Pa a el desa o- llo de es e p oyec o se han u ilizado los da ase s KITTI, Tshingua-Daimle y Be kely Deepd i e. Es os conjun os son p esen ados mas de alladamen e en la sección 6. La de- ección de obje os se ha ealizado usando es ipos de edes: SSD, Fas e y YOLO, que se p esen a án en la sección 5. El een enamien o de las edes se ha ealizado usando el amewo k Tenso low, del cual amplia emos más in o mación en las sección 9. La e aluación de las edes se ha ealiza- do ap o echando el conjun o de he amien as desa olladas po In el, en el amewo k OpenVINO, el cual pe mi e la ejecución en disposi i os especí icos de in e encia de e- des neu onales p o undas, como My iad. En la sección 9 se expond án los disposi i os u ilizados. 2. His o ia T as el nacimien o de los coches mo o izados lle o poco iempo a los in en o es de la época comenza a pensa en los ehículos au ónomos. En 1925, el in en o F ancis Houdina [20] demos ó como un coche con olado median e ondas de adio conducía po las calles de 9 Figu a 4.1: Desa íos en la Visión po Compu ado . Fuen e: [11] En pa icula , noso os nos amos a cen a en el econocimien o de obje os, es deci , iden i ica que obje o hay en la imagen y dónde se encuen a. Al es a cen ados en la conducción au ónoma, los obje os a econoce y si ua se án: pea ones, ciclis as y ehículos. 4.2. Deep Lea ning Deep Lea ning [23] es una ama den o del ap endizaje au omá ico cuya me a es ap en- de ca ac e ís icas de al o ni el a pa i de un conjun o de da os usando a qui ec u as je á quicas. Es e en oque pe mi e a los modelos compu acionales basados en múl iples capas, ap ende y ex ae in o mación imi ando como el ce eb o pe cibe y asimila la in o mación, pe mi iendo cap u a pa ones subyacen es en conjun os de da os a g an escala. El su gimien o del in e és po es a ecnología se ha p oducido debido a que ha supe ado ampliamen e el endimien o de las écnicas pun e as p e ias en muchas á eas de in e és de la in eligencia a i icial, como pueden se p ocesamien o del lenguaje na u al [58], i- sión po compu ado [15, 1], ans e lea ning [14, 28] y muchas más. La ambición de c ea un modelo que simula a el ce eb o humano p o ocó el inicio del desa ollo de las edes neu onales. En 1943, McCulloch and Pi s [39] in en a on com- p ende como el ce eb o podía p oduci pa ones de al a complejidad usando células básicas in e conec adas, llamadas neu onas. El modelo de una neu ona de McCulloh y Pi s, llamado el modelo MCP, ue una con ibución i al al desa ollo de las edes 16 neu onales a i iciales. En la siguien e abla [6] se mues an cuales han sido las mayo es con ibuciones a es e campo que han con ibuido a llega a la e a ac ual del deep lea ning: Figu a 4.2: Hi os más impo an es en la his o ia de las edes neu onales y el ap endizaje au omá ico, que han conducido a la e a del deep lea ning. Fuen e: [24] El nacimien o de la e a del deep lea ning se p odujo con la dis up i a con ibución de Hil on [21] en el año 2006, cuando in odujo la Deep Belie Ne wo k. Es a ed ue la p in- cipal causan e del desa ollo exponencial de la úl ima década en cuan o a a qui ec u as p o undas y algo i mos de deep lea ning. Sin emba go, las edes neu onales exis en desde ha mediados del siglo XX. Una p egun a na u al que su ge es po qué las edes neu onales p o undas han comenzado a ene un in e és masi o ecien emen e. Hay muchos ac o es que con ibuyen al ascenso me eó ico de la popula idad de las edes neu onales p o undas, algunos de ellos son: Apa ición de da ase s de en enamien o masi os con e ique as de al a calidad. A ances en las capacidades de compu ación pa alela e implemen aciones mul i-co e y mul i- h ead. Aumen o de la capacidad de p ocesamien o, especialmen e debido al uso de GPUs, así como, la disminución del cos e del ha dwa e de compu ación. Su gimien o de nume osas pla a o mas de so wa e como Tenso low [36], PyTo ch [2], Ca e [65], Chaine [52], e c, que pe mi en una in eg ación sencilla y a al o ni el de di e sas a qui ec u as en un amewo k de compu ación de GPU, sin la necesidad de en a en de alles de bajo ni el. In oducción de nue as écnicas de egula ización que ayudan a e i a el o e i - ing y mejo an el endimien o con o me se escala . Algunas de es as écnicas son: d opou , da a augmen a ion, ea ly s opping e c. A ances en la op imización de los algo i mos de ap endizaje au omá ico que son capaces de p oduci soluciones muy ce canas a las óp imas. 17 4.2.1. Redes Con olucionales Los a ances en isión po compu ado con la llegada del deep lea ning han sido desa- ollados y pe eccionados con el iempo g acias a un algo i mo en pa icula : las Redes Neu onales Con olucionales [67]. Figu a 4.3: A qui ec u a Gene al de Redes Neu onales Con olucionales. Fuen e: [12] Una Red Neu onal Con olucional(CNN) es un algo i mo de Deep Lea ning que oma una imagen de en ada, asigna impo ancia (conjun o de pesos ap endidos) a los aspec os/- ca ac e ís icas de la imagen y es capaz de di e encia unos de o os. Mien as que an es de la llegada de es as edes se aplicaban il os diseñados a mano pa a de ec a los as- pec os ele an es de una imagen, con su icien e en enamien o, las CNN han conseguido ap ende esas ca ac e ís icas eseñables de las imágenes. La a qui ec u a de una CNN in en a eplica los pa ones de conec i idad de las neu o- nas del ce eb o humano y es á inspi ada en la o ganización del có ex isual [34]. Es a a qui ec u a pe mi e ealiza un balance en e una al a capacidad de ap endizaje de las ca ac e ís icas ele an es de la imagen y la escalabilidad de la ed sob e da ase s masi os [68]. Con el in de cumpli con esas expec a i as, la CNN ealiza una educción de las imá- genes a una o ma mucho mas sencilla de p ocesa , sin pe de las ca ac e ís icas c í icas necesa ias pa a ealiza una buena p edicción. Pa a ello se basa en la sucesi a aplicación de dos capas: la capa de Con olución y la capa de Pooling. La capa de con olución se basa en la ope ación de con olución sob e la imagen. El obje i o de es a ope ación es ex ae las ca ac e ís icas de al o ni el de la imagen de en ada. El é mino con olución en ma emá icas hace e e encia a la combinación de dos unciones pa a p oduci una e ce a unción. En el caso de una CNN, la con olución se ealiza sob e una imagen de en ada usando un il o( ambién llamado ke nel) que p oduce un mapa de ca ac e ís icas. Más especí icamen e, la con olución es ejecu ada deslizando el il o sob e la imagen de en ada. En cada localización, la mul iplicación ma icial se ealiza y la suma del esul ado se gua da en el mapa de ca ac e ís icas. La siguien e imagen e leja es a ope ación: 18 Figu a 4.4: El il o se desliza sob e la en ada y la ope ación iene un esul ado que se almacena en la nue a capa. Fuen e [13] Una CNN necesi a no es a limi ada en el núme o de capas con olucionales, así que, se suelen aplica sucesi amen e. T adicionalmen e, la p ime a capa con olucional es espon- sable de cap u a ca ac e ís icas de bajo ni el como los bo des, el colo , la o ien ación del g adien e, e c. Con o me se añaden capas, la a qui ec u a se adap a a las ca ac e ís icas de al o ni el, p opo cionando a la ed una comp ensión o al de las imágenes del da ase . La capa Pooling se enca ga de educi el amaño espacial de las ca ac e ís icas con olu- cionadas. El obje i o es educi el cos e compu acional eque ido pa a p ocesa los da os educiendo la dimensionalidad de es os. Además, pe mi e ex ae las ca ac e ís icas do- minan es que son in a ian es en e a o aciones y cambios de posición, man eniendo la e ec i idad del modelo du an e el en enamien o. Se dis inguen dos ipos de capas pooling: Max Pooling y A e age Pooling. Max Pooling de uel e el máximo alo de la po ción de imagen analizada, mien as que po o o lado, A e age Pooling de uel e la media de odos los alo es de la po ción de imagen analizada. En gene al, Max Pooling o ece un mejo endimien o. La siguien e imagen ilus a la ope ación max pooling desc i a: 19 Figu a 4.5: Max pooling oma los alo es más g andes. Fuen e [13] La capa Con olucional y la capa Pooling, o man jun as la capa i-ésima de una CNN. Dependiendo de la complejidad de la imagen, el núme o de capas puede aumen a pa a cap u a incluso mas de alles a bajo ni el, pe o con un inc emen o del cos e compu acio- nal. Figu a 4.6: Capa Fully-Connec ed y Red Neu onal Feed-Fo wa d. Fuen e [12] T as la sucesi a aplicación de es as capas, el modelo es capaz de econoce las p incipales ca ac e ís icas. La salida de es e p oceso suele se la en ada de una capa Fully-Connec ed. Es a capa pe mi e ap ende las elaciones no-lineales en e las ca ac e ís icas cap u adas po las capas an e io es. 20 Finalmen e, la salida la capa Fully-Connec ed pe mi e alimen a a una ed neu onal Feed-Fo wa d. Es a ed neu onal, median e los sucesi os en enamien os ap ende á a dis ingui en e las ca ac e ís icas dominan es y las ca ac e ís icas a bajo ni el de las imágenes, pe mi iéndole clasi ica las imágenes en la ca ego ía co espondien e. Finalmen e menciona que aunque en es e abajo se ha que ido ealiza un b e e in o- ducción de las CNN, exis en nume osas a qui ec u as de CNN disponibles, cada una con sus ca ac e ís icas especi icas y sus en ajas pa a de e minados p oblemas. Algunas de las más conocidas son: LeNe [66] AlexNe [1] GoogLeNe [9] ResNe [30] 4.2.2. T ans e Lea ning T ans e Lea ning es una écnica que pe mi e abo da dos de los p incipales p oblemas del deep lea ning: Al a in e sión en iempo de een enamien o de edes neu onales debido a conjun os de da os con can idades de da os masi as. Eno me gas o de ecu sos compu acionales pa a el een enamien o de edes. Es e mé odo basado en la u ilización del conocimien o ap endido po un modelo as se en enado sob e un da ase con el in de educi el iempo de een enamien o [51]. La idea es een ena el modelo sob e un nue o da ase pa iendo del conocimien o adqui- ido po el modelo sob e el da ase an e io , con el obje i o de acele a el p oceso de een enamien o. A menudo, la ans e encia del ap endizaje se p oduce de un modelo mas complejo hacia un modelo mas sencillo. En nues o caso, las edes es án en enadas sob e el da ase gene alis a COCO [33]. Es e conjun o de da os es a en ocado en la de- ección y localización de 90 ipos de obje os, y usamos ans e lea ning, pa a acele a el een enamien o sob e los conjun os de da os de conducción au ónoma usados en es e p oyec o. En la siguien e imagen ilus amos como se p oduce es e p oceso de ans e encia de conocimien o desde un modelo mas complejo hacia un modelo mas sencillo: 21 Figu a 4.7: T ans e Lea ning. Fuen e [62] En el con ex o de las CNN, ans e lea ning se implemen a omando los pa áme os de la capa de cap ación de ca ac e ís icas pa a inicializa la capa de cap ación de ca ac e ís- icas sob e el nue o da ase . En conc e o, se suelen coge los pa áme os de las capas que se enca gan de cap a las ca ac e ís icas de bajo ni el como los bo des, ex u as, esquinas y o mas; pues es ás son ca ac e ís icas p esen es en odos los conjun os de da os. En el campo de la de ección de obje os, se equie e aun mas p ocesamien o po pa e de las capas as la ex acción de ca ac e ís icas, pues se sigue de un clasi icado , ya que la de ección de obje os debe p edeci no solo la clase del obje o, sino su localización ambién. Es o implica que el een enaminen o de es as edes sea muy cos oso en iempo y capacidad de cómpu o. G acias a es e mé odo, e i amos necesi a de semanas pa a een ena las edes. 5. A qui ec u as de De ección de Obje os Den o de las a qui ec u as deep lea ning se dis inguen dos líneas de in es igación a día de hoy, siendo la p ime a mas an igua que la segunda. La p ime a se conoce como a - qui ec u a de dos ases, gene ando p ime o egiones candida as de la localización del obje o en la imagen y pos e io men e clasi icando los obje os asignándole una ca ego ía, po ejemplo en es e caso: coche, ciclis a o pea ón. Es e ipo de de ec o es ambién se les conoce po de ec o es de obje os basados en egiones. Po o o lado, el segundo ipo de de ec o es se conocen po ene una a qui ec u a de una sola ase. Es os ealizan una abs acción mayo , pues en el p oblema de de ec- ción de obje os como un p oblema de eg esión(es imación de las cajas delimi ado as) 22 y clasi icación. De es a o ma, en una sola ase, son capaces de in e i la localización y clasi icación del obje o. 5.1. A qui ec u as de dos ases Las a qui ec u as de dos ases son ambién conocidas como las a qui ec u as basadas en egiones. El nacimien o de es as a qui ec u as se p odujo en 2012, cuando AlexNe [1] ganó el desa ío ILSVRC, ayendo consigo el dominio de las CNN al campo de la de ección de obje os. Un en oque po ue za b u a de de ección de obje os es usa una en aja deslizan e de izquie da a de echa, de a iba a abajo pa a iden i ica obje os usando clasi icación. Un ejemplo se ía la imagen in e io : Figu a 5.1: Ven ana deslizan e de izquie da a de echa sob e la imagen. Fuen e: [49] Como emos en la igu a supe io , si que emos de ec a di e en es obje os debemos usa en anas de amaños y o mas a iadas. En cada paso de deslizamien o de la en ana se eco an pa ches de la imagen según es as en anas. P e iamen e a alimen a la ed con olucional clasi icado a, el pa che es edimensionado a la en ada de la ed, que a menudo suele se ija. Es e ipo de ans o maciones no impac an la p ecisión de la ed, ya que es án en enados pa a maneja es as imágenes. Es a ed se enca ga de ex ae un núme o de e minado de ca ac e ís icas del pa che. Luego se aplica SVM(suppo ec o machine) sob e las ca ac e ís icas ex aídas pa a iden i ica a que clase pe enece el obje o encuad ado en el pa che. Además, usamos un mé odo de eg esión lineal sob e las ca ac e ís icas pa a es ima los lími es de la cajas delimi ado as. En la imagen in e io podemos e como se ía es a a qui ec u a: 23 Figu a 5.2: A qui ec u a basada en un en oque de ue za b u a. Fuen e: [49] Sin emba go el en oque po ue za b u a es demasiado cos oso en iempo de in e encia y en enamien o, así como in ensi o en ecu sos compu acionales. Una mejo a ob ia es educi el núme o de en ajas deslizan es. De es a o ma, se c ea un mé odo que se enca gue de p opone egiones de in e és oROIs a pa i de una imagen. Un ejemplo de es e mé odo es la búsqueda selec i a. Al comienzo cada píxel es un g upo en si mismo. Pos e io men e, se calcula la ex u a de cada g upo y se unen aquellos que sean mas simila es. Con el obje i o de e i a que los g upos g andes se coman a los pequeños, end án p io idad la unión de g upos pequeños en e a los g andes. Se con inua es e p oceso de unión has a que se cumpla alguna condición de con e gencia. En la imagen in e io , podemos e como es os g upos se an o mando en la p ime a ila, mien as que los ec ángulos azules de la segunda ila mues a odas las posibles egiones de in e és gene adas en cada paso de la búsqueda selec i a. 24 Figu a 5.3: Mé odo de p oposición de egiones: búsqueda selec i a. Fuen e: [31] En 2013 Ross Gi shick [50] p opone la p ime a a qui ec u a que hace uso de mé odos de p oposición de egiones de in e és, R-CNN. Es a a qui ec u a p opone ce ca de 2000 ROIs po imagen. Luego cada egión se u iliza como en ada de una ed neu onal con- olucional, de o ma que cada egión es p ocesada de mane a indi idual. Es e p oceso es seguido de capas o almen e conexas que pe mi en ealiza la clasi icación del obje o y la es imación de la caja delimi ado a. En la imagen in e io podemos e es a a qui ec u a: Figu a 5.4: A qui ec u a del de ec o R-CNN. Fuen e: [49] 25 5.2.2. YOLO Los sis emas de de ección ac uales eu ilizan clasi icado es pa a ealiza la de ección. Pa a de ec a un obje o, es os sis emas oman un clasi icado pa a ese obje o y lo e alúan a lo la go de la imagen en a ios luga es y escalas. Los sis emas como los modelos de pa es de o mables o de o mable pa s models (DPM) u ilizan un en oque de en ana co ediza en el que el clasi icado se ejecu a en luga es uni o memen e espaciados en oda la imagen. En oques más ecien es como el R-CNN u ilizan mé odos como p opues a de egiones pa a gene a p ime o las po enciales cajas delimi ado as en una imagen y luego ejecu- a un clasi icado en cada una de es as cajas p opues as. Después de la clasi icación, el pos -p ocesamien o se u iliza pa a e ina las cajas delimi ado as, elimina las de eccio- nes duplicadas, y ol e a clasi ica las cajas en base a o os obje os de la imagen. Es os sis emas son len os y di íciles de op imiza po que cada componen e indi idual debe se en enado po sepa ado. YOLO [46] eplan ea la de ección de obje os como un único p oblema de eg esión, di- ec amen e de los píxeles de la imagen a las coo denadas de la caja delimi ado a y las p obabilidades de clase. En es a nue a o ma de a on a la de ección p opues a po YOLO, una sola ed con olucional p edice simul áneamen e múl iples cajas delimi a- do as y p obabilidades de clase pa a esas cajas. Podemos e una ilus ación de es e uncionamien o en la igu a 5.13. YOLO se en ena en imágenes comple as y op imiza di ec amen e el endimien o de la de ección. Es e modelo uni icado iene a ios bene icios sob e los mé odos adicionales de de ección de obje os: YOLO es ex emadamen e ápido. Al en oca la de ección como un p oblema de eg esión, no se necesi an sis emas complejos. Simplemen e se ejecu a la ed neu- onal en una nue a imagen pa a p edeci las de ecciones. Además, YOLO alcanza más del doble de la p ecisión media de o os sis emas en iempo eal. YOLO abaja globalmen e sob e la imagen. A di e encia de las écnicas de en ana co ede a y p opues as de egiones, YOLO e oda la imagen du an e el iempo de en enamien o y p ueba, de mane a que implíci amen e codi ica la in o mación con ex ual sob e las clases, así como su apa iencia. YOLO ap ende ep esen aciones gene alizables de obje os. Cuando se en ena en imágenes na u ales, YOLO supe a los mé odos de de ección más a anzados como el DPM y R-CNN po un amplio ma gen. Dado que YOLO es al amen e gene alizable, es menos p obable que se descomponga cuando se aplica a nue os dominios o en adas inespe adas. A pesa de es as en ajas, YOLO oda ía se queda a ás de los sis emas de de ección de úl ima gene ación en la p ecisión. Aunque puede iden i ica ápidamen e los obje os en las imágenes, iene p oblemas pa a localiza con p ecisión algunos obje os, especialmen e los pequeños. 32 Figu a 5.12: Es uc u a de la es uc u a de ed con olucional de la p ime a e sión de YOLO, con 24 capas con olucionales seguidas po dos capas o almen e conec adas. Fuen e [46]. YOLO ha ido publicando a ias e siones, desde la e sion inicial cuya es uc u a pode- mos e en la igu a 5.12 has a la úl ima de ellas YOLO 4[8] publicada el 23 de Ab il de 2020, pasando po las e siones YOLO 3[48] y YOLO 3 iny[25], la cual se á de especial in e és debido a su meno amaño y po an o mayo apidez, una ca ac e ís ica un- damen al en la conducción au ónoma pa a in en a consegui p ocesamien o en iempo eal. Funcionamien o global de es uc u as YOLO La iloso ía de las es uc u as YOLO consis e en uni ica los di e en es componen es de la de ección de obje os en una sola ed. El uncionamien o global de la in e encia, que podemos e de mane a isual en la igu a 5.13, es el siguien e: 1. P ime amen e, la imagen es di idida en una cuad ícula de amaño SxS. Si el cen o de un obje o cae en una celda de la cuad ícula, esa celda es la esponsable de de ec a el obje o. 2. Cada celda de ec a Bcajas delimi ado as y ni el de con ianza pa a dichas cajas, que e lejan cómo de segu o es á el modelo de que esa caja con iene un obje o y cómo de segu o es á de que e ec i amen e la caja se co esponde al obje o que ha de ec ado, es deci , Con ianza =P(Obje o)∗IOU u h p ed . Si no hay obje o en esa celda, la con ianza debe ía de se 0, en o o caso debe ía se el IOU en e la caja de ec ada y la ead. 3. Cada una de las cajas delimi ado as es á compues a po 5 p edicciones: x, y, w, h y la con ianza. (x, y) ep esen a el cen o de la caja de ec ada y (w, h)la anchu a 33 Figu a 5.13: Ilus ación del uncionamien o global de YOLO, donde p ime o se di ide la imagen en cuad ículas más pequeñas, sob e és as se calculan di e en es cajas delimi ado as o bounding boxes y las p obabilidades de las dis in as clases, y inalmen e se ob ienen las de ecciones. Fuen e [46]. y al u a espec i amen e. 4. Además, cada celda de la cuad ícula ambién p edice Cp obabilidades condicio- nales P(Clasei|Obje o), una po cada clase, que ep esen an las p obabilidades de que en esa celda se encuen e el obje o de la clase i. Rema ca que se p edice un ec o de Cp obabilidades condicionales po cada celda, independien emen e del núme o de cajas de ec adas B. 5. En la in e encia, se mul iplican las p obabilidades condicionales de cada clase y la con ianza de cada caja de ec ada, ob eniendo así las p obabilidades especí icas de cada clase po cada caja de ec ada: P(Clasei|Obje o)∗P(Obje o)∗IOU u h p ed =P(Clasei)∗IOU u h p ed Es a medida nos indica la p obabilidad de que cada clase apa ezca en las cajas de ec adas y cómo de bien se ajus a dicha caja. YOLO 3 Vamos a menciona b e emen e las mejo as que implemen a YOLO 3 con espec o a la p ime a e sión, alguna de es as mejo as implemen adas en YOLO 2 y o as inalmen e en YOLO 3: 34 No malización de los lo es en las capas con olucionales. Clasi icado de al a esolución Úl ima capa con olucional con ancho boxes o cajas de anclaje, ambién llamadas cajas a p io i. En ez de p edeci di ec amen e las cajas, se p edicen los o se s con espec o a unas cajas de anclaje p e iamen e p ede inidas. Es o es muy ú il pues podemos de ini dichas cajas de anclaje pa a que se adecuen a la o ma de los obje os de nues o da ase . Clus e s dimensionales: Como hemos mencionado, en muchos p oblemas de de ec- ción los obje os ienen una o ma de e minada. Pa a calcula las Kcajas a p io i que mejo cub en es a gama de o mas en un da ase , se u iliza el algo i mo K- Means. P edicción di ec a de la localización P edicción de cajas delimi ado as Pa a la p edicción de las cajas delimi ado as u iliza la misma me odología que YOLO9000[47]. La ed p edice 4 coo denadas pa a cada caja delimi ado a x, y. w, h, de o ma que si la celda de la cuad ícula iene un o se con espec o a la esquina supe io izquie da de la imagen de (cx, xy)y la caja delimi ado a a p io i iene anchu a pw, ph, en onces las p edicciones inales son: bx=σ( x) + cx by=σ( y) + cy bw=pwe w bh=phe h Es deci , la ed p edice o se s con espec o a cajas a p io i o cajas de anclaje (ancho boxes). Podemos e una isualización de es as ecuaciones en la igu a 5.14 Es o es muy ú il pues en muchos p oblemas de de ección los obje os ienen una o ma de e minada. Po an o, podemos de ini dichas cajas de anclaje pa a que se adecuen a la o ma de los obje os de nues o da ase . Pa a calcula las Kcajas a p io i que mejo cub en es a gama de o mas en un da ase , se u iliza el algo i mo K-Means. Du an e el en enamien o se usa la suma de cuad ados como unción de pé dida, de o ma que el g adien e iene dado po ˆ ∗− ∗donde ˆ ∗es el o se p edicho po la ed y ∗es el o se eal. YOLO 3 p edice una pun uación de obje o pa a cada caja delimi ado a usando eg esión logís ica. Si el cuad o delimi ado a p io i no es la mejo , pe o se supe pone a un obje o po encima de un umb al (en es e caso 0.5), se igno a la p edicción. 35 Figu a 5.14: Cajas delimi ado as con dimensiones p e ias y p edicciones. Se p edice el ancho y la al u a de la caja como o se s desde el cen o de la caja. Fuen e [48]. P edicción de clases Cada casilla p edice las clases que puede con ene la caja delimi ado a u ilizando la clasi- icación mul i-e ique a, usando pa a ello clasi icado es logís icos independien es. Du an e el en enamien o se usa como unción de pé dida la en opía c uzada bina ia. P edicciones en di e en es escalas YOLO 3 ealiza p edicciones en 3 escalas di e en es. El sis ema ex ae ea u es o ca- ac e ís icas de cada una de es as 3 escalas u ilizando un concep o simila a las edes pi amidales de ca ac e ís icas o ea u e py amid ne wo ks[32]. En la es uc u a, después de las capas de ex acción de ca ac e ís icas se añaden di e en es capas con olucionales, la úl ima de ellas enca gada de p edeci un enso 3d codi icando las p edicciones de cajas delimi ado as, p obabilidad de con ene un obje o y p edicciones de clase. Así, el enso inal es de la o ma N×N×(Nboxes ∗(4+1+Nclasses)donde Nboxes es el núme o de cajas p edichas en cada escala, 4 se co esponde a los o se s de la caja delimi ado a, 1 a la p edicción del obje o o p obabilidad de con ene un obje o y Nclasses es el núme o de clases del da ase . A se coge el ea u e map o mapa de ca ac e ís icas de las dos capas an e io es y se aumen a en 2×. También se coge un mapa de ca ac e ís icas de las capas an e io es de la ed y se usiona con las ca ac e ís icas aumen adas usando conca enación. Es e mé odo nos pe mi e ob ene in o mación semán ica más signi ica i a. Se ealiza el mismo p oceso una ez más pa a p edeci cajas pa a la escala inal. Así, las p edicciones pa a la 3aescala se bene ician de odos los cálculos p e ios. 36 Figu a 5.15: Ex ac o de ca ac e ís icas Da kne -53. Fuen e[48]. Ex ac o de ca ac e ís icas Se u iliza un en oque híb ido en e el ex ac o de ca ac e ís icas u ilizado po YOLO 2 (Da kne -19) y capas esiduales. U iliza capas con olucionales sucesi as de 3×3y1×1, con algunas in e conexiones o a ajos. Tiene 53 capas con olucionales en o al y ecibe el nomb e de Da kne -53. Podemos e un esumen de su es uc u a en la igu a 5.15. En el caso de YOLO 3 iny la es uc u a se educe conside ablemen e a un o al de 15 capas con olucionales, lo que aumen a conside ablemen e su elocidad en la in e encia pe o sac i ica p ecisión, sob e odo en obje os muy pequeños. Compa ación con o as es uc u as Podemos e una compa ación en los esul ados inales con o as es uc u as popula es pa a la de ección de obje os en la igu a 5.16 37 Figu a 5.16: Compa ación dis in as es uc u as de edes neu onales con olucionales don- de podemos obse a el adeo o balance en e elocidad y p ecisión pa a .5 IOU, des acando YOLO 3 po su g an elocidad y man eniendo una buena p ecisión. Fuen e[48]. YOLO 4 Ha emos un b e e comen a io sob e la úl ima e sión de YOLO, YOLO 4 [8], que p e- sen a mejo as conside ables con espec o a su p edeceso , YOLO 3, an o en elocidad de in e encia como en p ecisión de en o no a un 10-12%, como podemos obse a en la igu a 5.16. Podemos además encon a una desc ipción muy de allada jun o a los pa áme os que u iliza la ed en es e enlace. Sin emba go, aunque es una p opues a muy in e esan e pa a la conducción au ónoma po su g an elocidad en cuan o a FPS y man eniendo una muy buena p ecisión con espec o a o os de ec o es de úl ima gene ación, no lo a a emos en es e abajo debido a que uno de los obje i os inales es la e aluación de es as es uc u as o edes en disposi i os de bajo consumo, u ilizando pa a ello el amewo k openVINO 9.2, el cual no iene implemen ado aún sopo e pa a es a es uc u a. 6. P esen ación de conjun os de da os u ilizados Los esul ados de las edes de más conocidas de de ección de obje os han sido decepcio- nan es sob e el da ase KITTI como se mues a en la sección 11.1. En ellos se obse a un cla o p oblema pa a la localización y de ección de los obje os en las imágenes p esen es en el da ase KITTI. El p oblema se e especialmen e acen uado en las clases pea ón y ciclis a. Uno de los p incipales desa íos que in en a emos sol en a en es e p oyec o 38 Figu a 5.17: Compa ación de la p opues a YOLO 4 y o os de ec o es de obje os de úl ima gene ación. YOLO 4 mejo a la p ecisión media (AP) y los FPS de YOLO 3 en un 10 % y un 12 %, espec i amen e. Fuen e[8]. es como mejo a la p ecisión de nues as edes en las clases pea ón y ciclis a sin pe de p ecisión a la ho a de localiza un clasi ica obje os de la clase coche. En e las soluciones p esen adas, en es a sección de alla emos como hemos aumen ado el núme o de obje os po clase, log ando así un mayo conjun o de en enamien o. La idea es que es e aumen o de obje os de las es clases pe mi a aumen a la capacidad de de ección y localización de las edes es udiadas. Pa iendo del da ase KITTI, donde ealizamos una sepa ación alea o ia en e los conjun os de en enamien o y es , eniendo así un 80% pa a en enamien o y un 20% pa a es . Los da ase s u ilizados pa a aumen a las imágenes de las clases coche, pea ón y ciclis a deben se simila es a las imágenes ecolec adas en el da ase KITTI. Como e emos en es a sección, es os conjun os han sido c eados basados en un en o no de conducción, es deci , g abadas desde un coche. Pos e io men e las imágenes son il adas de o ma que omemos aquellas imágenes g abadas du an e el día y en buenas condiciones clima oló- gicas. La azón de es e il o se debe a que el obje i o es mejo a la p ecisión sob e el conjun o de es del da ase KITTI, luego el conjun o de en enamien o debe se simila al conjun o de es . En pa icula , las imágenes del es cumplen es as condiciones. So- mos conscien es que en un p oblema eal de conducción au ónoma un ehículo debe ía se capaz de conduci de o ma au ónoma en cualquie si uación clima ológica ad e sa, sin emba go es e p oyec o se cen a en una simpli icación del p oblema eal. 39 6.1. KITTI El conjun o de da os KITTI [5] ue p esen ado en 2012. El da ase de de ección de obje os consis e en 7481 imágenes a colo de di e en es escenas, almacenadas como imágenes png. El amaño de las imágenes es ap oximadamen e 375×1275, ya que el amaño no es ijo y cambia lige amen e a lo la go del da ase . Las imágenes ue on omadas po una cáma a colocada sob e un coche mien as se conducía po zonas u ales y u banas en buenas condiciones clima ológicas y du an e el día. El ehículo que g abó las imágenes es el siguien e: Figu a 6.1: Coche que ealizó los ídeos en los que se basa el da ase KITTI. Fuen e [5] En cada imagen se e ique an odos los obje os que pe enezcan a alguna de la siguien e ca ego ías: Ca Van T uck Pedes ian Pe son(si ing) Cyclis T am Miscelanous En la igu a 6.2 emos el núme o de ins ancias po clase de obje o: 40 Figu a 6.2: Núme o de ins ancias po clase en el da ase KITTI.Fuen e [5] Es ácilmen e ap eciable el desbalanceo de clases p esen e en el conjun o de da os KITTI. En nues o caso, es ingimos el p oblema a las clases coche, pea ón y ciclis as. Su ge de o ma na u al la necesidad de aumen a el conjun o de imágenes de en enamien o con p esencia de pea ones y ciclis as, pues se obse a un cla o desequilib io en e el núme o de obje os po clase. Además de la e ique a de clase, ambién con ienen in o mación de las cajas delimi ado as en 2D, cuyas coo denadas son exp esadas en píxeles. Toda la in o mación de las e ique as es almacenada en un a chi o . x que se c ea pa a cada imagen. Un ejemplo de es e da ase podemos e lo en la siguien e imagen: Figu a 6.3: Ejemplo e ique ado del da ase KITTI. 41 donde TP ep esen a ue posi i e, FP ep esen a alse posi i e y FN ep esen a alse nega i e. 2. Recall: mide la capacidad del modelo de de ec a casos posi i os, en es e caso, obje os que pe enezcan a alguna de las clases del da ase . Una de inición mas ma emá ica se ía: Recall =T P T P +F N po an o ecall es un po cen aje de los casos posi i os co ec amen e ace ados. 8.2. IOU Además de los concep os de p ecision y ecall, necesi amos de ini IOU pa a pode ex- plica mAP. In e sec ion O e Union o IOU mide el á ea de in e sección en e dos cajas delimi ado as. Ma emá icamen e se ia el cocien e del á ea de in e sección y el á ea de la unión de las cajas: IOU =a ea de in e seccion a ea o al de la union Es a mé ica nos pe mi e es ablece cuando una p edicción ealizada po un obje o es buena o no. Habi ualmen e se es ablece un umb al a pa i del cual damos po buena una p edicción, en es e p oyec o hemos omado po buenas aquellas p edicciones que supe a an el 0,5de es e alo . La siguien e igu a mues a la in e sección en e una caja delimi ado a p edicha y la eal e ique ada en la imagen, conocida po g ound u h: 48 Figu a 8.1: In e sec ion O e Union. Fuen e [27] 8.3. AP y mAP Po o o lado in oducimos a e age p ecision o AP. Si ep esen amos en un g á ico o- mando como ejes y = p ecisión y eje x = ecall, AP es el á ea bajo la cu a, es deci , bajo el g á ico gene ado po ambas mé icas. Un ejemplo lo emos en la siguien e g á ica: Figu a 8.2: A ea bajo la cu a de la g á ica p ecición- ecall. Fuen e [27] 49 La de inición ma emá ica mas conocida es: AP =Z1 0 p( )d donde p( )es la cu a o mada po el g á ico p ecisión- ecall. Finalmen e de inimos mAP como la media de AP pa a un umb al de IOU dado. Un umb al clásico pa a IOU es [0.5, 0.05, 0.95], de es a o ma mAP se á la media de los alo es AP pa a cada alo de IOU, que a desde 0.5 a 0.95 con un paso de 0.05. 9. F amewo ks En es e capí ulo amos a p esen a b e emen e los amewo ks u ilizados an o pa a el en enamien o de los modelos como pa a ealiza la in e encia en dis in os disposi i os 9.1. Tenso low Tenso Flow es una pla a o ma o amewo k de código abie o de ex emo a ex emo pa a el ap endizaje au omá ico. Cuen a con un ecosis ema in eg al y lexible de he amien as, biblio ecas y ecu sos de la comunidad que les pe mi e a los in es igado es impulsa un ap endizaje au omá ico inno ado y, a los desa ollado es, compila e implemen a con acilidad aplicaciones con ecnología de ap endizaje au omá ico. Fue o iginalmen e desa- ollado po el equipo de Google B ain, eemplazando a su p edeceso de código ce ado, Dis Belie . Tenso low pone a nues a disposición una se ie de ecu sos que acili an la c eación, en enamien o y alidación de modelos pa a el ap endizaje au omá ico: Modelos y conjun os de da os: Modelos p e iamen e en enados y conjun os de da os que Google y la comunidad han desa ollado He amien as: Ecosis ema de he amien as pa a ayuda al usua io con Tenso Flow Biblio ecas y ex ensiones: Biblio ecas y ex ensiones c eadas en Tenso Flow P og ama de ce i icación de Tenso Flow Ap ende AA: Recu sos educa i os pa a ap ende los aspec os básicos del AA con Tenso Flow 9.1.1. Objec De ec ion API En nues o caso, u iliza emos en conc e o la API de de ección de obje os [60] pa a el en- enamien o de los siguien es modelos o edes neu onales con olucionales p opo cionadas 50 po Tenso low p e iamen e en enados sob e el conjun o gene alis a COCO[10]. Es os modelos los podemos encon a en el objec de ec ion model zoo [59] de enso low. SSD mobilene incep ion V2 COCO SSDLi e mobilene incep ion V2 COCO Fas e R-CNN incep ion V2 COCO Den o de es a API encon amos a ios elemen os que usa emos du an e los en enamien- os: model_main.py: Se a a del sc ip de py hon que se u iliza pa a el en enamien o de las edes con olucionales pa a la de ección de obje os. Implemen a además la e aluación del modelo sob e un conjun o de alidación cada cie o iempo pa a e la e olución del modelo y no solo de la unción de pé dida. En e sus pa áme os podemos encon a : •pipeline_con ig_pa h: Ru a al a chi o de con igu ación, que pasamos a ilus a b e emen e más abajo. •model_di : Ru a donde que emos que se gua de el modelo een enado jun o a los úl imos checkpoin s gene ados. •num_ ain_s eps: Núme o máximo de pasos a ealiza en el en enamien o. •sample_1_o _n_e al_examples: Tamaño ela i o del da ase de alidación omado pa a cada e aluación model zoo [59]: Ca pe a con los modelos p een enados o ecidos po el amewo k. Aquí podemos encon a los modelos an e io men e mencionados. samples: En es a ca pe a encon amos algunos ejemplos. Nos se á de especial u i- lidad la subca pe a con igs, donde podemos encon a plan illas de con igu ación pa a las dis in as edes. me ics: Ca pe a con dis in as mé icas a usa . En nues o caso u iliza emos las mé icas de COCO. da ase _ ools: Ca pe a donde podemos encon a dis in as he amien as. En nues o caso u iliza emos el sc ip c ea e_ki i_ _ eco d pa a gene a los a chi os enso low eco ds, que u iliza á el amewo k an o pa a el en enamien o como las alidaciones. Cabe des aca que, como hemos mencionado an e io men e, nues as imágenes deben se ans o madas p e iamen e a Tenso low eco ds pa a pode se p ocesadas po el amewo k. El o ma o TFReco d es un o ma o simple pa a almacena una secuencia de egis os bina ios, de mane a que sea más e icien e el almacenamien o y lec u a en ba ches o lo es de los mismos. 51 Pasamos a desc ibi aho a b e emen e la composición del a chi o de con igu ación a se usado en el een enamien o median e el sc ip model_main.py. Es e a chi o iene es uc u a de JSON y nos encon amos los siguien es campos: model: Nos pe mi e especi ica el modelo que amos a een ena jun o a los pa- áme os especí icos del modelo y o o más gene ales como el núme o de clases, la gene ación de ancho s, las unciones de pé dida y pos -p ocesamien o. ain_con ig: En es e campo podemos especi ica pa áme os como el núme o de imágenes po lo e, el op imizado a se u ilizado en el een enamien o (RMPS p op, ADAM, e c), el checkpoin del que pa i si que emos ealiza un ine uning y no un een enamien o desde 0, da a augmen a ion y dónde se encuen an nues as imágenes en o ma o eco d pa a el een enamien o. e al_con ig: Nos pe mi e especi ica las mé icas a u iliza (en nues o caso COCO), el núme o de imágenes a u iliza en la e aluación, núme o de imágenes a isualiza en cada e aluación, inclui mé icas po cada ca ego ía y dónde se encuen an nues as imágenes en o ma o eco d pa a las e aluaciones. 9.1.2. Tenso boa d Además, enso low pone a nues a disposición la he amien a Tenso boa d. Tenso Boa d p opo ciona la isualización y las he amien as necesa ias pa a expe imen a con el ap en- dizaje au omá ico, como po ejemplo: Segui y isualiza mé icas, como la pé dida y la exac i ud o accu acy. Visualiza el g a o del modelo (ope aciones y capas) Mos a imágenes Podemos e un ejemplo de su in e az g á ica en la igu a 9.1. 52 Figu a 9.1: In e az g á ica de Tenso boa d. Usa emos es a he amien a pa a supe isa el ap endizaje de nues as edes, ya que pod emos i iendo en cada i e ación las unciones de pé dida, el accu acy y algunas imágenes mos ando las de ecciones que ealiza nues a ed. 9.2. Open ino oolki OpenVINO [43] (Open Visual In e ence and Neu al ne wo k Op imiza ion) oolki es un ki de he amien as g a ui o que acili a la op imización de un modelo de Deep Lea - ning o Ap endizaje P o undo p oceden e de di e en es amewo ks y la implemen ación y ejecución median e un mo o de in e encia en el ha dwa e de In el. El ki de he amien- as iene dos e siones: OpenVINO oolki , que es apoyado po la comunidad de código abie o y la dis ibución de In el(R) de OpenVINO oolki , que es apoyado po In el. El p incipal componen e de es e ki de he amien as es el Deep Lea ning Deploymen Toolki (DLDT), que nos o ece dos uncionalidades p incipales: 1. Gene a a chi os IR (Rep esen ación In e media) haciendo uso del op imizado de modelos a pa i de un modelo en enado o uno público. 2. Ejecu a la in e encia haciendo uso del mo o de in e encia en los disposi i os ha dwa e especi icados 9.2.1. Ca ac e ís icas p incipales Pe mi e ealiza in e encia sob e modelos de ap endizaje p o undo basados en edes neu onales con olucionales 53 Admi e la ejecución he e ogénea a a és de una CPU In el R , G á icos In eg ados In el R , In el R FPGA, In el R Mo idiusTM Neu al Compu e S ick, In el R Neu al Compu e S ick 2 e In el R Vision Accele a o Design con VPU In el R Mo idiusTM. Acele a el iempo de come cialización a a és de una biblio eca ácil de usa con uncionalidades de isión po o denado y núcleos p eop imizados Incluye llamadas op imizadas pa a los es ánda es de isión a i icial, incluyendo OpenCV* y OpenCLTM 9.3. Da kne Da kne [45] es un amewo k o en o no pa a edes neu onales de código abie o esc i o en C y CUDA. Es ápido, ácil de ins ala y sopo a compu ación de CPU y GPU. En nues o caso u iliza emos la e sión de AlexeyAB, que podemos encon a en su eposi- o io de gi hub[16]. En e las uncionalidades que nos o ece es e en o no, des acan las edes neu onales YO- LO (You Only Look Once, sólo mi as una ez) que se ca ac e izan po aplica una sola ed neu onal a oda la imagen, la cual di ide la imagen en egiones más pequeñas, luego p edice las cajas delimi ado as y asigna p obabilidades pa a cada una de es as egiones. És e hecho hace que la in e encia en es e ipo de es uc u as sea más ápida que en o o ipo de es uc u as de edes con encionales. P opo ciona dis in as uncionalidades, en e las que encon amos: da kne .exe de ec o : Es el sc ip p incipal e implemen a las siguien es uncio- nalidades en unción del segundo pa áme o que in oduzcamos: • ain: En enamien o • alid: Validación •demo: Nos pe mi e ejecu a la ed sob e un a chi o de ideo o en iempo eal u ilizando una cáma a. c g: Ca pe a con plan illas de con igu aciones sob e dis in as edes. sc ip s: Ca pe a con di e en es sc ip s que nos se an de u ilidad, como po ejem- plo gen_ancho s.py, el cual u iliza K-Means pa a calcula de o ma óp ima las dimensiones de los ancho s que u iliza an las dis in as capas de la ed. 9.4. Módulos El ki de he amien as se encuen a encapsulado di e en es módulos o componen es. Los p incipales y de los que ha emos uso se án los siguien es: 54 Deep Lea ning Deploymen Toolki : Es el componen e p incipal. Se subdi ide en: •Op imizado de modelos: Pe mi e impo a modelos y p epa a los pa a una ejecución óp ima median e el mo o de in e encia. El Op imizado de Modelos impo a, con ie e (a IR) y op imiza modelos de amewo ks como Ca e, Tenso Flow, MXNe , Kaldi y ONNX. •Mo o de in e encia: Una API uni icada pa a pe mi i la in e encia de al o endimien o en dis in os ipos de ha dwa e. •Samples: Un conjun o de aplicaciones sencillas de consola que demues an cómo u iliza el mo o de in e encia. •Tools: He amien as adicionales Open Model Zoo: Nos o ece un conjun o de demos pa a u iliza el mo o de in e encia, he amien as adicionales pa a desca ga modelos y medi la p ecisión de los mismos y un conjun o de modelos p een enados jun o a documen ación sob e los mismos. Pos -T aining Op imiza ion ool: He amien a que pe mi e calib a modelos y ealiza in e encia usando en e os de 8 bi s. Deep Lea ning Wo kbench: En o no g á ico basado en la web que pe mi e u ili- za ácilmen e a ios componen es so is icados del ki de he amien as OpenVINOTM. Podemos e un ejemplo de la in e az g á ica en la igu a 9.2. Figu a 9.2: In e az g á ica de la he amien a Deep Lea ning Wo kbench. 10. Expe imen os ealizados Habla de la mejo a de la p ecisión y educción del e o g acias a dis in as écnicas como da a augmen a ion, de ini nue os ancho s, ha d nega i e mining e c 55 En algun lado hay que p esen a las medidas de p ecision es udiadas, IOU,MAP, e c 10.1. Ancho Boxes En la e apa de p edicción de múl iples obje os en una imagen, las edes neu onales como SSD o YOLO, ealizan miles de p edicciones y solo mues an aquellas que deciden que son un obje o. El es ado del a e de los sis emas de de ección de obje os unciona de la siguien e mane a: 1. C ea miles de cajas po de ec o oancho boxes pa a cada p edic o de o ma que ep esen e la o ma, amaño y localización del obje o que se especializa. 2. Pa a cada ancho box, calcula que obje o de la imagen iene la caja delimi ado a con mayo IOU. 3. Si el IOU máximo es mayo del 50 %, en onces el ancho box que p edice el obje o de la imagen que ob u o mayo IOU. 4. En caso con a io, el ancho box decidi á que no hay obje o. Es e mé odo unciona bien en la p ác ica, pe o como emos las cajas po de ec o son o almen e i ales pa a que nues o de ec o de obje os enga una buena capacidad de p edicción. Po ejemplo si obse á amos los ancho s boxes gene ados po nues a ed se ía algo así: 56 Figu a 10.1: Ancho Boxes gene ados po un de ec o de obje os. Fuen e [4] Y en es a imagen solo es amos mos ando un bajísmo po cen aje de los ancho boxes exis en es. Usa los ancho boxes po de ec o puede c ea p edic o es que es án demasiado especializados y los obje os de la imagen se án incapaces de log a un IOU mayo de 50% con alguna de las cajas po de ec o gene adas. De o ma que, la ed neu onal no sab á que esos obje os exis en y nunca ap ende á de ellos. Po ello debemos de adap a las cajas po de ec o pa a ene una o ma y amaño ideal pa a nues os obje os, log ando cajas po de ec o mucho mas ajus adas. Un ejemplo de esas modi icaciones se ía: 57 conjun o KITTI. Como se ha comen ado an e io men e, es e hecho se debe a las di e en- cias exis en es en e los conjun os de da os de en enamien o. Finalmen e compa amos los esul ados ob enidos sob e la clase pea ón: Figu a 11.5: Compa ación del mAP sob e la clase pea ón log ado po la ed SSD Incep- ion en enada sob e KITTI y el da ase comple o. En la igu a 11.5, se mues a una disminución sus ancial de la capacidad de de ección de pea ones de la ed, siendo una disminución ce cana al 80 % en la capacidad de de ec- ción de pea ones. La a ianza de los esul ados ob enidos sob e el da ase comple o ha disminuido lige amen e, pe o un modelo mas es able no compensa la poca capacidad de in e encia de pea ones. Las azones del endimien o de la ed se han de allado an e io men e, señalando espe- cialmen e al edimensionamien o de es a ed, a las di e encias de amaño de imagen de los da ase s y la di e encia en la localización de los obje os en la imagen como g andes p oblemas que in luyen eno memen e en la capacidad de de ección de la ed. 11.2. Resul ados de la ed Fas e R-CNN En es a subsección amos a expone los esul ados de pa ida log ados po la ed Fas e R-CNN sob e los conjun os de da os KITTI y el conjun o de da os comple o, o mado po KITTI, Tshingua-Daimle y Be keley Deepd i e Da ase . Además se ealiza á una compa ación del endimien o po clase log ado po la ed en ase de een enamien o. 11.2.1. Resul ados Fas e R-CNN sob e KITTI Los esul ados de la ed sob e el conjun o de da os KITTI son los siguien es: 64 Figu a 11.6: mAP de las clases coche, ciclis a y pea ón En la igu a 11.6, se obse a como es a ed iene una mayo capacidad de de ección que SSD a simple is a. Es a ed po o o lado es mucho mas len a, algo que p oba emos mas adelan e, siendo in iable pa a la in e encia en iempo eal sob e un ehículo. La p ecisión log ada en la clase coche es supe io al 0,6, mien as que la de ección de ciclis as p ác icamen e llega al 0,5 as 1000000 de épocas. Pea ón es la clase que mas cues a localiza y clasi ica a es a ed, con una p ecisión supe io al 0,3. Finalmen e, obse amos que es e modelo es mucho mas es able en sus de ecciones que SSD al ene una meno a iabilidad en sus in e encias y iene una capacidad de p edicción en ase de en enamien o mucho mayo a la de SSD, log ando una p ecisión ap oximada del 60 % en coches, del 50 % en ciclis as y del 30 % en pea ones. 11.2.2. Resul ados Fas e R-CNN sob e el da ase comple o Los esul ados de la ed sob e el conjun o de da os comple o son los siguien es: 65 Figu a 11.7: mAP de las clases coche, ciclis a y pea ón En la igu a 11.7 se obse an unos esul ados peo es a los p esen ados sob e KITTI. Se educe la capacidad de p edicción en odas las clases y se obse a una lige o aumen o en la a ianza de la capacidad de de ección de obje os. Es e compo amien o se debe a las di e encias en la localización de los obje os y el amaño de las imágenes comen- adas an e io men e en e lo conjun os de da os KITTI, Be keley Deepd i e Da ase y Tshingua-Daimle . 11.2.3. Compa ación de esul ados En es a sección compa a emos clase a clase los esul ados ob enidos po es a ed has a el momen o. Comenza emos compa ando la clase coche: Figu a 11.8: Compa ación del mAP sob e la clase coche conseguido po la ed Fas e R-CNN en enada sob e KITTI y el da ase comple o. 66 El núme o de épocas en enadas es de 1000000, dónde emos que al comienzo la p ecisión es mayo sob e KITTI, pe o al inal e mina siendo lige amen e supe io sob e el conjun o de da os comple o. En pa icula , se ha conseguido el obje i o de man ene o supe a la p ecisión de la ed sob e KITTI en es a clase. Aho a emos los esul ados sob e la clase ciclis a: Figu a 11.9: Compa ación del mAP sob e la clase ciclis a conseguido po la ed Fas e R-CNN en enada sob e KITTI y el da ase comple o. En es a clase emos que se ha p oducido una descenso conside able en la p ecisión, siendo es a di e encia mayo al comienzo del een enamien o y meno con o me es e a anza. El obje i o de mejo a la p ecisión sob e es a clase no se ha log ado. Una de las posibles azones es que es a ed ealiza un edimensionamien o meno de las imágenes, a un amaño 600 ×1024, eniendo como consecuencia una educción del amaño de los ciclis as. Además, los ancho boxes po de ec o de la ed no han sido uneados, luego puede que no es én ajus ados una o ma adecuada pa a la clase ciclis a. O o posible p oblema es que si los ciclis as se encuen an al inal de la imagen, y son pequeños, pueden no se p opues os como egiones de in e és, eniendo como consecuencia que la ed no ap enda las ca ac e ís icas necesa ias pa a la de ección p ecisa de ciclis as. Finalmen e emos los esul ados sob e la clase pea ón: 67 Figu a 11.10: Compa ación del mAP sob e la clase pea ón conseguido po la ed Fas e R-CNN en enada sob e KITTI y el da ase comple o. Al comienzo del een enamien o se obse a una g an di e encia en e la p ecisión en la de ección de la clase pea ón sob e ambos da ase s, sin emba go, al inal podemos e como esa di e encia se ha educido comple amen e. El obje i o de mejo a la capacidad p edic i a sob e la clase pea ón no se ha log ado, eniendo el mismo p oblema que la clase ciclis a. Las azones son simila es a las expues as en la clase ciclis a, es deci , se a a de obje os di íciles de de ec a debido a la posible ausencia de ancho boxes adecuados o bien que su amaño en la imagen no es signi ica i o a se señalado como egión de in e és, luego la ed no ap ende de los casos en el ondo de la imagen. 11.3. Resul ados de la ed SSD Mobile Li e En es a subsección amos a expone los esul ados de pa ida log ados po la ed SSD Mobile Li e sob e los conjun os de da os KITTI y el conjun o de da os comple o, o mado po KITTI, Tshingua-Daimle y Be keley Deepd i e Da ase . Además se ealiza á una compa ación del endimien o po clase log ado po la ed en ase de een enamien o. 11.3.1. Resul ados SSD Mobile Li e sob e KITTI Los esul ados de la ed sob e KITTI son los siguien es: 68 Figu a 11.11: mAP de las clases coche, ciclis a y pea ón Obse amos los esul ados sob e el een enamien o de 200000 épocas ealizado. A p ime- a is a, emos unos esul ados in e io es a los log ados con la ed Fas e R-CNN, aunque es os an en la línea de los log ados son SSD Incep ion, e incluso son mejo es que los de es a ed. En la clase coche iene una p ecisión del 0,4, mien as que en la clase ciclis a es de 0,15. La clase pea ón es la que mas p oblemas iene pa a localiza y clasi ica , con un mAp ce cano al 0,1. En esumen, es capaz de de ec a ap oximadamen e el 40% de los coches, el 15 % de ciclis as y el 10 % de pea ones. O a ca ac e ís ica de es a ed, es que mues a una mayo es abilidad, al mos a esul ados menos olá iles en las dis in as e aluaciones ealizadas du an e el en enamien o. 11.3.2. Resul ados SSD Mobile Li e sob e el da ase comple o Los esul ados de la ed sob e el conjun o de da os comple o son los siguien es: 69 Figu a 11.12: mAP de las clases coche, ciclis a y pea ón A p io i los esul ados son peo es que los conseguidos en KITTI, algo que e emos mas de alladamen e en la siguien e sección. Al menos se man iene la es abilidad de las p e- dicciones, aunque la p ecisión ha bajado en odas las clases de ec adas. En la clase coche mues a una p ecisión po debajo de 0,4 as 120000 épocas, mien as que po o o lado las clases pea ón y ciclis a ienen un mAp po debajo del 0,1. En la siguien e sección e emos cla amen e que el da ase comple o disminuye la p ecisión de la ed, compo a- mien o simila al is o en las edes SSD Incep ion y Fas e R-CNN. 11.3.3. Compa ación de esul ados En es a sección compa a emos clase a clase los esul ados ob enidos po es a ed has a el momen o. Comenza emos compa ando la clase coche: 70 Figu a 11.13: Compa ación del mAP sob e la clase coche conseguido po la ed SSD Mobile Li e en enada sob e KITTI y el da ase comple o. La igu a 11.13 mues a la meno capacidad de p ecisión sob e la clase coche en el da ase comple o una ez se compa a con el KITTI. Es a di e encia no es supe io a dos pun os po décima. Po o o lado emos los esul ados en la clase ciclis a: Figu a 11.14: Compa ación del mAP sob e la clase ciclis a conseguido po la ed SSD Mobile Li e en enada sob e KITTI y el da ase comple o. La igu a 11.14 ep esen a la di e encia exis en e en e la capacidad de p edicción de ciclis as po la ed una ez een enada sob e dis in os conjun os, siendo mucho meno en el caso del conjun o de da os comple o. Finalmen e emos los esul ados sob e la clase pea ón: 71 Figu a 11.15: Compa ación del mAP sob e la clase pea ón conseguido po la ed SSD Mobile Li e en enada sob e KITTI y el da ase comple o. Los esul ados ilus ados en la igu a 11.15 an en la línea de lo comen ado p e iamen e, es deci , que la capacidad de p ecisión de la ed ha disminuido al aumen a el conjun o de en enamien o con mas imágenes. Además de ob se a un endimien o bajo en odas las clases, especialmen e acen uado en las clases pea ón y ciclis a. Es e compo amien o se debe p incipalmen e a a ias azones: La a qui ec u a de la ed, de o ma que el edimensionamien o que ealiza penaliza especialmen e a los obje os pequeños, como pueden se los ciclis a y pea ones en una imagen. Las di e encias de amaño de imagen de los conjun os KITTI, Be keley Deepd i e Da ase y Tshingua-Daimle . En el apa ado de conclusiones amplia emos las causas y mo i os de es e compo amien o. 11.4. Resul ados de la ed YOLO 3 En es a subsección amos a expone los esul ados de pa ida log ados po la ed YOLO 3 sob e los conjun os de da os KITTI y el conjun o de da os comple o, o mado po KITTI, Tshingua-Daimle y Be keley Deepd i e Da ase . Además se ealiza á una compa ación del endimien o po clase log ado po la ed. 72 11.4.1. Resul ados YOLO 3 sob e KITTI Figu a 11.16: MAP du an e el een enamien o de la ed YOLO 3 sob e KITTI. Como podemos e , el ap endizaje inicial es g ande g acias a ac o es como que el ex ac- o de ca ac e ís icas es á p e iamen e en enado. El mAP sob e el conjun o de alidación sigue aumen ando y iende a es abiliza se sob e odo en la clase coche en o no a las 20000 i e aciones, que con un amaño de 64 imágenes po lo e, equi ale a 1280000 imágenes p ocesadas. 11.4.2. Resul ados YOLO 3 sob e el da ase comple o Figu a 11.17: MAP du an e el een enamien o de la ed YOLO 3 sob e el da ase com- ple o. 73 como al en ena sob e el da ase comple o, se pie de p ecisión, al se las imágenes de los da ase s an dis in as y se meno el en enamien o o al. 13. Compa ación 13.1. MAP En la siguien e igu a podemos obse a una compa ación del mAP ob enido en la in e- encia inal sob e la pa ición es de KITTI de las dis in as edes, een enadas sob e KITTI en azul y sob e el da ase inal en na anja: Figu a 13.1: Compa ación del mAP ob enido po las dis in as edes. Podemos obse a cómo en odas las edes se pie de p ecisión al een ena sob e el da ase comple o o aumen ado. Es o no necesa iamen e indica que el modelo sea peo , simplemen e puede debe se a a ios ac o es como: La e aluación únicamen e sob e un subconjun o del da ase KITTI. La a iedad en los amaños y o mas de las cajas delimi ado as en e los dis in os da ase s, al a a se el da ase KITTI de imágenes pano ámicas. La exis encia de cajas delimi ado as con un á ea muy pequeña en el da ase aumen- ado que, al abaja con edes que edimensionan y disminuyen mucho el amaño de la imagen, puede no solo no apo a nada al en enamien o si no di icul a lo. Al aumen a el amaño del da ase , se necesi e más iempo de en enamien o. 80 13.2. Velocidad de in e encia En es e apa ado amos a compa a las dis in as edes en cuan o a elocidad de in e encia se e ie e. Pa a ello, usa emos la mé ica FPS oF ames Po Segundo, que nos indica el núme o de imágenes po segundo que es capaz de p ocesa dicha ed. Des aca que uno de los obje i os es supe a el umb al de p ocesamien o en iempo eal de 20FPS. Figu a 13.2: FPS alcanzado po las edes SSD, SDDLi e y Fas e -R-CNN ejecu adas sob e di e en es disposi i os ha dwa e. Podemos e como en e los dis in os disposi i os, My iad es el más len o y la CPU el más ápido. También podemos obse a una di e encia in e esan e en cuan o a la GPU con un modelo cuan izado con una p ecisión FP32, es deci , que abajo con a iables lo an es de 32 bi s con espec o al mismo modelo cuan izado con FP16, mejo ando no ablemen e la elocidad de la in e encia y sac i icando muy poca p ecisión en los esul ados inales. És o es un concep o impo an e a ene en cuen a bajo el con ex o de la conducción, donde la pé dida de un poco de p ecisión puede supone alcanza una elocidad de p ocesamien o acep able. Po úl imo, emos como edes con más p ecisión como Fas e -R- CNN se quedan muy lejos del umb al de p ocesamien o en iempo eal de 20FPS, mien as que edes más lige as como SSD o SSDLi e lo supe an en casi odos los disposi i os. 81 Figu a 13.3: FPS alcanzado po ambas edes YOLO ejecu adas sob e una GPU de al o endimien o. Podemos e la g an di e encia en e ambas e siones de YOLO 3, siendo la e sión YOLO 3 Tiny casi 5 eces más ápida a cambio de sac i ica algo de p ecisión, como hemos is o en los esul ados. De nue o ecalca que la in e encia de es as dos edes se ha ealizado en una GPU de al o endimien o, así que los FPS no debe ían compa a se con el es o de edes. 13.3. In e cambio elocidad-consumo Debido a que una de las a iables c í icas a conside a en la conducción au ónoma es la au onomía del ehículo, amos a compa a los FPS ob enidos po cada ed eniendo en cuen a el consumo de los di e en es disposi i os ha dwa e, pa a ob ene así un a io de es a elocidad-consumo. 82 Figu a 13.4: Compa ación de los FPS po a io de las dis in as edes a endiendo a los consumos medios de los dis in os disposi i os ha dwa e. Vemos, como e a de espe a , cómo el disposi i o My iad des aca po su g an endimien o. Es e disposi i o es á diseñado pa a la ejecución de edes neu onales de mane a e icien e o eciendo un consumo muy bajo, de an solo 1W, y podemos ap ecia como cumple su come ido en la g á ica an e io . Es e ipo de disposi i os es muy in e esan e pa a el pun o de is a de la conducción, pudiendo se la in e encia en pa alelo una buena opción pa a log a una elocidad de in e encia acep able man eniendo un consumo bajo. Vamos a compa a es e a io de FPS/W ob enido po las 5 edes in en ando que la compa ación sea lo más álida posible. Pa a ello amos a los esul ados ob enidos po las edes SSD, SSD Li e y Fas e R-CNN al ejecu a la in e encia sob e la GPU in eg ada de bajo consumo y po las edes YOLO 3 y YOLO 3 Tiny sob e la GPU de al o endimien o. Recalca que no son el mismo disposi i o, pe o en ambos casos se a a de una GPU po lo que la es uc u a y p ocesamien o son simila es. 83 Figu a 13.5: Compa ación del a io elocidad/po encia (FPS/W) al ealiza in e encia con las dis in as edes, en el caso de SSD, SSDLi e y Fas e R-CNN sob e una GPU in eg ada de bajo consumo(15W) y en el caso de YOLO 3 y YOLO 3 Tiny sob e una GPU de al o endimien o (165W). Es a g á ica nos mues a cómo la es uc u a de ed neu onal YOLO 3 Tiny sigue siendo la que o ece mejo a io elocidad-consumo y, como hemos is o an e io men e, siendo ambién una de las que mejo es esul ados en cuan o a p ecisión se e ie e. 14. Conclusiones Es e p oyec o enía p incipalmen e dos obje i os que se desc i os al comienzo de la me- mo ia: Reen enamien o de una ed gene alis a pa a ap ende a iden i ica ehículos, pea- ones y ciclis as. Es udio del endimien o de la in e encia ealizada po la ed een enada en é mi- nos de p ecisión, elocidad de in e encia y consumo sob e un conjun o de disposi- i os ha dwa e. Pa a esponde a la p ime a p egun a nos cen amos en el es udio de las dis in as solucio- nes so wa e que nos pe mi en p ocesa las imágenes en iempo eal, usando de es a o ma amewo ks conocidos en el campo de la de ección de obje os como Da kne , Open ino y Tenso low. Es os amewo ks nos han pe mi ido een ena edes neu onales de p o- pósi o gene alis a pa a ap ende a iden i ica ehículos, pea ones y ciclis as. En conc e o se han abajado con las siguien es edes: 1. SSD Incep ion V2 2. SSD Mobile Li e 84 3. Fas e R-CNN 4. YOLO 3 5. YOLO 3 Tiny El een enamien o se ha ealizado sob e el conjun o de da os KITTI y o o conjun o de da os que consis e en la ampliación del conjun o de da os KITTI con algunas imágenes de los conjun os Tshingua-Daimle y Be keley Deepd i e Da ase . En la sección 11 se han analizado los esul ados ob enidos du an e los een enamien os de las dis in as edes. A pa i de ellos deducimos que al amplia el conjun o de da os inicial con una mayo a iedad de cajas delimi ado as di icul a el ap endizaje de la ed, lo cual podemos e e lejado en una unción de pé dida más ines able y que dec ece más len amen e. En cuan o a los esul ados inales ealizados sob e el conjun o de alidación, deducimos que no se consigue un mejo endimien o aumen ando el conjun o de en enamien o, ya que odas las edes han is o educido no ablemen e su p ecisión. En pa icula , si se quie e aumen a el conjun o de en enamien o, es e aumen o debe se con imágenes muy simila es a las del conjun o de es . En es e caso, los conjun os de da os omados son imágenes omadas desde un ehículo, odas de día y en condiciones a o ables. Sin emba go, hay dispa idades impo an es en- e los conjun os de da os. KITTI es un conjun o de imágenes pano ámicas, po an o el ancho es 4 eces el al o de la imagen. Es a di e encia es c ucial a la ho a de edimensiona imágenes como se hace en las edes SSD Incep ion V2 y SSD Mobile Li e en las que se edimensiona a unas dimensiones ijas de 300x300, con la consecuencia de que los obje os con poca anchu a inicial pueden llega a se impe cep ibles. Po o o lado, Be keley Deepd i e Da ase cuen a con obje os con una supe icie más educida que en el KITTI. Es o se debe a que las imágenes de es e conjun o e ique an odos los obje os isibles en la imagen, incluso algunos an en el ondo de la imagen que su supe icie es meno a 20 píxeles. Po an o, en las edes donde se p oduce un edimensionamien o, se educen las dimensiones de las imágenes, p o ocando que es os obje os pasan a ene una supe icie mínima. De es a mane a es muy complicado que los de ec o es de obje os puedan iden i ica los en la imagen. Además el amaño de los ancho s no ha sido modi icado pa a adap a lo a las peculia idades del conjun o de da os, siendo una di icul ad más añadida. En cuan o al segundo obje i o, en la secciones 12 y 13 se han compa ado la p ecisión, consumo y elocidad de in e encia de las edes sob e ambos conjun os de da os y sob e es disposi i os en el caso de las edes SSD Incep ion V2, SSD Mobile Li e y Fas e R-CNN: CPU 85 GPU in eg ada de bajo consumo My iad y en el caso de las edes YOLO 3 y YOLO 3 Tiny sob e una GPU de al o endimien o. Los esul ados de e minan que las mejo es edes pa a log a el obje i o de la conducción au ónoma eniendo en cuen a la p ecisión son YOLO 3 y YOLO 3 Tiny. Ambas edes o ecen una p ecisión po clase no ablemen e supe io al es o de edes es udiadas. O o aspec o i al en el con ex o de la conducción au ónoma es la elocidad de in e encia, en ese caso YOLO 3 Tiny es has a cinco eces mas ápida que YOLO 3. No se han podido ejecu a és as edes en los mismos disposi i os que el es o. Sin emba go, como podemos ap ecia en la g á ica compa a i a 13.5, e aluando el in e cambio elocidad de p ocesamien o-consumo medido sob e dos a qui ec u as simila es, en es e caso ambas GPUs, podemos e cómo igualmen e siguen siendo más p ome edo as que el es o de edes. Además de la elocidad de in e encia, la au onomía del ehículo es c ucial en la con- ducción au ónoma y, po an o, el consumo de los dis in os disposi i os e aluados. En la sección 13.3 se ha analizado el consumo de los disposi i os y los modelos ejecu ados bajo los mismos. Pa a pode e alua conjun amen e el endimien o de un modelo y la e iciencia del disposi i o ha dwa e sob e el que se ha ejecu ado, se ha de inido la mé i- ca FPS/W que elaciona elocidad de in e encia con consumo. El esul ado es que los modelos que ienen una a qui ec u a de una ase, es deci , las edes SSD y YOLO, son mas e icien es en é minos de elocidad/consumo. Es a conclusión es na u al eniendo en cuen a la baja elocidad de in e encia de Fas e R-CNN en compa ación con el es o. Cen ándonos en los disposi i os ha dwa e, hay uno que esal a po encima del es o, y és e es My iad. És e disposi i o diseñado pa a ealiza in e encia de edes neu onales de mane a óp ima o ece un consumo mínimo, en conc e o de 1W, y po an o es el disposi- i o mas e icien e en é minos de elocidad/consumo. Es no able cómo a pesa de su bajo consumo, llega a ealiza in e encia en iempo eal las edes SSD Incep ion V2 y SSD Mobile Li e. La GPU in eg ada con p ecisión FP16 o ece unas elocidades de in e encia acep ables bajo un consumo de 15W, siendo po an o la GPU de al o endimien o y la CPU los disposi i os menos e icien es, po su consumo ele ado, especialmen e en el p ime caso; y po no es a especializada en es as a eas en el caso de la CPU. Como conclusión inal, después del es udio y compa aciones ealizadas, la a qui ec u a o modelo de de ección de obje os de en e odas las analizadas en el es ado del a e es, sin duda, YOLO 3 Tiny, o eciendo una elocidad de in e encia muy no able y supe ando en p ecisión al es o, llegando a alcanza sin p oblemas el p ocesamien o en iempo eal. 86 14.1. Fu u os pasos Es e p oyec o es á basado en un campo de in es igación que es á en pleno lo ecimien o. Debido a es o, hay muchas posibles ideas a p oba con el obje i o de con inua es a in- es igación. Una opción es abaja con conjun os de da os mas mode nos que con engan imágenes en 3D, además de in o mación de senso es como LIDAR en e o os. Es a in o mación puede mejo a eno memen e la p ecisión log ada con imágenes en 2D, aunque p obablemen e enga una elocidad de in e encia meno . Es udia como equilib a cuan a in o mación inco po a al modelo de o ma que no sea pe judicial en é minos de elocidad de in e- encia y consumo es una posible línea de in es igación. O a opción es abaja con edes mas mode nas, como puede se YOLOV4 [8] publicada en es e año. Es as edes son el es ado del a e en es e campo, y po an o conoce a ondo su uncionamien o e in es iga como pode inco po a las o c ea e siones educidas es o a posible línea de in es igación. Finalmen e, o a posible línea de in es igación se ía la de usa un mayo núme o de disposi i os My iad pa a ealiza in e encia en pa alelo, con la inalidad de mejo a la elocidad de in e encia con espec o a un solo My iad al meno cos e posible, es deci , con o o My iad. 87 CLOSURE This p ojec had wo main objec i es which we e se a he beginning o he epo . The aim was o answe he ollowing wo ques ions: Fine- uning o a gene alis ne wo k in o de o lea n how o iden i y ehicles, pe- des ians and cyclis s. Pe omance analysis o he in e ence in e ms o p ecision, in e ence speed and powe consump ion o he ine- uned ne wo k o e a se o ha dwa e de ices. To add ess he i s ques ion we ocused on he s udy o di e en so wa e solu ions ha allowed us o p ocess he images in eal ime, using well known amewo ks in he ield o objec de ec ion as Da kne , Open ino and Tenso low. These amewo ks ha e allowed us o ine- une gene alis neu al ne wo ks o lea n how o iden i y ehicles, pedes ians and cyclis s. In pa icula , we ha e wo ked wi h he ollowing ne wo ks: 1. SSD Incep ion V2 2. SSD Mobile Li e 3. Fas e R-CNN 4. YOLO 3 5. YOLO 3 Tiny The ine- uning has been done on he KITTI da ase and ano he da ase consis ing o he ex ension o he KITTI da ase wi h some images om he Tshingua-Daimle and Be keley Deepd i e Da ase se s. In sec ion 11 we ha e analysed he esul s ob ained du ing he ine- uning o he di e en ne wo ks, om which we deduce ha ex ending he ini ial da ase wi h a highe a ie y o bounding boxes makes i di icul o lea n he ne wo k, which can be seen in a mo e uns able and slowly dec easing loss unc ion. As o he inal esul s o e he alida ion se , we deduce ha a be e pe o mance is no achie ed by inc easing he aining se , since all he ne wo ks ha e seen hei accu acy educed signi ican ly. In pa icula , i he aining se is o be inc eased, his inc ease mus be wi h images e y simila o hose o he es se . In his case, he da ase s consis o images aken om a ehicle, all du ing he day and unde a ou able condi ions. Howe e , he e a e signi ican dispa i ies be ween he da a se s. KITTI is a se o pano amic images, he e o e he wid h is 4 imes he heigh o he image. This di e ence is c ucial when esizing images as is done in he SSD Incep ion V2 and SSD Mobile Li e ne wo ks whe e he image is esized o a ixed dimension o 300x300, wi h he consequence ha objec s wi h a small ini ial wid h can become impe cep ible. 88 On he o he hand, Be keley Deepd i e Da ase has objec s wi h a smalle su ace a ea han in he KITTI. This is due o he ac ha he labels in his se consis o all he objec s isible in he image, e en some so a back in he image ha hei su ace a ea is less han 20 pixels. The e o e, in ne wo ks whe e esizing occu s, he dimensions o he images a e educed, causing hese objec s o ha e a minimum su ace a ea. This makes i e y di icul o objec de ec o s o iden i y hem in he image. Mo eo e , he size o he ancho s has no been modi ied o adap i o he peculia i ies o he da a se , being an addi ional di icul y. As o he second objec i e, in he sec ions ?? and ?? we ha e compa ed he accu acy, consump ion and in e ence speed o he ne wo ks on bo h da ase s and on h ee de ices in he case o he SSD Incep ion V2, SSD Mobile Li e and Fas e R-CNN ne wo ks: CPU In eg a ed low-powe GPU My iad and in he case o YOLO 3 and YOLO 3 Tiny ne wo ks on a high pe o mance GPU. The esul s de e mine ha he bes ne wo ks o achie e he goal o au onomous d i ing wi h ega d o accu acy a e YOLO 3 and YOLO 3 Tiny. Bo h ne wo ks o e signi i- can ly be e accu acy pe class han he o he ne wo ks s udied. Ano he i al aspec in he con ex o au onomous d i ing is he in e ence speed. In his case YOLO 3 Tiny is up o i e imes as e han YOLO 3. These ne wo ks ha e no been able o un on he same de ices as he es . Howe e , as we can see in he compa a i e g aph ??, e alua ing he exchange o p ocessing-consump ion speed measu ed on wo simila a chi ec u es, in his case bo h GPUs, we can see how hey con inue o be mo e p omising han he es o he ne wo ks. In addi ion o he in e ence speed, he ehicle au onomy is c ucial in au onomous d i ing and, he e o e, he consump ion o he di e en de ices e alua ed. The consump ion o he de ices and he models execu ed unde hem ha e been analysed in he sec ion çon- sump ion". In o de o join ly e alua e he pe o mance o a model and he e iciency o he ha dwa e de ice on which i has been execu ed, he FPS/W me ic has been de ined, which ela es in e ence speed wi h consump ion. The esul is ha models ha ha e a one phase a chi ec u e, i.e. SSD and YOLO ne wo ks, a e mo e e icien in e ms o spee- d/consump ion. This conclusion is na u al conside ing he low in e ence speed o Fas e R-CNN compa ed o he es . Focusing on he ha dwa e de ices, he e is one ha s ands ou om he es , and ha is My iad. This de ice designed o pe o m neu al ne wo k in e ence in an op imal way o e s a minimum consump ion, speci ically 1W, and he e o e is he mos e icien de ice 89