Percepción de la acción en una imagen mediante algoritmos de aprendizaje automático

Equa ion Chap e 1 Sec ion 1 P oyec o Fin de Ca e a Ingenie ía de las Tecnologías de Telecomunicación Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico Au o : Alejand o Na a o De La C uz Tu o : Rubén Ma ín Clemen e Dp o. Teo ía de la Señal y Comunicaciones Escuela Técnica Supe io de Ingenie ía Uni e sidad de Se illa Se illa, 2022 iii P oyec o Fin de Ca e a Ingenie ía de Telecomunicación Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico Au o : Alejand o Na a o De La C uz Tu o : Rubén Ma ín Clemen e P o eso i ula Dp o. de Teo ía de la Señal y Comunicaciones Escuela Técnica Supe io de Ingenie ía Uni e sidad de Se illa Se illa, 2022 P oyec o Fin de Ca e a: Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico Au o : Alejand o Na a o De La C uz Tu o : Rubén Ma ín Clemen e El ibunal nomb ado pa a juzga el P oyec o a iba indicado, compues o po los siguien es miemb os: P esiden e: Vocales: Sec e a io: Acue dan o o ga le la cali icación de: Se illa, 2022 El Sec e a io del T ibunal ii A mi amilia A mis maes os ix Ag adecimien os Me gus a ía ag adece a muchas pe sonas, an o po es os años de ca e a como po es os meses de desa ollo del p oyec o. A esos p o eso es de ca e a que dis u an ansmi iendo sus conocimien os con paciencia y exigiendo a los alumnos, sois los que me habéis hecho ap ende ealmen e y los que me habéis mo i ado a es a aquí. A mi u o po p opone es e ema y ayuda me a amplia mi isión y mis opo unidades en un campo que an es ni me plan eaba in es iga y del que aho a quie o en oca mi ca e a. A Ja ie y F ancisco po apoya me y ayuda me a deduci soluciones du an e es e abajo. A mis compañe os y amigos de ca e a que, sin mayo mo i o que el de ayuda a o os, gene an un ambien e p oac i o en el que enseña y ap ende en e noso os. A mis amigos que du an e es os años me han hecho c ece como pe sona. Y inalmen e a mi pad es, Ped o y Dolo es, y a mi he mana, Naza e , po c ee en mí incluso más que yo mismo y b inda me odas las opo unidades, el apoyo y el ca iño que me han sabido da sin espe a nada a cambio. Alejand o Na a o De La C uz Se illa, 2022 ÍNDICE DE FIGURAS Figu a 2-1. MATLAB [2] 4 Figu a 2-3. C [4]. 5 Figu a 2-4. Py hon [6]. 5 Figu a 2-5. Visual S udio Code [8]. 6 Figu a 2-6. OpenCV [9]. 6 Figu a 2-7. Da inci Resol e [12]. 7 Figu a 2-8. G á ica de lenguajes de p og amación más demandados [13]. 7 Figu a 2-9. Imagen de pa ido de enis [14]. 8 Figu a 2-10. Imagen de hal e o ilia [14]. 9 Figu a 2-11. Imagen de i o con a co [14]. 9 Figu a 2-12. Di e encias de mo imien o seguido [15]. 10 Figu a 2-13. Rep esen ación 3D y 2D del lujo óp ico [16]. 10 Figu a 2-14. Ejemplo lujo de óp ico ob enido con OpenCV [17]. 11 Figu a 2-15. Rep esen ación de soluciones según los alo es de lambda po el mé odo de Lucas-Kanade [18]. 15 Figu a 2-16. Rep esen ación de soluciones según los alo es de lambda po el mé odo de Shi-Tomasi [20]. 16 Figu a 2-17. Imagen de pa ido de enis emi ido po RTVE [14] 17 Figu a 2-18. Imagen di e encia ob enida as p ocesa la. 17 Figu a 2-19. Vis a gene al de la in e az desa ollada con Tkin e . 19 Figu a 2-20. Vis a del Slide en la in e az desa ollada con Tkin e . 21 Figu a 2-21. Vis a de los Spinboxs en la in e az desa ollada con Tkin e . 21 Figu a 2-22. Vis a de isualiza de imágenes en la in e az desa ollada con Tkin e . 23 Figu a 2-23. Vis a de bo ón de ab i a chi os en la in e az desa ollada con Tkin e . 23 Figu a 2-24. Vis a de la sección dedicada a los pa áme os del cálculo de esquinas en la in e az desa ollada con x ii Tkin e . 25 Figu a 2-25. Vis a del que calcula la di e encia de imágenes en la in e az desa ollada con Tkin e . 27 Figu a 2-26. Vis a de la sección dedicada a los pa áme os del lujo óp ico en la in e az desa ollada con Tkin e . 31 Figu a 2-27. Resul ado de lujo óp ico. 31 Figu a 3-1. Jupy e [27]. 34 Figu a 3-3. Visual S udio Code [8]. 34 Figu a 3-4. Tenso Flow [29]. 35 Figu a 3-5. Ke as [30]. 35 Figu a 3-6. In eligencia a i icial, ap endizaje au omá ico y ap endizaje p o undo [31]. 36 Figu a 3-7. Es uc u a de ed básica [25]. 37 Figu a 3-8. Ejemplo de lujo óp ico de i o con a co. 40 Figu a 3-9. Tipos de esul ados [25]. 45 Figu a 3-10. Ma iz de con usión y esul ados del modelo p opio. 46 Figu a 3-11. Ma iz de con usión y esul ados del modelo con MobileNe V2. 46 Figu a 3-12. Ma iz de con usión y esul ados del modelo con VGG16. 46 Figu a 3-13. Ma iz de con usión y esul ados del modelo con modelo basado en MNIST. 46 Figu a 3-14. Resul ados de sco ings en el es de p ueba con modelo p opio. 47 Figu a 3-15. Resul ados de sco ings en el es de p ueba con MobileNe V2. 47 Figu a 3-16. Resul ados de sco ings en el es de p ueba con VGG16 48 Figu a 3-17. Resul ados de sco ings en el es de p ueba con modelo basado en MNIST. 48 xix 1 1 INSTRUCCIONES PARA CUBIERTA Y PORTADA l obje i o de es e abajo es c ea algún mé odo con el que plasma en una imagen un mo imien o o una acción. Con es as imágenes e ique adas según lo que ep esen a an se ía con lo que luego en ena íamos a la IA (In eligencia A i icial) pa a que clasi ique es os mo imien os según la acción que ep esen e. No malmen e se suelen sepa a es as pa es Po un lado, exis en emp esas, depa amen os o en idades que se dedican a la ecogida de da os y po o o encon amos a aquellos que usan es os da os pa a c ea edes neu onales. En el caso de es e abajo, se p e ende ealiza el p oceso comple o y ob ene una isión gene al de ambas pa es. Po lo an o, se plan ea a ias cosas: • ¿Qué acciones o mo imien os quie o plasma ? • ¿Cómo e leja ese mo imien o en una sola imagen? • ¿Qué he amien as usa ? • ¿Cuál es el esul ado que quie o ob ene ? • ¿Qué es el Deep Lea ning? • ¿Cómo consigo que una in eligencia a i icial ap enda a di e encia las acciones? Es as son p egun as que i é espondiendo poco a poco. E Ins ucciones pa a Cubie a y Po ada 2 3 2 CREACIÓN DE DATASETS DE IMÁGENES n es de in oduci nos en el campo de Machine Lea ning debemos plan ea nos: qué a a p edeci la máquina, pone en oco cuál a a se el es udio po ealiza ; qué da os nos ha án al a, los cuáles se án la uen e con la que en ena a un modelo; y cómo ob ene es os da os, c ea un da ase pa a pasa a la segunda pa e. Sabemos que el obje i o inal es de e mina qué acción se es á lle ando a cabo, pe o de alguna o ma end emos que ca ac e iza es as acciones. Los da os con los que en ena a una in eligencia a i icial son de i al impo ancia, sin ellos no hay nada que ap ende y debemos selecciona bien cuál se á la in o mación que oma á de en ada. Pa a los p oblemas de clasi icación, en gene al, suelen exis i da ase s, bien c eados po emp esas o bien c eados po la comunidad que gi a en o no a desa ollos de in es igación de es os ámbi os. No odos los bancos son de lib e uso y g a ui os, al in y al cabo, es amos hablando de in o mación, un come cio muy explo ado en nues os días. Muchos de los ecu sos que podemos encon a son de pago o di íciles de canaliza pa a una a ea an conc e a como la de es e abajo. De alguna o ma, que emos cap u a una acción, la que sea, y de e mina la con asgos que la hagan única o dis in as a o as. 2.1. Análisis Empeza é ealizando un análisis gene al. Lo p ime o se á plani ica las a eas e hi os desde una isión muy emp ana del p oyec o y sin p o undiza en cada pun o. Seguido a es o, comienzo a ejecu a el plan p opues o pa a alcanza es e p ime obje i o: ca ac e iza acciones y c ea da os con los que en ena una in eligencia a i icial. 2.1.1 Plani icación Es buena p ác ica es ablece las ases gene ales y el ciclo que lle a é pa a ealiza es a pa e. Segui un hilo en el que i a anzando. Lo p ime o es e el es ado al inicio, qué he amien as engo y de qué conocimien os pa o, conoce cuál se á el pun o de pa ida desde el que comenza . Luego, en unción de lo que haya is o en la ase an e io , plan ea las necesidades su icien es como base pa a comenza a desa olla el p oyec o: qué conocimien os adqui i pa a ealiza un análisis en p o undidad del p oblema y qué he amien as son necesa ias en p ime a ins ancia. An es de empeza con la ase de ap endizaje, se deben ob ene las he amien as. Po ello, se hace un análisis y p esen ación de los ins umen os con los que i é abajando. En cuan o al conocimien o necesa io, pasa é a A C eación de da ase s de imágenes 4 ecopila uen es iables y a adqui i las habilidades mínimas necesa ias. T as es o, me encon a é en disposición de a a el p oblema desde un pun o de is a eó ico y ma ca los siguien es pasos a segui en el desa ollo que se á el paso pos e io . Du an e la esolución del p oblema se en iende que i án su giendo casuís icas inespe adas o nue os casos a a a que no se u ie on en cuen a, igual pa a la pa e de análisis. Así, que ealmen e, es imo que du an e odo el p oyec o es a é en ase de ap endizaje asimilando y descub iendo unciones, mé odos, he amien as, écnicas… Los desa ollos, de códigos, sob e odo, equie en de con inuo eedback. Ve cuáles son los esul ados, es ima si son los espe ados o su icien emen e álidos, y ol e a implemen a en caso de que e mejo a los. Es una e oalimen ación con inua al igual que la pa e de ap endizaje, se an descub iendo mejo as con o me se a a anzando. Po úl imo, con una aplicación que uncione co ec amen e, solo queda usa lo pa a c ea un da ase comple o, e i ica que hemos log ado el obje i o de es a p ime a pa e y con inua con la segunda. 2.1.2 Conocimien os base Pa ía de conocimien os con lenguaje de p og amación en Py hon. Du an e la ca e a, en a ias asigna u as, nos exigían sabe de es e lenguaje de p og amación po su impo ancia, su cu a de ap endizaje y el uso ex endido. Po an o, manejaba es e lenguaje de o ma luida y sabía ecaba in o mación sob e es e bas an e bien, sabía cómo ins ala lo y con igu a lo, aunque ya lo enía en mi equipo pe sonal. En mi caso, mi ca e a me ha se ido de una buena base en cuan o a imágenes se e ie e, sob e odo en mi especialidad ya que es u e cu sando asigna u as de la ama de Imagen y Sonido y engo el conocimien o ap endido bas an e ecien e. Había is o a amien os de imágenes en gene al en asigna u as como Visión A i icial, T a amien o Digi al de Señales Mul imedia, Fundamen os de P ocesamien o de Imágenes o Tele isión. Desde a ios ipos de unciones ma emá icas, algo i mos y unciones que se suelen aplica a las imágenes, has a de ección de esquinas o clasi icación de imágenes. También he a ado con ideos en o as como P oducción Audio isual o Equipos y Sis emas de Audio, Video y Tele isión, aunque en es as no llegué a implemen a código, no e an obje i os de las asigna u as. A pesa de ello, apenas había abajado o is o lib e ías dedicas al p ocesamien o de imágenes. Algunas unciones especí icas de MATLAB u o as muy básicas de Py hon. Lo que sí enía e a una buena base eó ica de las écnicas que exis ían en es os ámbi os, ya sea pa a usa las o pa a descub i y p o undiza en o as nue as. 2.1.3 Análisis de he amien as 2.1.3.1 MATLAB Ma lab es una pla a o ma de p og amación y de cálculo numé ico u ilizada po millones de cien í icos e ingenie os pa a analiza da os, desa ollo de algo i mos y ealiza modelos. Cuen a con un en o no de desa ollo de abajo muy obus o y una amplia gama de lib e ías, simulado es y he amien as pa a maneja , en e o as muchas, el a amien o de imágenes, de ma ices y la p esen ación de es os da os en g á icas. Tiene su p opio lenguaje de p og amación y en algunos ámbi os, en e ellos los de ingenie ía, iene un g an p es igio po su e sa ilidad y po es a en ocado y op imizado pa a cálculos ma emá icos[1]. Figu a 2-1. MATLAB [2] 5 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico 2.1.3.2 Ja a Ja a es una pla a o ma in o má ica de lenguaje de p og amación basada en p og amación o ien ada a obje os. Es, y sigue siendo, uno de los lenguajes más usados pa a múl iples aplicaciones, incluso pa a imágenes ya que incluye ambién la lib e ía de OpenCV. Ja a es un lenguaje de p og amación que u iliza clases y que, como Py hon, es á o ien ado a obje os. A pesa de se un lenguaje mul ipla a o ma y de ca ác e gene al, ha quedado pa a uso de desa ollo web. Es o se e e lejado sob e odo en el en oque que suelen ene los o os en los que se esuel en p oblemas de p og amación[3]. 2.1.3.3 C C es el lenguaje de p og amación a más bajo ni el que amos a encon a en es e análisis, ni el medio. Po lo que, pe mi e ene mayo con ol so wa e y op imiza mejo el endimien o del p og ama a desa olla . También pe mi e usa lib e ías pa a acili a el uso en cie as aplicaciones como pa a a amien o de imágenes, con OpenCV. Se usa an o pa a el desa ollo de sis emas ope a i os y aplicaciones como base pa a o os lenguajes. También, debido a ene menos ni el de abs acción, esul a menos amigable y más cos oso pa a el usua io abaja con es e lenguaje.[4] Figu a 2-2. C [4]. 2.1.3.4 Py hon Py hon es un lenguaje de p og amación de al o ni el muy ex endido siendo uno de los más usado. Se a a de un lenguaje in e p e ado y o ien ado a obje os. Cabe esal a su ácil legibilidad y manejabilidad, eniendo una cu a de ap endizaje al a. Ha día de hoy es al amen e usado en di e en es ámbi os, en e ellos el p ocesamien o de imágenes y ma ices, y cuen a con un g an apoyo de los usua ios y de las emp esas. Además, cuen a con una amplia gama de lib e ías de di e sos ámbi os, an o de emp esas de enomb e o pequeñas, como de usua ios. Una de las más usados en a amien o de imágenes es la lib e ía Numpy que si e pa a abaja con cadenas de a ays de o ma óp ima y con mayo endimien o, si e como base pa a la cons ucción de o as muchas lib e ías. [5] Figu a 2-3. Py hon [6]. 2.1.3.5 Visual S udio Code Visual S udio Code es un edi o de código lige o pe o po en e que iene de la mano de Mic oso . Es una aplicación de esc i o io disponible en odas las pla a o mas y con el que edi a en cualquie lenguaje de p og amación g acias a su ico ecosis ema de ex ensiones. Viene p epa ado pa a abaja con Gi . No solo es edi o de código, sino que ambién cuen a con e minales y he amien as pa a ejecu a a chi os o pa a debuggea lo de o ma in e ac i a. Menciona su amosa unción In elliSense que esal a, au ocomple a o sugie e pa es del código. [7] C eación de da ase s de imágenes 12 𝐼1(𝑥,𝑦)=𝐼2(𝑥+𝑉𝑥∗∆𝑡,𝑦+𝑉𝑦) ( 2-5 ) Aunque, debido al uido y/o a la disc e ización del espacio, no se cumple es a elación de o ma es ic a, po ello necesi amos de mé odos más e inados. Tenemos que pa a pequeños cambios según Taylo : 𝐼(𝑥+∆𝑥,𝑦+∆𝑦,𝑡+∆𝑡)=𝐼(𝑥,𝑦,𝑡)+𝜕𝐼 𝜕𝑥∆𝑥+𝜕𝐼 𝜕𝑦∆𝑦+𝜕𝐼 𝜕𝑡∆𝑡+𝑇𝑂𝑆 ( 2-6 ) Donde TOS es la con inuación de la ecuación y podemos desp ecia la (𝑇𝑂𝑆=0), quedándonos inalmen e con: 𝐼(𝑥,𝑦,𝑧)=𝐼(𝑥+∆𝑥,𝑦+∆𝑦,𝑡+∆𝑡) ( 2-7 ) Del cual se deduce que 𝜕𝐼 𝜕𝑥∆𝑥+𝜕𝐼 𝜕𝑦∆𝑦+𝜕𝐼 𝜕𝑡∆𝑡=0 ( 2-8 ) Y, po lo an o: 𝜕𝐼 𝜕𝑥𝑉𝑥+𝜕𝐼 𝜕𝑦𝑉𝑦+𝜕𝐼 𝜕𝑡𝑉𝑡=0 ( 2-9 ) Es a úl ima es llamada unción undamen al y es esc i a ambién como: 𝐼𝑥∗𝑉𝑥+𝐼𝑦∗𝑉𝑦=−𝐼𝑡 Aquí nos encon amos con un sis ema subde e minado ya que cons a de una ecuación y dos incógni as (𝑉𝑥,𝑉𝑦), es deci que enemos in ini as soluciones [15]. De es a o ma solo nos queda hace hipó esis, y así nacen los dos mé odos: de Lucas-Kanade y de Ho n-Schunk El lujo óp ico puede se calculado median e dos mé odos di e enciales: • Lucas-Kanade (L-K): Pa e de la suposición de que los pun os ce canos pe enecien es a la ecinidad de un píxel ienen igual elocidad. De es a o ma, pa a un conjun o de pun os pe enecien es a la misma ecinidad, enemos: 𝐼𝑥(𝑝)∗𝑉𝑥+𝐼𝑦(𝑝)∗𝑉𝑦=−𝐼𝑡(𝑝) 𝐼𝑥(𝑞)∗𝑉𝑥+𝐼𝑦(𝑞)∗𝑉𝑦=−𝐼𝑡(𝑞) 𝐼𝑥(𝑟)∗𝑉𝑥+𝐼𝑦(𝑟)∗𝑉𝑦=−𝐼𝑡(𝑟) . . . ( 2-10 ) Ob eniendo así un sis ema sob ede e minado. El sis ema de ecuaciones puede esumi se en 𝐴∗𝑣=𝑏 con 13 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico 𝐴= ( 𝐼𝑥(𝑝) 𝐼𝑥(𝑞) 𝐼𝑥(𝑟) ... 𝐼𝑦(𝑝) 𝐼𝑦(𝑞) 𝐼𝑥(𝑟) ... ) , 𝑏= ( 𝐼𝑡(𝑝) 𝐼𝑡(𝑞) 𝐼𝑡(𝑟) ... ) ( 2-11 ) Pa a ob ene una solución en es e sis ema aplicamos el mé odo de mínimos cuad ados 𝐴∗𝑣=𝑏 ( 2-12 ) (𝑣𝑥 𝑣𝑦  )=𝑣= (𝐴𝑡𝐴)−1𝐴𝑡𝑏 ( 2-13 ) Y equie e que 𝐴 sea de ango comple o pa a que 𝐴𝑡𝐴 enga in e sa. De es a o ma las zonas que se man ienen homogéneas (𝐼𝑥=𝐼𝑦=𝐼𝑡) no se de ec a mo imien o, y en los bo des y esquinas, que es donde encon amos un g an sal o (∇𝐼≠0), se de ec a co ec amen e cualquie mo imien o. Po lo an o, nos in e esa ija los pun os de es udio en bo des o esquinas [15]. • Ho n Shunck. Es e mé odo pa e de la hipó esis de que el mo imien o, al pasa el iempo, es sua e en oda la escena. Así, de las in ini as soluciones que exis en, nos limi amos a aquellas que minimizan el uncional de la ene gía: 𝐸=∬((𝐼𝑥𝑉𝑥+𝐼𝑦𝑉𝑦+𝐼𝑡)2+∝2(‖∇𝑉𝑥‖2+‖∇𝑉𝑦‖2))𝑑𝑥 𝑑𝑦 ( 2-14 ) Que in en a penaliza los cambios b uscos. Si nos ijamos en los alo es que puede oma ∝, si se hace 0 es como si es u ié amos a ando con la misma unción is a de Lucas-Kanade. Sin emba go, cuando Alpha ienda a in ini o los g adien es de 𝑉𝑥 e 𝑉𝑦 ienden a disminui , eco demos la hipó esis de la que pa e, en la que in en amos minimiza la 𝐸. Po an o, a mayo sea Alpha más se penaliza án las soluciones menos sua es. En compa ación con el mé odo de L-K, es más sensible al uido, pe o p opo ciona el lujo óp ico en egiones donde L-K no unciona [15]. 2.1.4.3 De ección de esquinas El mo imien o es más ácil de maneja si se siguen pun os ca ac e ís icos, las esquinas con ienen dos bo des (lo que acili a su de ección) y son buenos candida os. Los de ec o es de esquinas p opo cionan asgos de la imagen pa a su seguimien o. Los pun os candida os pa a se esquinas son aquellos iene mayo singula idad, es deci , que iene una baja o meno au osimili ud. La au osimili ud se puede medi como la suma de di e encias al cuad ado (SDC) en una ecinidad [15]. 𝑆𝐷𝐶(∆𝑖,∆𝑗)=∑∑(𝑓(𝑖+∆𝑖,𝑗+∆𝑗)−𝑓(𝑖,𝑗))2 𝑗𝑖 ( 2-15 ) A mayo SDC meno au osimili ud lo que es equi alen e a mayo singula idad, po lo an o, buscamos los pun os con mayo au osimili ud. Si in oducimos la de inición de enso : 𝑇=∑∑(𝐼𝑥2𝐼𝑥𝐼𝑦 𝐼𝑥𝐼𝑦𝐼𝑦 2) 𝑗𝑖 ( 2-16 ) C eación de da ase s de imágenes 14 Ob enemos 𝑆𝐷𝐶(∆𝑖,∆𝑗)=(∆𝑖,∆𝑗)𝑇(∆𝑖,∆𝑗)𝑡 ( 2-17 ) Un pun o singula iene una al a SDC pa a cualquie di ección (∆𝑖,∆𝑗), es o implica que 𝑇 ha de se signi ica i o, es deci , los au o alo es de 𝑇 (𝜆1 y 𝜆2) han de se signi ica i os. Se plan ean en onces es escena ios espec o a sus au o alo es: 1. 𝜆1 y 𝜆2 no signi ica i os. Lo que signi ica que el pun o (𝑖,𝑗) no es singula . 2. 𝜆1 es signi ica i o, pe o 𝜆2 no (o ice e sa). Se ía indicio de que el pun o (𝑖,𝑗) pe enece a un con o no. 3. 𝜆1 y 𝜆2 son signi ica i os. En es e caso el o pun o (𝑖,𝑗) sí pe enece a una esquina. Encon amos dos mé odos usados pa a la de ección de esquinas que se basan en es as ideas, • Ha is. Fue un p ime ace camien o ealizado po Ch is Ha is y Mike S ephens en el documen o “A Combined Co ne and Edge De ec e ” en 1988. Toma la idea de busca a iaciones de in ensidades en odas las di ecciones y la plasma de o ma ma emá ica [18]. 𝐸(𝑢,𝑣)=∑𝑤(𝑥,𝑦)[𝐼(𝑥+𝑢,𝑦+𝑣)−𝐼(𝑥,𝑦)]2 𝑥,𝑦 ( 2-18 ) • 𝑤(𝑥,𝑦)→𝑊𝑖𝑛𝑑𝑜𝑤𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛 • 𝐼(𝑥+𝑢,𝑦+𝑢)→𝑆ℎ𝑖𝑓𝑡𝑒𝑑 𝑖𝑛𝑡𝑒𝑛𝑠𝑖𝑡𝑦 • 𝐼(𝑥,𝑦)→𝐼𝑛𝑡𝑒𝑠𝑖𝑡𝑦 La en ana (𝑤) es una simple en ana ec angula o una en ana gaussiana con mayo es pesos en los píxeles in e io es. De es a o ma el obje i o se cen a en maximiza 𝐸(𝑢,𝑣), es deci , maximiza el segundo e mino. Aplicando las se ies de Taylo y ealizando algunos pasos in e medios llegamos a la siguien e ecuación. 𝐸(𝑢,𝑣)≈[𝑢 𝑣] 𝑀[𝑢 𝑣] ( 2-19 ) Donde 𝑀=∑𝑤(𝑥,𝑦)[𝐼𝑥𝐼𝑥𝐼𝑥𝐼𝑦 𝐼𝑥𝐼𝑦𝐼𝑦𝐼𝑦] 𝑥,𝑦 ( 2-20 ) Aquí 𝐼𝑥 e 𝐼𝑦 son las in ensidades de i adas en 𝑥 o en 𝑦. Luego iene la pa e impo an e en la que decidimos si se a a de una esquina o no. 𝑅=de (𝑀)−𝑘(𝑡𝑟𝑎𝑐𝑒(𝑀))2 ( 2-21 ) Donde o de (𝑀)= 𝜆1𝜆2 o 𝑡𝑟𝑎𝑐𝑒(𝑀)=𝜆1+𝜆2 o 𝜆1 y 𝜆2 son los au o alo es de 𝑀. 15 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico Basándonos en lo dicho an e io men e, aplicamos el siguien e c i e io: o Cuando |𝑅| es un alo pequeño, que ocu e cuando 𝜆1 y 𝜆2 son pequeños, la egión es plana, no hay esquinas. o Cuando 𝑅<0, cuando 𝜆1≫𝜆2 o ice e sa, la egión es un bo de. o Cuando 𝑅 es un alo g ande, 𝜆1 y 𝜆2 son g andes y del mismo g ado (𝜆1~𝜆2) se a a de una esquina. Figu a 2-14. Rep esen ación de soluciones según los alo es de lambda po el mé odo de Lucas-Kanade [18]. Al ija se en las a iaciones de in ensidades y no ealiza cálculos de au o alo es se hace más ápido. • MinimunEigen alue (Shi-Tomasi). J.Shi y C.Tomasi e oma on los cálculos del mé odo de de ección de esquinas de Ha is en el documen o “Good Fea u e o T ack” [19] haciendo pequeñas modi icaciones que mos a on mejo es esul ados [20]. Ellos p oponían cambia el cálculo de 𝑅: 𝑅=min {𝜆1,𝜆2} ( 2-22 ) Si el alo de R e a mayo que un de e minado umb al, es a egión e a conside ada como esquina. C eación de da ase s de imágenes 16 Figu a 2-15. Rep esen ación de soluciones según los alo es de lambda po el mé odo de Shi-Tomasi [20]. De es a o ma, a pa i de un de e minada 𝜆 se conside a esquina que queda ep esen ada en la zona g is. Es obus o pues usa 𝑚𝑖𝑛{𝜆1,𝜆2}. 2.1.4.4 Imágenes di e encia Du an e el desa ollo me di cuen a de que g an pa e del ma e ial que enía e a de e en os ansmi idos los cuales enían ma cado es, logos, ma cas de agua u o os elemen os añadidos o elemen os del p opio escena io como ca eles de publicidad o simila es. Es os elemen os suelen eni en onos de colo es que esal an sob e el ídeo o con líneas muy de inidas. Al aplica los algo i mos me daba cuen a de que odas las esquinas las de ec aba en es os obje os u o os p opios del escena io en el que se g ababa el e en o. Me suponía un p oblema po que sin las esquinas bien colocadas no se ía capaz de calcula el lujo óp ico y no conseguía co egi es o a a és de los pa áme os de los que disponía con la unción enca gada de calcula las esquinas. Se me hacía necesa io añadi pues una nue a ase en el p ep ocesado de la imagen an es de pasa a llama a la unción. Ap o eché que la mayo ía del ma e ial del que disponía e an ideos cuyas cáma as se man enían es á icas. Qui ando algunos pequeños momen os, la mayo pa e del iempo el mo imien o que se daba en la imagen e an de los depo is as u obje os que es os usaban, qui ando eso apenas había mo imien o en la escena. 17 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico Figu a 2-16. Imagen de pa ido de enis emi ido po RTVE [14] Po ejemplo, en un pa ido de enis si nos ijamos, podemos e que los únicos que se mue en son los jugado es con sus aque as y la pelo a la se golpeada po ellos. En alguna ocasión los ecogepelo as se mue en o pe sonas en e el público, pe o e an pocas eces y solo me hacía al a de ec a las esquinas en algún momen o en el que me bene icia a. La solución que le di a es o ue aplica la di e encia de imágenes. Es e mé odo consis e básicamen e en es a dos imágenes en e sí. Dada una imagen 𝐼1 y o a 𝐼2 [15]: 𝐼2−𝐼1 ( 2-23 ) T as es o hab ía que eescala los alo es adecuadamen e Es a p opo ciona in o mación sob e el mo imien o eal. Es a écnica es bas an e limi ada ya que es muy suscep ible al uido y los cambios de iluminación pueden se pequeños. Figu a 2-17. Imagen di e encia ob enida as p ocesa la. Las zonas blancas o en colo co esponden al mo imien o que ha habido en la escena. Sin emba go, emos como pa a es os casos enemos unos esul ados decen es sob e odo pa a ob ene esquinas. C eación de da ase s de imágenes 18 OpenCV implemen a un mé odo que ya escala los alo es adecuadamen e. Se a a del mé odo subs ac y calcula la di e encia po cada elemen o en e cadenas [21]. 𝑑𝑠𝑡(𝐼)=𝑠𝑎𝑡𝑢𝑟𝑎𝑡𝑒(𝑠𝑟𝑐1(𝐼)−𝑠𝑟𝑐2(𝐼))→𝑠𝑖 𝑚𝑎𝑠𝑘(𝐼)≠0 ( 2-24 ) 2.1.5 Conclusiones Ap o echando que se an a implemen a las imágenes di e encia, se es ima que lo óp imo es c ea ídeos a pa i de es os y usa los pa a el cálculo del lujo óp ico, no solo de esquinas, ya que se en iende que al algo i mo le conlle a a menos e o es segui la esquina sob e un ondo neg o. Po o o lado, el mé odo que se usa á pa a el cálculo de de ección de esquinas se á el de MinimunEigen alue. Dado que se es ima que el algo i mo Shi Tomasi o ece mejo es esul ados as hace compa aciones con esul ados eales. Y, po úl imo, en el caso del lujo óp ico, eniendo en cuen a que amos a a a con acciones de depo es pa a es e abajo, eo con enien e usa el mé odo de Lucas-Kanade po los cambios b uscos que pueden ocu i . 2.2 Desa ollo Teniendo una base eó ica sob e la que pa i , pasamos a la ase de esolución de los p oblemas plan eados. Tal y como se ha o ganizado. P ime o el uso de Tkin e pa a que se en iendan algunas líneas y unciones que an dedicadas a la in e az, luego hab ía que p epa a los a chi os con los que amos a abaja , que son a chi os de ídeo. Después, un ac o cuya impo ancia se i á explicando con o me se ea el desa ollo, la es uc u a que ha de ene el di ec o io de abajo. Dejando pa a el inal, la explicación de la líneas y unciones de código más ele an es. 2.2.1 Tkin e Ejecu a odo el a chi o Py hon e i cambiando las a iables de los pa áme os manualmen e en código me esul aba una a ea epe i i a y poco e icien e sob e odo eniendo en cuen a las eces que end ía que epe i lo y que el cálculo del lujo óp ico no e a inmedia o ya que dependía de la du ación del ídeo. Po an o, la solución que se me ocu ió ue implemen a una in e az que me pe mi ie a selecciona los pa áme os, hace el cálculo de esquinas y e los esul ados de es e, y luego, al se el p oceso con mayo ca ga compu acional, aplica el lujo óp ico. A es o ambién se le añadió el bo ón pa a calcula la di e encia de imágenes. Con es o, el p oceso de c ea las imágenes pa a el da ase se agilizaba en g an medida. 19 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico Figu a 2-18. Vis a gene al de la in e az desa ollada con Tkin e . Tkin e unciona a a és de widge s. Con iene un nodo aíz que se á la en ana, a pa i de es e se le an añadiendo los di e en es widge s con las p opiedades u Obje os que se deseen. oo = Tople el() oo . i le("Se ings") labelVideo=Label( oo ) labelVideo.g id( ow=8, columnspan=8, pady=10) P ime o se c ean los widge s a a és de Obje os de Tkin e en los que se les indica la en ana en la que se an a pone . Luego con la unción g id() indicamos la posición que end á den o de la en ana y cuán o ocupa á. ini F ame=In Va () ini F ame.se (min_ ame) label_ini _ ame=Label( oo , ex ="F ame inicial: ") label_ini _ ame.g id( ow=0, column=0) spin_ ame_ini =Spinbox( oo , om_=min_ ame, o=max_ ame,inc emen =1, ex a iable=ini F ame, command= ame_ini _Spinbox) spin_ ame_ini .g id( ow=0, column=1) Es e es un ejemplo de cómo he ido c eando los dis in os widge s en la in e az. P ime o decla o la a iable y es ablezco un alo po de ec o pa a e i a e o es o que no se le pase en p ime a ins ancia alo es nulos. Luego, c eo un widge , en es e caso es un obje o Label que es una e ique a que uso solamen e pa a esc ibi ex o y así en ende a que a di igida la en ada que a al lado desde la in e az. 2.2.2 P epa ación de a chi os de ídeos Los ídeos ienen de di e en es uen es (compe iciones, ideo u o iales, …). La acción de ídeo a es udia suele se una pequeña pa e pa a la longi ud o al de ídeo. T a a con secuencias an la gas en la in e az implemen ada con Tkin e puede llega a se muy edioso. Veía necesa io hace un p ime eco e o selección de iempo que ue a menos ex enso, pa a que pueda se manejable en la in e az es imo que el ídeo no exceda los 1000 ames, eniendo en cuen a que el es ánda de ansmisión es ap oximadamen e de 30 ames po segundo, es o equi ale a no excede los 33 segundo ap oximadamen e. Es a es imación la he es ablecido conside ando que la pan alla con la que se abaja es de 15’6” y una esolución de 1920x1080 píxeles, que es el ipo de pan alla con el que he es ado abajando. Es e eco e lo ealizo con la aplicación de DaVinci Resol e. En odos los casos, he es ado expo ando los a chi os a mp4. 2.2.3 Es uc u a de a chi os Pa a hace un buen seguimien o y análisis de los esul ados ob enidos me decidí po ob ene a ias imágenes en unción de los esul ados, que me ayuda an a conoce los pun os a mejo a . Es po ello que, pa a usa es e código es necesa io ene den o del di ec o io del a chi o .py las siguien es ca pe as: o /in: Imagen del p ime ame. o /ou : Resul ado inal del lujo óp ico. o /ou _image: Resul ado inal del lujo óp ico sob e la imagen del ame inal. o / ideo_ou : Video seleccionado con el lujo óp ico añadido. o / ideo_ou _di : Video di e encia. 2.2.4 Funciones En es a subsección oy a i en ando en de alle en las pa es del código necesa ias pa a que se en ienda la solución C eación de da ase s de imágenes 20 en desa ollo. global labelVideo global co ne s Po lo gene al las unciones que he c eado no de uel en nada a a és de e u n, los esul ados an pasándose a a és de a iables globales po que se usan o os muchos mé odos y e a necesa io si que ía implemen a la in e az. open_ ile() cap = c .VideoCap u e( ideopa h) Una de las p ime as líneas que encon amos as las unciones es la que ab e el ideo. P ime o se ab e una en ana en la que seleccionamos el a chi o en e las ca pe as de nues a compu ado a y luego lo ab imos a a és de la unción VideoCap u e de OpenCV. Pa a alcanza el obje i o inal, que son imágenes que ep esen e el mo imien o median e líneas, enía dos hi os a consegui : • Reconoce bien las esquinas • Ob ene un lujo óp ico que ep esen e el mo imien o. P ime o empiezo con unciones secunda ias y pa a el inal es án las unciones que aplican los mé odos con los que cub i los hi os. 2.2.4.1 alida eF ame Asegu a que el alo de ame in oducido no sea nega i o ni mayo que el máximo del ídeo. Pa áme os: ▪ ini F ame: Núme o del ame de inicio. de alida eF ame(ini F ame): i ini F ame >= max_ ame-1: ini F ame = max_ ame-1 eli ini F ame < min_ ame: ini F ame = min_ ame e u n ini F ame 2.2.4.2 ame_ini _Slide El Slide es una o ma manual de escoge el ame inicial, si se p oducen cambios en es e, se isualiza á la imagen del ame que es á seleccionando. 21 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico Figu a 2-19. Vis a del Slide en la in e az desa ollada con Tkin e . Es a unción alida el alo in oducido en el Slide y cambia el alo de es e. El Slide se si úa en la pa e supe io , debajo de los Spinbox de ame inicial y inal, como una ba a. Pa áme os: ▪ ini F ame: Valo del ame inicial. de ame_ini _Slide (ini F ame): ame= alida eF ame(in (ini F ame)) ge _image( ame) ini F ame = ame 2.2.4.3 ame_ini _Spinbox Los Spinbox son en adas de núme os. Cons an de dos bo ones pa a subi o disminui el núme o que se mues a den o del ex o. También puede selecciona se el ex o y modi ica lo a a és del eclado. Figu a 2-20. Vis a de los Spinboxs en la in e az desa ollada con Tkin e . La unción alida el alo inicial del ame in oducido en el Spinbox y cambia el alo de es e. Tan o el Spinbox de selección del ame inicial como el del ame inal se si úan al p incipio de la in e az, en la pa e supe io . C eación de da ase s de imágenes 28 ▪ p e P s: Vec o 2D de los pun os a los que aplica el lujo óp ico. ▪ nex P s: Salida en ec o 2D con los pun os calculados. ▪ s a us: Vec o que ma ca el es ado de los pun os, si han sido calculados co ec amen e o no. ▪ e : Vec o que ma ca e o es de los pun os si se da el caso. ▪ winSize: Tamaño de la en ana pa a la búsqueda de cada ni el de la pi ámide del algo i mo Lucas-Kanade. ▪ maxLe el: Núme o máximo de ni eles de pi ámides del algo i mo Lucas-Kanade. ▪ c i e ia: Especi ica los pa áme os de c i e ios pa a el algo i mo i e a i o. ▪ lag: P esen a a ias opciones: o OPTFLOW_USE_INITIAL_FLOW: Especi ica si el mé odo usa las es imaciones iniciales gua dadas en nex P s o las oma del an e io gua dadas en p e P s. o OPTFLOW_LK_GET_MIN_EIGENVALS: Especi ica si usa una media del mínimo de los au o alo es como e o o no. ▪ minEigTh eshold: Especi ica el alo mínimo de los au o alo es. La unción c eada p epa a los da os pa a llama al mé odo enca gado de calcula el lujo óp ico, luego aplica el mé odo a lo la go del ídeo. Pa áme os: ▪ ini F ame: Valo del ame inicial a oma . ▪ endF ame: Valo del ame inal a oma . ▪ m_winSize: Núme o de ilas de la en ana a usa pa a la búsqueda de cada ni el de la pi ámide del algo i mo Lucas-Kanade. ▪ n_winSize: Núme o de columnas de la en ana a usa pa a la búsqueda de cada ni el de la pi ámide del algo i mo Lucas-Kanade. ▪ maxLe el: Núme o máximo de ni eles de pi ámides del algo i mo Lucas-Kanade. ▪ c i e ia_ ype: Especi ica el c i e io a aplica en el algo i mo de búsqueda i e a i o: o COUNT ( alo =0): El núme o máximo de i e aciones o elemen os a compu a . o MAX_ITER ( alo =1): di o (igual que COUNT). o EPS ( alo =2): El núme o medio deseado o cambios en pa áme os al cual el algo i mo i e a i o pa a . ▪ c i e ia_maxCoun : Núme o máximo de i e aciones pa a el algo i mo de búsqueda. ▪ c i e ia_epsilon: Especi ica la búsqueda mínima a la que puede p ocede . El p ocedimien o pa a á si alcanza es e alo . El alo medio deseado. ▪ co ne s: Esquinas de ec adas. de op ical_ low(ini F ame, endF ame, m_winSize, n_winSize, maxLe el, c i e ia_ ype, c i e ia_maxCoun , c i e ia_epsilon, co ne s): Valida el ame inicial y lo almacena en una a iable auxilia , igual pa a el ame inal. Las en adas son ipos de obje os po lo que es necesa io ex ae los alo es. ini F ame_aux = alida eF ame(ini F ame.ge ()) endF ame_aux = endF ame.ge () Se hace la con e sión y se ex aen los da os en a iables auxilia es. En caso de no in oduci pa áme os o de 29 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico que es én mal po el ipo de o ma o que se necesi a, se pone alo es po de ec o y se a isa en consola. i maxLe el.ge ()=='' o 0 >= in (maxLe el.ge ()): p in ("ERROR: Debe habe un núme o posi i o de esquinas") maxLe el_aux = 2 else: maxLe el_aux = in (maxLe el.ge ()) i c i e ia_ ype.ge ()=='' o 0 >= in (c i e ia_ ype.ge ()): p in ("ERROR: Debe habe un núme o posi i o de esquinas") c i e ia_ ype_aux = 1 else: c i e ia_ ype_aux = in (c i e ia_ ype.ge ()) i c i e ia_maxCoun .ge ()=='' o 0 >= in (c i e ia_maxCoun .ge ()): p in ("ERROR: Debe habe un núme o posi i o de esquinas") c i e ia_maxCoun _aux = 10 else: c i e ia_maxCoun _aux = in (c i e ia_maxCoun .ge ()) i c i e ia_epsilon.ge ()=='' o ( loa (c i e ia_epsilon.ge ()) > 1 o loa (c i e ia_epsilon.ge ()) < 0): p in ("ERROR: quali yLe el debe es a en e 0 y 1") c i e ia_epsilon_aux=0.03 else: c i e ia_epsilon_aux = loa (c i e ia_epsilon.ge ()) i n_winSize.ge () != '' and m_winSize.ge () != '': winSize = (in (n_winSize.ge ()) ,in (m_winSize.ge ())) else: winSize=(15,15) Aunamos los pa áme os del algo i mo en una a iable. lk_pa ams = dic (winSize = winSize, maxLe el = maxLe el_aux, c i e ia = ( c i e ia_ ype_aux , c i e ia_maxCoun _aux, c i e ia_epsilon_aux)) C eamos colo es alea o ios pa a luego di e encia las líneas en el esul ado. Luego omamos el p ime ame y lo gua damos en una ca pe a apa e (/in). colo = np. andom. andin (0, 255, (100, 3)) e , old_ ame = cap. ead() old_g ay = c .c Colo (old_ ame, c .COLOR_BGR2GRAY) c .imw i e("in/" + ilename + ".jpg", old_ ame) C eamos una másca a pa a dibuja las líneas y ajus amos un con ado con las i e aciones que amos a hace , es deci , las eces que aplica emos el algo i mo del lujo óp ico que es una ez po cada compa ación en e dos ames del ídeo según la sección de ideo que hayamos ma cado. mask = np.ze os_like(old_ ame) coun = endF ame_aux-ini F ame_aux Tomamos al ancho y el al o de la imagen pa a c ea un ideo con el esul ado. ame_wid h = in (cap.ge (3)) ame_heigh = in (cap.ge (4)) size = ( ame_wid h, ame_heigh ) ideo = c .VideoW i e (" ideo_ou /" + ilename + ".a i", c .VideoW i e _ ou cc(*'MJPG'), FPS, size) Vol emos a apun a al ame inicial y comenzamos el bucle. cap.se (CAP_PROP_POS_FRAMES, ini F ame_aux) C eación de da ase s de imágenes 30 while(coun >0): coun -=1 e , ame = cap. ead() i no e : p in ('No hay más ames') b eak ame_g ay = c .c Colo ( ame, c .COLOR_BGR2GRAY) Aplicamos la unción del lujo óp ico po Lucas-Kanade y gua damos las esquinas nue as y las iejas pa a luego uni las e i ep esen ando las líneas que de inen al lujo óp ico. op ical_ low, s , e = c .calcOp icalFlowPy LK(old_g ay, ame_g ay, co ne s, None, **lk_pa ams) i op ical_ low is no None: good_new = op ical_ low[s ==1] good_old = co ne s[s ==1] o i, (new, old) in enume a e(zip(good_new, good_old)): a, b = new. a el() c, d = old. a el() mask = c .line(mask,(in (a),in (b)),(in (c),in (d)),colo [i]. olis (),2) ame = c .ci cle( ame, (in (a), in (b)), 5, colo [i]. olis (), -1) C eamos dis in as imágenes y las amos gua dando en ca pe as di e en es. img = c .add( ame, mask) c .imw i e("ou _image/" + ilename + ".jpg", img) c .imw i e("ou /" + ilename + ".jpg", mask) ideo.w i e(img) Ac ualizamos la imagen pa a la siguien e i e ación. old_g ay = ame_g ay.copy() co ne s = good_new. eshape(-1, 1, 2) p in ("Te minado") ideo. elease() Como esul ado al usa es a unción se ob iene: - Una imagen del p ime ame. Den o de la ca pe a /in. - Una imagen del esul ado del lujo óp ico con la imagen del ame inal. Den o de la ca pe a /ou _image. - Una imagen del esul ado del lujo óp ico con el ondo en neg o. Den o de la ca pe a /ou . - Un ídeo del esul ado del lujo óp ico con el ideo o iginal. Den o de la ca pe a ideo_ou . 31 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico Figu a 2-25. Vis a de la sección dedicada a los pa áme os del lujo óp ico en la in e az desa ollada con Tkin e . En la in e az, los pa áme os de es a unción se modi ican en la zona ma cada y pa a se llamada end ía que pulsa se el bo ón “Aplica lujo óp ico”. 2.3 Resul ados La mejo o ma de e los esul ados es iendo como ha quedado la aplicación en imágenes mos adas an e io men e y con mues as de imágenes ob enidas pa a el da ase . La aplicación iene una es é ica sencilla, pe o cumple su unción de agiliza el p oceso de c eación de da os pa a la segunda pa e de es e abajo. En cuan o a los esul ados inales, lo mejo es e lo con un ejemplo: Figu a 2-26. Resul ado de lujo óp ico. Es a imagen no es la que inalmen e se le pasa á a la máquina de ap endizaje au omá ico, es a se ha sacado de la ca pe a / ideo_ou y es un buen ejemplo del esul ado ob enido. Se ía el lujo óp ico con la imagen del ídeo del que se ha ob enido de ondo. Tomando como esquinas las pesas y pa e del cue po, el algo i mo hace un buen seguimien o del mo imien o ealizado. 2.4 Posibilidad de mejo a Tan o en la ase de desa ollo de código como en la ase de uso, han ido su giendo p oblemas o posibilidades de mejo as. Algunos los he ido solucionando, pe o o os me suponían una dedicación de iempo que no enía. • Al cambia de ideo no se modi ican los alo es omados po los widge s ya que es o se ealiza solo la p ime a ez que se ab e la en ana y es o puede conlle a a dos cosas: a) Que no ome el ideo comple o po que el ideo que se ab ió inicialmen e e a de meno du ación que es e. b) Que el ideo que se ab ió inicialmen e ue a de mayo du ación que el nue o que se ab a, lo que da ía e o es mien as se ejecu a el mé odo del cálculo de lujo óp ico ya que no encuen a ninguna esquina ni mues as de imágenes. Aun así, el esul ado inal sigue siendo álido. • Pod ía habe pues o mensajes en la in e az a isando de dis in as cosas. Po ejemplo, que se ha e minado el p oceso de imágenes di e encias o del cálculo de lujo óp ico, o que se a a sob esc ibi un a chi o ya exis en e. Incluso pod ía habe mos ado e o es u o os a isos. • Habe añadido cap u as de excepciones en el código. También mos a más in o mación en el e minal. • T as aplica el mé odo de di , se pod ía ab i el a chi o de ídeo que se ha gene ado y abaja con es e sin necesidad de cambia lo manualmen e. C eación de da ase s de imágenes 32 • Comp oba que se ienen las ca pe eas y la es uc u a de di ec o ios bien c eada, y en caso de no se así que las c ee el p opio p og ama. • Da la opción de escoge en e la de ección de esquinas de Ha is o de Shi-Tomasi. • OpenCV pe mi e el uso de GPU. En es e caso, la aplicación no es exigen e en cuan o a ecu so de ha dwa e, pe o se pod ía habe op imizado en es e aspec o. • Du an e el desa ollo he ido descub iendo o as lib e ías pa a gene a in e aces que pod ían habe supues o una mejo solución que Tkin e , pe o cambia es o a mi ad del desa ollo supone un cambio bas an e adical. Algunas de es as lib e ías son PySimpleGUI o Fle . • Exis e o o mé odo pa a el cálculo del lujo óp ico que no he enido en cuen a, desa ollado po Gunna Fa neBack en su publicación “Two-F ane Mo ion Es ima ion Base don Polynomial Expansion” [24]. Lo descub í na egando a a és de OpenCV con una unción denominada calcOp icalFlowFa neback [23] y ya enía implemen ado el mé odo de Lucas-Kanade. Hubie a sido buena p ác ica econside a y es udia es e nue o mé odo. 2.5 Conclusiones Todo el código es á pensado pa a usa los mé odos de calcOp icalFlowPy LK y de goodFea u eToT ack de la o ma más cómoda posible. La c eación de la in e az no en aba den o de los planes al p incipio. Sin emba go, una ez c eada, se agiliza mucho la a ea epe i i a de c ea imágenes pa a el da ase . La di icul ad del desa ollo aumen ó cuando añadí el componen e de Tkin e , sob e odo pa a ajus a los widge s y moldea las a iables. Pe o as e la aplicación y usa la pa a c ea el da ase , puedo deci que he aho ado iempo. C ea la aplicación uncional ha sido una in e sión de iempo que ha sido amo izada. El código es á p epa ado pa a pode le ealiza casi odo ipo de modi icaciones a las unciones p incipales de OpenCV que más in e esan pa a es e abajo. El pode e los esul ados del cálculo de las esquinas al ins an e sin necesidad de busca en ca pe as es un pun o a a o , se pueden alo a las esquinas y modi ica los pa áme os pa a ol e a es ima las, odo ello ejecu ando el a chi o de Py hon una sola ez. Conside o que, as e los esul ados inales es o son bas an e álidos pa a la a ea que amos a lle a a cabo y po lo an o el obje i o de es a pa e queda cumplido. 33 3 MÁQUINA DE APRENDIZAJE AUTOMÁTICO l ámbi o de Machine Lea ning es un campo que aho a mismo es á en alza. Cada ez más en idades se suman a la in es igación de es e campo y son muchos los que a i man que nos encon amos an e el inicio de una g an e olución y que es o cambia á nues a o ma de i i y abaja . Seguido a es o se pueden encon a o as en idades educa i as que en las nue as necesidades que se an a gene a y cada ez se omen a más el ap endizaje de es as ecnologías. En es e segundo capí ulo me cen o en odo lo e e en e al Deep Lea ning. Una ez que ya engo c eado un banco con la in o mación necesa ia, queda ap ende los concep os necesa ios y aplica los pa a en ena un modelo que cumpla con el obje i o plan eado, clasi ica imágenes como acciones. 3.1 Análisis Siguiendo la misma es uc u a que puse en el capí ulo an e io , aquí empeza é con una plani icación de a eas y de o ganización a segui . Luego p ocedo a segui el plan pa a consegui el segundo obje i o de es e abajo: en ena a una máquina pa a que clasi ique las acciones is as en el capí ulo an e io . 3.1.1 Plani icación Teniendo en cuen a la base de la que comienzo, lo p ime o es empeza po ap ende . En es e aspec o mi u o , me p opo cionó un lib o muy ú il de Jo di To es [25] en el que se an in oduciendo concep os a la pa que se ealizan eje cicios p ác icos. La idea es i asimilando y ap endiendo a medida que oy ealizando las p ác icas. El lib o se di ide en dos pa es que comple an es e ap endizaje, ya que así lo ha es ablecido el au o . La p ime a pa e es más eó ica, aunque con algunos ejemplos p ác icos, odo cen ado en el ap endizaje au omá ico, po lo que en p ime a ins ancia me cen o en lee y asimila . T as eso, es imo que end é capacidad pa a comenza a desa olla pa e del código mien as a la pa sigo con el ap endizaje del lib o. Una ez e minado de lee el lib o y habe ealizado a ias p uebas queda ía e mina de implemen a el código e i haciendo modi icaciones has a ob ene esul ados óp imos. Pa alelamen e a es o i é desa ollando la memo ia que se á la úl ima a ea pa a lle a a cabo. No he ma cado iempos po que me esul a di ícil p edeci los debido a mi desconocimien o en la ma e ia. E Máquina de ap endizaje au omá ico 34 34 3.1.2 Conocimien os base En es e campo mi conocimien o e a muy escaso. Había oído habla sob e in eligencias a i iciales, ap endizaje au omá ico o ap endizaje p o undo, pe o no sabía siquie a dis ingui en e es os concep os. Du an e la ca e a hicimos algunas p ác icas sob e es o en la asigna u a de Fundamen os de P ocesamien o de Imagen pa a clasi ica imágenes, pe o e a una p ác ica guiada y en an poco iempo no pudimos ahonda en es os campos. 3.1.3 Análisis de he amien as 3.1.3.1 Lenguajes de p og amación Los leguajes que se han conside ados como opción han sido los mismos que en la p ime a pa e: Py hon, C, Ja a y Ma lab. La desc ipción de es os queda en el p ime capí ulo. 3.1.3.2 Jupy e No ebook/Jupy e Lab P ojec Jupy e es un p oyec o sin ánimo de luc o, de código abie o, c eado en 2014 pa a el desa ollo in e ac i o de ciencia de da os y compu ación cien í ica pa a odos los lenguajes de p og amación. Su p oduc o insignia es Jupy e No ebook que consis e en un en o no de desa ollo pa a no ebooks, código y da os usando na egado es webs. Con un diseño modula pa a expandi y en iquece lo de uncionalidades [26]. Figu a 3-1. Jupy e [27]. Jupy e pe mi e combina no as de ex o, gene almen e en o ma o Ma kdown, con código que se puede i descomponiendo y ejecu ando en bloques. Pa ece simple pe o es a idea acili a an o el desa ollo del código como la documen ación. 3.1.3.3 Google Colab También conocido como Colabo a o y. Se a a de un p oyec o de in es igación de Google c eado pa a ayuda y omen a el ap endizaje y la in es igación en el ámbi o de Machine Lea ning. Es un en o no Jupy e No ebook que no equie e de con igu ación ni ampoco muchos ecu sos de ha dwa e ya que se ejecu a en Cloud, solo se necesi a de una cuen a de Google y es de uso g a ui o. Pe mi e usa Ke as, Tenso Flow o Py o ch, jun o con una GPU pa a agiliza las ejecuciones y en enamien os [28]. 3.1.3.4 Visual S udio Code Es e es el en o no que se ha usado pa a el desa ollo del p ime capí ulo, la desc ipción se encuen a en la sección 2.1.3.5 Visual S udio Code. Figu a 3-2. Visual S udio Code [8]. 35 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico Como añadido, Visual S udio Code en e su amplio epe o io de ex ensiones iene una dedicada a Jupy e pa a pode ejecu a no ebooks y código al igual que en la in e az de Jupy e No ebook. 3.1.3.5 Tenso Flow Tenso Flow es una lib e ía de código abie o c eado po Google pa a el desa ollo de Machine Lea ning. Es una pla a o ma de ex emo a ex emo que acili a an o la c eación como la implemen ación de edes neu onales. Puede con igu a se pa a desa olla y ejecu a modelos en múl iples pla a o mas y en o nos. Además, es á implemen ado pa a el uso de CPU y GPU po lo que o ece un endimien o mayo . Es muy e sá il pa a la c eación e implemen ación de modelos. [2] Figu a 3-3. Tenso Flow [29]. A Tenso Flow lo acompaña una g an comunidad y can idad de ecu sos que hacen de es e una de las lib e ías más usadas y apoyadas. 3.1.3.6 Ke as Es una biblio eca de código abie o desa ollada po F ançois Cholle , ingenie o de Google. Esc i a en Py hon que usa como backend Tenso Flow, de hecho, se encuen a incluido en es e mismo. Fue desa ollada con la in ención de hace más accesible y ápido el desa ollo de edes p o undas, bien pa a acili a el ap endizaje pa a los nue os como pa a la in es igación. Su cu a de ap endizaje es sua e en compa ación con o as lib e ías. [1] Figu a 3-4. Ke as [30]. Es una lib e ía que omen a la simplicidad, se a a de un ni el de abs acción mayo que el que o ece Tenso Flow. Po es a misma azón, Tenso Flow o ece mayo lexibilidad, po que abaja a ni eles in e io es, y ambién mayo endimien o. 3.1.3.7 Conclusiones Si bien es cie o que Ja a o ece mejo endimien o y apidez, debido a que se a a de un ipado es á ico y compilado mien as que Py hon es dinámico e in e p e ado, la endencia gene al y más ex endida es usa Py hon pa a ciencia de da os e in eligencia a i icial. Es o se debe a que Py hon es un lenguaje de al o ni el lo que lo hace más a ac i o y amigable pa a los p og amado es. Además, Py hon o ece muchas acilidades al desa olla y una g an can idad de lib e ías ú iles an o pa a cons ui edes como pa a in e p e a los esul ados como las ya mencionadas Numpy y Pandas. En la p ime a pa e ya usamos Py hon po lo que es o o pun o a a o segui desa ollando en el mismo lenguaje. Todas las he amien as de edición de código p opues as son muy álidas pa a el p opósi o a segui . Sin emba go, dado el en o no con el que se ha abajado en la p ime a pa e del abajo, se escoge Visual S udio Code como edi o ap o echando la ex ensión que o ece de Jupy e No ebook. Los ecu sos del sis ema no suponen un p oblema ya que se es ima que el equipo con el que he abajado cumple las exigencias que se puedan plan ea en es e abajo, con ando con GPU p opia. Po o o lado, eniendo en cuen a que me encuen o en ase de ap endizaje y que pa o de no ene conocimien os Máquina de ap endizaje au omá ico 36 36 espec o a edes neu onales o in eligencia a i icial, conside o que la mejo opción es usa Ke as. Además, Ke as iene incluido con la lib e ía de Tenso Flow y es o lo simpli ica odo. A pesa de que abaja con Tenso Flow puede llega a se mejo decisión po lexibilidad y endimien o, no oy a abaja con edes neu onales de excesi a complejidad. O o pun o a a o pa a usa Ke as, es que es la lib e ía que se usa en el lib o de Jo di To es. 3.1.4 Análisis eó ico Dado que oy a abaja con Deep Lea ning, con iene conoce qué es y el con ex o del que p ocede. Qué elación exis e en e Deep Lea ning, Machine Lea ning (ML) y A i icial In elligence (AI). Así como algunas écnicas muy usadas y cie as ca ac e ís icas que ayudan a comp ende odos es os concep os mejo . 3.1.4.1 In eligencia A i icial “La in eligencia a i icial nació en el año 1950 cuando un puñado de pione os del nacien e campo de la ciencia compu acional empeza on a p egun a se si los compu ado es pod ían se c eados pa a ‘pensa ’, una p egun a cuyas ami icaciones nos seguimos p egun ando hoy en día” [31]. “Po in eligencia a i icial nos e e imos a aquella in eligencia que mues an las máquinas, en con as e con la in eligencia na u al de los humanos. En es e sen ido, una posible de inición concisa y gene al de in eligencia a i icial pod ía se el es ue zo pa a au oma iza a eas in elec uales no malmen e ealizadas po humanos. Como al, el á ea de in eligencia a i icial es un campo muy amplio que aba ca muchas á eas del conocimien o elacionadas con el ap endizaje au omá ico; incluso se incluyen muchos más en oques no siemp e ca alogados como ap endizaje au omá ico… Además, a lo la go del iempo, a medida que los compu ado es han sido cada ez más capaces de ‘hace cosas’, se han ido cambiando las a eas o ecnologías conside adas como ‘in eligen es’” [25]. Figu a 3-5. In eligencia a i icial, ap endizaje au omá ico y ap endizaje p o undo [31]. “La in eligencia a i icial es un campo que aba ca el ap endizaje au omá ico y el ap endizaje p o undo, pe o que ambién incluye algunos o os campos no elacionados con el ‘ap endizaje’”. Es os suelen se máquinas que siguen una se ie de eglas que pod íamos conside a con ‘in eligencia’” [31]. 3.1.4.2 Ap endizaje au omá ico “Machine Lea ning se pod ía de ini como el subcampo de la in eligencia a i icial que p opo ciona a los o denado es la capacidad de ap ende sin se explíci amen e p og amados, es deci , sin que necesi en que el p og amado indique las eglas que debe segui pa a log a su a ea, sino que las hace au omá icamen e…. Es os algo i mos ap enden de los da os con el in de encon a pa ones o endencias pa a comp ende ‘qué nos dicen’ los da os y de es a mane a cons ui un modelo pa a p edeci y clasi ica los elemen os” [25]. “En Machine Lea ning nos e e imos a label (‘e ique a’) a lo que es amos in en ando p edeci con un modelo”, el esul ado que se desea ob ene . En cambio, a una a iable de en ada la llama emos ea u e (‘ca ac e ís ica’)” [25]. 37 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico Un modelo (model) es un bloque que a a de elaciona las ca ac e ís icas con las e ique as (en adas con salidas). “Machine Lea ning es un amplio campo con una compleja axonomía de algo i mos que se ag upan, en gene al, en es g andes ca ego ías:” [25] • Ap endizaje supe isado: Los da os que usamos pa a en ena ienen e ique ados con la solución que debe ía da . • Ap endizaje no supe isado: En es e caso los da os pasados pa a el ap endizaje no ienen e ique as, se á el p opio algo i mo el que los clasi ique. • Rein o cemen Lea ning (“ap endizaje po e ue zo”): Ap endizaje basado en p emios o cas igos. El modelo en es e caso oma una decisión y lle a a cabo la acción, y en unción del es ado que gene a, del esul ado que su ge, se da á una “ ecompensa” o una “penalización”. El obje i o del modelo es ob ene ecompensas. Es, quizás, el modelo más ce cano al mundo eal y a los escena ios que se p esen an en él. Es el más no edoso de las es ca ego ías. 3.1.4.3 Deep Lea ning Se a a de una subpa e, de una de las á eas, de la in eligencia a i icial, de Machine Lea ning. Pa a explica en qué consis e el Deep Lea ning (ap endizaje p o undo) se suele asemeja con neu onas humanas las cuales con o man una ed neu onal, pe o en es e caso hablamos de neu onas a i iciales [25]. Es as neu onas es án colocadas una de ás de o as conec adas en e sí de al o ma que pueden sepa a se en capas como puede e se en la imagen: Figu a 3-6. Es uc u a de ed básica [25]. Hablamos pues de Deep Lea ning cuando se supe ponen múl iples capas. De es a o ma se consigue que, con o me a anzamos desde las capas de en adas (capas que eciben los pa áme os de en ada), ayan adqui iendo mayo abs acción. La idea en base sigue siendo la misma, la ed iene que ajus a los pa áme os de las dis in as neu onas pa a que a pa i de unas en adas de e minadas (ca ac e ís icas) ob engamos una salida conc e a (e ique as). Es as edes pueden es a compues as de muchas capas y cada una con dis in as can idades de neu onas, de aquí el concep o de “deep” (p o undidad de la ed). 3.1.4.4 Redes neu onales con olucionales “Una ed neu onal con olucional (o CNN, ‘Con olu ional Neu al Ne wo k) es un caso conc e o de edes neu onales de Deep Lea ning” [25] en el que pa imos sabiendo que a amos con imágenes, es deci , de es uc u as espaciales. Es as edes se ca ac e izan po aplica un ipo de capa que ealizan con oluciones. De es a o ma se ex aen ca ac e ís icas en base a los pa ones que pueda habe en una imagen. La ed po an o se ocupa á de ap ende los alo es que end án los il os que se aplican en la con olución que se les denomina Máquina de ap endizaje au omá ico 44 44 model_mnis .add(Con 2D(64, (5, 5), ac i a ion=' elu')) model_mnis .add(MaxPooling2D((2, 2))) model_mnis .add(Fla en()) model_mnis .add(Dense(10, ac i a ion='so max')) model_mnis .compile(loss='ca ego ical_c ossen opy', op imize ='sgd', me ics=['accu acy']) model_mnis . i ( ain_images, ain_labels, ba ch_size=100, epochs=5, e bose=1) Y as p oba que los esul ados e a los mismos que salían en el ejemplo del lib o, pasé a c ea la nue a máquina pa a el p oblema. model_mnis .pop() model_mnis .pop() model_mnis . ainable=False Las dos úl imas capas an dedicadas a la clasi icación inal lo cual no nos in e esa y podemos qui a median e la unción pop(). Luego el p ocedimien o es igual a lo ya explicado. model = .ke as.Sequen ial([ Inpu Laye (inpu _shape=(250,250,1)), model_mnis , Con 2D(15, (3, 3), ac i a ion=' elu'), MaxPooling2D((2, 2)), Fla en(), Dense(3, ac i a ion='so max') ]) model.summa y() model.compile(loss='ca ego ical_c ossen opy', op imize ='adam', me ics=['accu acy']) his o yFE = model. i ( ain_gene a o , alida ion_da a = alida ion_gene a o , epochs=10, e bose=1) La única di e encia es que, en es e caso, al se un modelo p opio, enemos que ajus a los pa áme os de en ada. Es o con los modelos an e io es no hacía al a po que la unción de desca ga de Ke as ya lo hacía po noso os al desca ga lo. 3.3 Resul ados En cada uno de los en enamien os, al inaliza , se imp ime en la salida del e minal el alo de accu acy ob enido ya que lo usa pa a en ena al modelo. Si nos ijamos en la salida ob enemos: • Modelo P opio → Tes Accu acy: 0.8333333134651184 • Modelo basado en MobileNe V2 → Tes Accu acy: 0.8333333134651184 • Modelo basado en VGG16 → Tes Accu acy: 0.8333333134651184 • Modelo basado en MNIST→ Tes Accu acy: 0.8333333134651184 45 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico Podemos e el alo accu acy es deci , en la p opo ción de da os que ha clasi icado el modelo co ec amen e, la p ecisión. Pa ecen ene odos una buena p ecisión, sin emba go es o no es muy escla ecedo y equie e de o as p uebas pa a e i ica que el en enamien o ha sido e ec i o. Como la p ecisión de odas es la misma, posiblemen e las edes es án clasi icando bien exac amen e las mismas imágenes de lo cual se desp ende que son imágenes ela i amen e sencillas. La mejo o ma que enemos de e alua el modelo es, como ya mencioné, usando el da ase de p uebas que había p epa ado que cons a de 6 mues as. es _los , es _acc = modelFE.e alua e( es _gene a o ) Exis en o as he amien as pa a e alua los esul ados como la ma iz de con usión. Se a a de una ma iz que con abiliza las p edicciones compa ándolas con los alo es eales. Los esul ados ob enidos en la ma iz se pueden di idi en cua o g andes g upos [25]: Figu a 3-8. Tipos de esul ados [25]. Donde: o VP: Son los posi i os que el modelo ha p edicho co ec amen e. o VN: Son los casos nega i os que el modelo ha p edicho co ec amen e. o FP Son los casos nega i os que ue on clasi icados inco ec amen e como posi i os. o FN: Son los casos posi i os que ue on clasi icados inco ec amen e como nega i os. A pa i de es a ma iz de con usión podemos ob ene cie as ca ac e ís icas ep esen a i as: o Accu acy: 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦= (𝑉𝑃+𝑉𝑁) (𝑉𝑃+𝑉𝑁+𝐹𝑃+𝐹𝑁) ( 3-1) o Sensi i i y: Indica como de bien e i a lo alsos posi i os. 𝑆𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦= 𝑉𝑃 (𝑉𝑃+𝐹𝑁) ( 3-2 ) La lib e ía Sciki -lea n, muy conocida ambién pa a la ciencia de da os, p o ee de unciones que calculan es os alo es y gene an la ma iz jun o con el accu acy ob enido [38]. • Modelo P opio Máquina de ap endizaje au omá ico 46 46 Figu a 3-9. Ma iz de con usión y esul ados del modelo p opio. • Modelo basado en MobileNe V2 Figu a 3-10. Ma iz de con usión y esul ados del modelo con MobileNe V2. • Modelo basado en VGG16 Figu a 3-11. Ma iz de con usión y esul ados del modelo con VGG16. • Modelo basado en MNIST Figu a 3-12. Ma iz de con usión y esul ados del modelo con modelo basado en MNIST. Los esul ados aquí no se co esponden el accu acy ob enido po el modelo. De hecho, al ol e lo a ejecu a salen alo es dis in os. Cabe en onces plan ea se qué sco ing es amos ob eniendo a la salida po cada ez que lo 47 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico ejecu amos, p obamos a ejecu a lo dos eces seguidas a e cuál es el esul ado. • Modelo P opio Figu a 3-13. Resul ados de sco ings en el es de p ueba con modelo p opio. El modelo p opio pa ece se cohe en e en cada una de sus salidas, en o as no an o como en el e ce y cua o a ay. • Modelo basado en MobileNe V2 Figu a 3-14. Resul ados de sco ings en el es de p ueba con MobileNe V2. En es e modelo, los esul ados son o almen e dispa es, no sabe cómo clasi ica y los alo es que de uel e a la salida son casi alea o ios. • Modelo basado en VGG16 Máquina de ap endizaje au omá ico 48 48 Figu a 3-15. Resul ados de sco ings en el es de p ueba con VGG16 Igual que en caso an e io , uel e a a oja alo es que di ie en mucho en e sí. • Modelo basado en MNIST Figu a 3-16. Resul ados de sco ings en el es de p ueba con modelo basado en MNIST. Aquí los alo es son muy pequeños, clasi ica de o ma alea o ia p ác icamen e, an e cualquie mínima a iación de los alo es se e modi icado. T as e los esul ados podemos conclui que ninguno de los modelos ha ob enido buenos esul ados. El hecho de que die an buenos accu acy du an e los en enamien os se es ima que puede se debido a que se han ajus ado única y exclusi amen e a los pa áme os con los que se ha en enado sin llega a ap ende ninguna ca ac e ís ica singula o ele an e pa a es a clasi icación. Se puede debe a que hay cie as imágenes que son muy áciles de clasi ica , es o se e i a ampliando el da ase aumen ando ambién la a iedad. 3.4 Posibilidad de mejo a Respec o a los esul ados a ojados y como conclusión de la sección an e io , hay a ios pun os de mejo a que se me ocu en: • La mejo a más signi ica i a a ealiza se ía aumen a el amaño del da ase . Tomando ejemplos de cu sos, del p opio lib o de Jo di To es, o de casos en o os, es imo que con unos 100 o 200 alo es se ía su icien e pa a ob ene una mejo ía. Es o eniendo en cuen a que es posible aplica la écnica de T ans e Lea ning. • O a posible opción se ía sepa a las líneas del lujo óp ico en imágenes independien es. Es deci , po cada línea ob enida que nace de una esquina ob ene una imagen. Se p edeci ía una imagen con una línea que ep esen a ía un mo imien o de un único bo de. De es a o ma es a íamos consiguiendo mul iplica el núme o de da os po las esquinas que pudié amos saca de un ídeo. • Du an e el desa ollo descub í o as lib e ías dedicadas a Machine Lea ning, algunas de ellas muy in e esan es y con sus en ajas en e a Tenso Flow y (aunque ambién enían sus des en ajas). Po ejemplo: PyTo ch, Sciki -lea n o MXNe . Se ía un buen eje cicio analiza las y plan ea se cuáles son las bondades de cada una. 49 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico 3.5 Conclusiones inales El da ase usado es bas an e pequeño y no da luga a ajus a los alo es de las neu onas pa a que “ap endan” cosas cohe en es. En la búsqueda de soluciones encon é que, po lo gene al, se solía conside a un da ase pequeño cuando el núme o de sus mues as es aba en o no a unos cen ena es; sin emba go, en nues o caso apenas llegamos a una cen ena de es os. Po es a azón las edes neu onales no han sido capaces de ap ende co ec amen e y da un mejo esul ado. Sin duda, el ámbi o del Deep Lea ning es muy a iado y puede se i pa a c ea soluciones a múl iples p oblemas. Pe o pa a ello se equie e ene una buena base de conocimien o y mucha expe iencia si se p e ende in es iga . Es ácil en ena in eligencias a i iciales con g andes da ase y de p opósi os ípicos como los que se suelen oma de ejemplos en lib os y cu sos, pe o cuando se p e enden indaga en nue as posibles soluciones que no se han llegado a plan ea es más complicado de implemen a . Al p incipio pensaba que el lujo óp ico e a un buen mé odo pa a ca ac e iza acciones, sin emba go, as e el po encial que ienen las edes con olucionales y los esul ados ob enidos, me plan eo si ealmen e ue una buena decisión. Po ejemplo, a inales del desa ollo descub í el cálculo de densidad de lujo óp ico de Gunna Fa neback [24] u o os mé odos de en los que se usan o as edes neu onales [39]. O quizás no ue a necesa io aplica el lujo óp ico sino selecciona un á ea conc e a de los ídeos e in en a mejo a la esolución. En cualquie caso, és e ha sido mi p ime ace camien o a la in eligencia a i icial y, a pesa de no habe enido los esul ados espe ados, he ap endido mucho y aumen ado las uen es de in o mación de las que segui ap endiendo. És e e a el obje i o p ima io de es e abajo in de g ado y puede conside a se plenamen e sa is echo. Además, g acias a la acilidad de Ke as, he encon ado mo i ación pa a segui haciendo p uebas e in es igaciones. Máquina de ap endizaje au omá ico 50 50 51 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico ANEXOS: CÓDIGOS REALIZADOS 3.6 ge Da a.py om ileinpu impo ilename om kin e . k impo Combobox om c 2 impo CAP_PROP_POS_FRAMES, co ne SubPix impo numpy as np impo c 2 as c impo imu ils om kin e impo * om kin e . iledialog impo askopen ilename om u le impo wid h om PIL impo Image om PIL impo ImageTk impo andom as ng """ De inición de a iables globales """ #Es a a iable de ine el amaño de la imagen de salida en el eje ho izon al #El eje e ical queda p opo cional según el amaño de la imagen RESOLUTION_IMAGE_H = 720 #Ma ca la can idad de los ames po segundo de un ideo FPS = 30 #Se usa como e iqui a p incipal pa a cons ui la in e az global labelVideo #Ma ca las esquinas calculadas, se pone como global pa a que la usen a ios mé odos en e sí e in e cambia in o mación global co ne s ############################# Decla ación de unciones ############################# """" Función: De inición: Pa áme os: * e u n: """ de alida eF ame(ini F ame): ''' Función: alida eF ame De inición: Asegu a que el alo de ame in oducido no sea nega i o ni mayo que el máximo del ídeo. Pa áme os: * ini F ame: Núme o de ame de inicio. e u n: ini F ame ''' i ini F ame >= max_ ame-1: ini F ame = max_ ame-1 eli ini F ame < min_ ame: ini F ame = min_ ame e u n ini F ame ''' Anexos: Códigos ealizados 52 52 Función: change_ ame De inición: Función que se encga ga de llama a o as unciones pa a cambia los alo es. Pa áme os: * al: alo del ame a cambia . e u n: null ''' #PROBAR A QUITAR Y VER QUE NO AFECTA #de change_ ame( al): # ame_ini _Spinbox # ame_ini _Slide de ame_ini _Slide (ini F ame): ''' Función: ame_ini _Slide De inición: Valida el alo in oducido en el Slide y cambia el alo de es e. Pa áme os: * ini F ame: alo de ame inicial e u n: null ''' ame= alida eF ame(in (ini F ame)) ge _image( ame) ini F ame = ame de ame_ini _Spinbox(): ''' Función: ame_ini _Spinbox De inición: Valida el alo inicial de ame in oducido en el Spinbox y cambia el alo de es e. Pa áme os: e u n: null ''' ame= alida eF ame(ini F ame.ge ()) ge _image( ame) ini F ame.se ( ame) de ame_end_Spinbox(): ''' Función: ame_end_Spinbox De inición: Valida el alo inal de ame in oducido en el Spinbox y cambia el alo de es e. Pa áme os: e u n: null ''' ame= alida eF ame(endF ame.ge ()) ge _image( ame) endF ame.se ( ame) de ge _image(ini F ame): ''' Función: ge _image De inición: Modi ica el alo del ame inicial al que se apun a y luego lo mues a en pan alla a a és de la in e az. Pa áme os: * ini F ame: Valo del ame a oma . 53 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico e u n: null ''' cap.se (CAP_PROP_POS_FRAMES, ini F ame) e , ame = cap. ead() show_image( ame) de show_image( ame): ''' Función: show_image De inición: Mues a la imagen del ame omado como alo inicial en la in e az. Pa áme os: * ame: Ma iz de la imagen. e u n: null ''' ame = imu ils. esize( ame, wid h=RESOLUTION_IMAGE_H) ame = c .c Colo ( ame, c .COLOR_BGR2RGB) im = Image. oma ay( ame) img = ImageTk.Pho oImage(image=im) labelVideo.con igu e(image=img) labelVideo.image = img de change_co ne s_ ea u es(maxCo ne s, quali yLe el, minDis ance, blockSize): ''' Función: change_co ne s_ ea u es De inición: Valida los pa áme os pasados po la in e az y ealiza el cálculo de las esquinas. Pa áme os: * maxCo ne s: Máxima núme o de esquinas a de ec a . * quali yLe el: Calidad mínima a la que de ec a las esquinas en la imagen. El alo oscila en e 0 y 1. * minDis ance: Dis ancia euclídea mínima en e las esquinas a de ec a . * blockSize: Tamaño de un bloque usado pa a calcula la ma iz de co a ianza de i a i a sob e cada ecinidad de píxeles. e u n: null ''' #Validaciones de odos los pa áme os necesa ios pa a calcula las esquinas. #Si no se especi ican alo es o es án ue a de los angos admi idos se oman o os po de ec o #En cada uno se c ea una a iable auxilia que pasa los alo es omados a a iables que almacenen el ipo que co esponda. i maxCo ne s.ge ()=='' o 0 >= in (maxCo ne s.ge ()): p in ("ERROR: Debe habe un núme o posi i o de esquinas") maxCo ne s_aux = 10 else: maxCo ne s_aux = in (maxCo ne s.ge ()) i quali yLe el.ge ()=='' o ( loa (quali yLe el.ge ()) > 1 o loa (quali yLe el.ge ()) < 0): p in ("ERROR: quali yLe el debe es a en e 0 y 1") quali yLe el_aux=0.5 p in ( ype(quali yLe el_aux)) else: quali yLe el_aux = loa (quali yLe el.ge ()) i minDis ance.ge ()=='' o in (minDis ance.ge ()) < 0: p in ("ERROR: La dis ancia mínimo debe se un núme o posi i o") minDis ance_aux = 5 else: minDis ance_aux = in (minDis ance.ge ()) i blockSize.ge ()=='' o in (blockSize.ge ()) < 0: p in ("ERROR: El amaño del bloque debe se posi i o y en e o") blockSize_aux = 10 Anexos: Códigos ealizados 60 60 3.1 c eacion_modelo_mnis _250_250.ipynb asd impo ke as impo os impo enso low as impo numpy as np om ke as.da ase s impo mnis impo c 2 as c om enso low.ke as.p ep ocessing.image impo ImageDa aGene a o impo ma plo lib.pyplo as pl om enso low.ke as.u ils impo o_ca ego ical om ke as.models impo Sequen ial om ke as.laye s impo Dense, Ac i a ion, Con 2D, MaxPooling2D, Fla en, Inpu Laye impo c 2 (x_ ain, ain_labels), (x_ es , es _labels) = mnis .load_da a() ain_images= np.emp y((len(x_ ain),250,250), d ype=' loa 32') o i in ange(len(x_ ain)): img=x_ ain[i] img=c 2. esize(img, (250,250)) ain_images[i]=img es _images= np.emp y((len(x_ es ),250,250), d ype=' loa 32') o i in ange(len(x_ es )): img=x_ es [i] img=c 2. esize(img, (250,250)) es _images[i]=img ain_images = ain_images / 255 es _images = es _images / 255 ain_labels = o_ca ego ical( ain_labels) es _labels = o_ca ego ical( es _labels) model = Sequen ial() model.add(Inpu Laye (shape=(1,))), model.add(Con 2D(32,(5,5),ac i a ion=' elu')) model.add(MaxPooling2D((2, 2))) model.add(Con 2D(64, (5, 5), ac i a ion=' elu')) model.add(MaxPooling2D((2, 2))) model.add(Fla en()) model.add(Dense(10, ac i a ion='so max')) model.compile(loss='ca ego ical_c ossen opy', op imize ='sgd', me ics=['accu acy']) model. i ( ain_images, ain_labels, ba ch_size=100, epochs=5, e bose=1) model.sa e('mnis _250_250_2.h5') 3.2 modelo_p opio.py impo ke as impo os impo enso low as impo numpy as np om ke as.da ase s impo mnis impo c 2 as c om enso low.ke as.p ep ocessing.image impo ImageDa aGene a o 61 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico impo ma plo lib.pyplo as pl om enso low.ke as.u ils impo o_ca ego ical om ke as.models impo Sequen ial om ke as.laye s impo Dense, Ac i a ion, Con 2D, MaxPooling2D, Fla en, Inpu Laye impo c 2 ain_da agen = ImageDa aGene a o ( escale = 1. /255, wid h_shi _ ange=0.2, heigh _shi _ ange=0.2 ) alida ion_da agen = ImageDa aGene a o ( escale = 1. /255, wid h_shi _ ange=0.2, heigh _shi _ ange=0.2 ) es _da agen = ImageDa aGene a o ( escale = 1. /255, wid h_shi _ ange=0.2, heigh _shi _ ange=0.2 ) ain_gene a o = ain_da agen. low_ om_di ec o y('da ase / ain', class_mode='ca ego ical', a ge _size=(250, 250), shu le=T ue, colo _mode='g ayscale') alida ion_gene a o = alida ion_da agen. low_ om_di ec o y('da ase / alida ion', class_mode='ca ego ical', a ge _size = (250, 250), shu le=T ue, colo _mode='g ayscale') es _gene a o = es _da agen. low_ om_di ec o y('da ase / es ', class_mode='ca ego ical', a ge _size = (250, 250), shu le=T ue, colo _mode='g ayscale') model = .ke as.Sequen ial([ Inpu Laye (inpu _shape=(250,250,1)), Con 2D(32,(3,3),ac i a ion=' elu'), MaxPooling2D((2, 2)), Con 2D(64, (5, 5), ac i a ion=' elu'), MaxPooling2D((2, 2)), Fla en(), Dense(3, ac i a ion='so max') ]) model.summa y() model.compile(loss='ca ego ical_c ossen opy', op imize ='adam', me ics=['accu acy']) his o y = model. i ( ain_gene a o , alida ion_da a = alida ion_gene a o , epochs=10, e bose=1) es _los , es _acc = model.e alua e( es _gene a o ) p in ("Tes Accu acy:", es _acc) model.sa e('modelo_p opio.h5') 3.3 modelo_mnis .py impo ke as impo os impo enso low as impo numpy as np om ke as.da ase s impo mnis Anexos: Códigos ealizados 62 62 impo c 2 as c om enso low.ke as.p ep ocessing.image impo ImageDa aGene a o impo ma plo lib.pyplo as pl om enso low.ke as.u ils impo o_ca ego ical om ke as.models impo Sequen ial om ke as.laye s impo Dense, Ac i a ion, Con 2D, MaxPooling2D, Fla en, Inpu Laye impo c 2 om sklea n.me ics impo con usion_ma ix ain_da agen = ImageDa aGene a o ( escale = 1. /255, wid h_shi _ ange=0.2, heigh _shi _ ange=0.2 ) alida ion_da agen = ImageDa aGene a o ( escale = 1. /255, wid h_shi _ ange=0.2, heigh _shi _ ange=0.2 ) es _da agen = ImageDa aGene a o ( escale = 1. /255, wid h_shi _ ange=0.2, heigh _shi _ ange=0.2 ) ain_gene a o = ain_da agen. low_ om_di ec o y('da ase / ain', class_mode='ca ego ical', a ge _size=(250, 250), shu le=T ue, colo _mode='g ayscale') alida ion_gene a o = alida ion_da agen. low_ om_di ec o y('da ase / alida ion', class_mode='ca ego ical', a ge _size = (250, 250), shu le=T ue, colo _mode='g ayscale') es _gene a o = es _da agen. low_ om_di ec o y('da ase / es ', class_mode='ca ego ical', a ge _size = (250, 250), shu le=T ue, colo _mode='g ayscale') model_mnis =ke as.models.load_model('mnis _250_250_2.h5') model_mnis .summa y() model_mnis .pop() model_mnis .pop() model_mnis .summa y() model_mnis . ainable=False model = .ke as.Sequen ial([ Inpu Laye (inpu _shape=(250,250,1)), model_mnis , Con 2D(15, (3, 3), ac i a ion=' elu'), MaxPooling2D((2, 2)), Fla en(), Dense(3, ac i a ion='so max') ]) model.summa y() model.compile(loss='ca ego ical_c ossen opy', op imize ='adam', me ics=['accu acy']) his o yFE = model. i ( ain_gene a o , alida ion_da a = alida ion_gene a o , epochs=10, e bose=1) es _los , es _acc = model.e alua e( es _gene a o ) p in ("Tes Accu acy:", es _acc) 63 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico model.sa e('modelo_mnis .h5') 3.4 modelo_ gg16.py impo ke as impo os impo enso low as impo numpy as np om ke as.da ase s impo mnis impo c 2 as c om enso low.ke as.p ep ocessing.image impo ImageDa aGene a o impo ma plo lib.pyplo as pl om enso low.ke as.u ils impo o_ca ego ical om ke as.models impo Sequen ial om ke as.laye s impo Dense, Ac i a ion, Con 2D, MaxPooling2D, Fla en, Inpu Laye impo c 2 om enso low.ke as.applica ions impo VGG16 ain_da agen = ImageDa aGene a o ( escale = 1. /255, wid h_shi _ ange=0.2, heigh _shi _ ange=0.2 ) alida ion_da agen = ImageDa aGene a o ( escale = 1. /255, wid h_shi _ ange=0.2, heigh _shi _ ange=0.2 ) es _da agen = ImageDa aGene a o ( escale = 1. /255, wid h_shi _ ange=0.2, heigh _shi _ ange=0.2 ) ain_gene a o = ain_da agen. low_ om_di ec o y('da ase / ain', class_mode='ca ego ical', a ge _size=(224, 224), shu le=T ue, colo _mode=' gb') alida ion_gene a o = alida ion_da agen. low_ om_di ec o y('da ase / alida ion', class_mode='ca ego ical', a ge _size = (224, 224), shu le=T ue, colo _mode=' gb') es _gene a o = es _da agen. low_ om_di ec o y('da ase / es ', class_mode='ca ego ical', a ge _size = (224, 224), shu le=T ue, colo _mode=' gb') model_ gg16 = VGG16(inpu _shape = (224, 224, 3), include_ op = False, weigh s = 'imagene ') model_ gg16.summa y() model_ gg16. ainable = False model = .ke as.Sequen ial([ model_ gg16, Con 2D(15, (3, 3), ac i a ion=' elu'), MaxPooling2D((2, 2)), Fla en(), .ke as.laye s.Dense(3, ac i a ion='so max') ]) model.summa y() model.compile(loss='ca ego ical_c ossen opy', Anexos: Códigos ealizados 64 64 op imize ='adam', me ics=['accu acy']) his o y = model. i ( ain_gene a o , alida ion_da a = alida ion_gene a o , epochs=10, e bose=1) es _loss, es _acc = model.e alua e( es _gene a o ) es _los , es _acc = model.e alua e( es _gene a o ) p in ("Tes Accu acy:", es _acc) model.sa e('modelo_ gg16.h5') 3.5 modelo_MobileNe V2.py impo ke as impo os impo enso low as impo numpy as np om ke as.da ase s impo mnis impo c 2 as c om enso low.ke as.p ep ocessing.image impo ImageDa aGene a o impo ma plo lib.pyplo as pl om enso low.ke as.u ils impo o_ca ego ical om ke as.models impo Sequen ial om ke as.laye s impo Dense, Ac i a ion, Con 2D, MaxPooling2D, Fla en, Inpu Laye impo c 2 om enso low.ke as.applica ions impo MobileNe V2 om sklea n.me ics impo con usion_ma ix impo enso low as impo enso low_hub as hub om sklea n.me ics impo con usion_ma ix, Con usionMa ixDisplay, classi ica ion_ epo #u l = "h ps:// hub.de /google/ 2-p e iew/mobilene _ 2/ ea u e_ ec o /4" #modelo_mobilene 2 = hub.Ke asLaye (u l, inpu _shape=(224,224,3)) ain_da agen = ImageDa aGene a o ( escale = 1. /255, wid h_shi _ ange=0.2, heigh _shi _ ange=0.2 ) alida ion_da agen = ImageDa aGene a o ( escale = 1. /255, wid h_shi _ ange=0.2, heigh _shi _ ange=0.2 ) es _da agen = ImageDa aGene a o ( escale = 1. /255, wid h_shi _ ange=0.2, heigh _shi _ ange=0.2 ) ain_gene a o = ain_da agen. low_ om_di ec o y('da ase / ain', class_mode='ca ego ical', a ge _size=(224, 224), shu le=T ue, colo _mode=' gb') alida ion_gene a o = alida ion_da agen. low_ om_di ec o y('da ase / alida ion', class_mode='ca ego ical', a ge _size = (224, 224), shu le=T ue, colo _mode=' gb') es _gene a o = es _da agen. low_ om_di ec o y('da ase / es ', class_mode='ca ego ical', a ge _size = (224, 224), 65 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico shu le=T ue, colo _mode=' gb') modelo_mobilene 2 = MobileNe V2(inpu _shape = (224, 224, 3), include_ op = False, weigh s = 'imagene ') modelo_mobilene 2.summa y() modelo_mobilene 2. ainable = False model = .ke as.Sequen ial([ modelo_mobilene 2, Con 2D(15, (3, 3), ac i a ion=' elu'), MaxPooling2D((2, 2)), Fla en(), Dense(3, ac i a ion='so max') ]) model.summa y() model.compile(loss='ca ego ical_c ossen opy', op imize ='adam', me ics=['accu acy']) his o y = model. i ( ain_gene a o , alida ion_da a = alida ion_gene a o , epochs=10, e bose=1) es _los , es _acc = model.e alua e( es _gene a o ) p in ("Tes Accu acy:", es _acc) #model.sa e('modelo_MobileNe V2.h5') p ediccion = model.p edic ( es _gene a o ) lables_p edic =np.ze os(len(p ediccion)) o i in ange(len(p ediccion)): lables_p edic [i]=np.a gmax(p ediccion[i]) cm = con usion_ma ix( es _gene a o .labels, lables_p edic ) disp = Con usionMa ixDisplay(con usion_ma ix=cm) disp.plo () p in (classi ica ion_ epo ( es _gene a o .labels, lables_p edic )) 3.6 ma iz_con usion.ipynb impo ke as impo os impo enso low as impo numpy as np om ke as.da ase s impo mnis impo c 2 as c om enso low.ke as.p ep ocessing.image impo ImageDa aGene a o impo ma plo lib.pyplo as pl om enso low.ke as.u ils impo o_ca ego ical om ke as.models impo Sequen ial om ke as.laye s impo Dense, Ac i a ion, Con 2D, MaxPooling2D, Fla en, Inpu Laye impo c 2 om sklea n.me ics impo con usion_ma ix, Con usionMa ixDisplay, classi ica ion_ epo es _da agen = ImageDa aGene a o ( escale = 1. /255) Anexos: Códigos ealizados 66 66 es _gene a o = es _da agen. low_ om_di ec o y('da ase / es ', class_mode='ca ego ical', a ge _size = (250, 250), shu le=T ue, colo _mode=' gb') # Modelo MNIST model_mnis =ke as.models.load_model('modelo_mnis .h5') # Modelo VGG16 model_ gg16=ke as.models.load_model('modelo_ gg16.h5') # Model MobileNe V2 model_mobile=ke as.models.load_model('modelo_MobileNe V2.h5') # Modelo p opio model_p opio=ke as.models.load_model('modelo_p opio.h5') # Resul ados p ediccion = model_ gg16.p edic ( es _gene a o ) p ediccion lables_p edic =np.ze os(len(p ediccion)) o i in ange(len(p ediccion)): lables_p edic [i]=np.a gmax(p ediccion[i]) lables_p edic cm = con usion_ma ix( es _gene a o .labels, lables_p edic ) disp = Con usionMa ixDisplay(con usion_ma ix=cm) disp.plo () p in (classi ica ion_ epo ( es _gene a o .labels, lables_p edic )) 67 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico REFERENCIAS [1] “MATLAB - El lenguaje del cálculo écnico - MATLAB & Simulink.” h ps://es.ma hwo ks.com/p oduc s/ma lab.h ml (Accedido: Sep. 11, 2022). [2] “MATLAB - Wikipedia, la enciclopedia lib e.” h ps://es.wikipedia.o g/wiki/MATLAB (Accedido: Sep. 12, 2022). [3] “¿Qué es Ja a y po qué lo necesi o?” h ps://www.ja a.com/es/download/help/wha is_ja a.h ml (Accedido: Sep. 11, 2022). [4] “C (lenguaje de p og amación) - Wikipedia, la enciclopedia lib e.” h ps://es.wikipedia.o g/wiki/C_(lenguaje_de_p og amaci%C3%B3n) (Accedido: Sep. 11, 2022). [5] “Download Py hon | Py hon.o g.” h ps://www.py hon.o g/downloads/ (Accedido: Sep. 11, 2022). [6] “Py hon - Wikipedia, la enciclopedia lib e.” h ps://es.wikipedia.o g/wiki/Py hon (Accedido: Sep. 12, 2022). [7] “Documen a ion o Visual S udio Code.” h ps://code. isuals udio.com/docs (Accedido: Sep. 11, 2022). [8] “Visual S udio Code - Wikipedia, la enciclopedia lib e.” h ps://es.wikipedia.o g/wiki/Visual_S udio_Code (Accedido: Sep. 12, 2022). [9] “OpenCV: OpenCV Tu o ials.” h ps://docs.openc .o g/4.x/d9/d 8/ u o ial_ oo .h ml (Accedido: Sep. 11, 2022). [10] “ kin e — In e ace de Py hon pa a Tcl/Tk — documen ación de Py hon - 3.10.7.” h ps://docs.py hon.o g/es/3/lib a y/ kin e .h ml (Accedido: Sep. 11, 2022). [11] “DaVinci Resol e 18 | Blackmagic Design.” h ps://www.blackmagicdesign.com/es/p oduc s/da inci esol e (Accedido: Sep. 11, 2022). [12] “DaVinci Resol e - Wikipedia, la enciclopedia lib e.” h ps://es.wikipedia.o g/wiki/DaVinci_Resol e (Accedido: Sep. 11, 2022). [13] “Top 8 Mos Demanded P og amming Languages in 2022.” h ps://www.de jobsscanne .com/blog/ op- 8-mos -demanded-languages-in-2022/ (Accedido: Sep. 11, 2022). [14] “No icias de úl ima ho a, p og amas y se ies de ele isión - RTVE.es.” h ps://www. e.es/ (Accedido: Sep. 12, 2022). [15] M. Ruiz A ahal, “Visión A i icial,” Uni e sidad de Se illa. [16] “Flujo óp ico - Wikipedia, la enciclopedia lib e.” h ps://es.wikipedia.o g/wiki/Flujo_%C3%B3p ico (Accedido: Sep. 11, 2022). [17] “OpenCV: Op ical Flow.” h ps://docs.openc .o g/3.4/d4/dee/ u o ial_op ical_ low.h ml (Accedido: Sep. 11, 2022). [18] “OpenCV: Ha is Co ne De ec ion.” h ps://docs.openc .o g/3.4/dc/d0d/ u o ial_py_ ea u es_ha is.h ml (Accedido: Sep. 12, 2022). [19] Jianbo Shi and Tomasi, “Good ea u es o ack,” in P oceedings o IEEE Con e ence on Compu e Vision and Pa e n Recogni ion CVPR-94, 1994, pp. 593–600. doi: 10.1109/CVPR.1994.323794. [20] “OpenCV: Shi-Tomasi Co ne De ec o & Good Fea u es o T ack.” h ps://docs.openc .o g/3.4/d4/d8c/ u o ial_py_shi_ omasi.h ml (Accedido: Sep. 12, 2022). Re e encias 68 68 [21] “OpenCV: Ope a ions on a ays.” h ps://docs.openc .o g/3.4/d2/de8/g oup__co e__a ay.h ml#gaa0 00d98b4b5edeaeb7b8333b2de353b (Accedido: Sep. 12, 2022). [22] “OpenCV: Fea u e De ec ion.” h ps://docs.openc .o g/3.4/dd/d1a/g oup__imgp oc__ ea u e.h ml (Accedido: Sep. 12, 2022). [23] “OpenCV: Objec T acking.” h ps://docs.openc .o g/3.4/dc/d6b/g oup__ ideo__ ack.h ml (Accedido: Sep. 12, 2022). [24] G. Fa nebäck, “Two-F ame Mo ion Es ima ion Based on Polynomial Expansion,” 2003, pp. 363–370. doi: 10.1007/3-540-45103-X_50. [25] “Deep Lea ning – In oducción p ác ica con Ke as - Jo di TORRES.AI.” h ps:// o es.ai/deep-lea ning- in eligencia-a i icial-ke as (Accedido: Sep. 11, 2022). [26] “P ojec Jupy e | Abou Us.” h ps://jupy e .o g/abou (Accedido: Sep. 11, 2022). [27] “P oyec o Jupy e - Wikipedia, la enciclopedia lib e.” h ps://es.wikipedia.o g/wiki/P oyec o_Jupy e (Accedido: Sep. 12, 2022). [28] “Te damos la bien enida a Colabo a o y - Colabo a o y.” h ps://colab. esea ch.google.com/?hl=es (Accedido: Sep. 11, 2022). [29] “Tenso Flow - Wikipedia, la enciclopedia lib e.” h ps://es.wikipedia.o g/wiki/Tenso Flow (Accedido: Sep. 12, 2022). [30] “Ke as - Wikipedia, la enciclopedia lib e.” h ps://es.wikipedia.o g/wiki/Ke as (Accedido: Sep. 12, 2022). [31] F. Cholle , “Deep Lea ning wi h Py hon, Second Edi ion,” Deep Lea ning wi h Py hon, 2021. [32] “Deep Lea ning, In oducción p ác ica con Ke as (SEGUNDA PARTE) - Jo di TORRES.AI.” h ps:// o es.ai/deep-lea ning-in eligencia-a i icial-ke as-2a-pa e/#AccesoLib o2aPa e (Accedido: Sep. 11, 2022). [33] “ .ke as.p ep ocessing.image.ImageDa aGene a o | Tenso Flow 2.10.0.” h ps://www. enso low.o g/api_docs/py hon/ /ke as/p ep ocessing/image/ImageDa aGene a o (Accedido: Sep. 12, 2022). [34] “The Sequen ial class.” h ps://ke as.io/api/models/sequen ial/ (Accedido: Sep. 12, 2022). [35] “VGG16 and VGG19.” h ps://ke as.io/api/applica ions/ gg/ (Accedido: Sep. 12, 2022). [36] “VGG: ¿Qué es es e modelo? ¡Daniel e lo cuen a odo!” h ps://da ascien es .com/es/ gg-que-es-es e- modelo-daniel- e-lo-cuen a- odo (Accedido: Sep. 12, 2022). [37] “MobileNe , MobileNe V2, and MobileNe V3.” h ps://ke as.io/api/applica ions/mobilene / (Accedido: Sep. 12, 2022). [38] “Con usion ma ix — sciki -lea n 1.1.2 documen a ion.” h ps://sciki - lea n.o g/s able/au o_examples/model_selec ion/plo _con usion_ma ix.h ml (Accedido: Sep. 12, 2022). [39] W. Bao, W.-S. Lai, C. Ma, X. Zhang, Z. Gao, and M.-H. Yang, “Dep h-Awa e Video F ame In e pola ion.” [Online]. Disponible: h ps://gi hub.com/baowenbo/DAIN 69 Pe cepción de la acción en una imagen median e algo i mos de ap endizaje au omá ico