Reconocimiento de acciones corporales mediante aprendizaje profundo con datos sensoriales de dispositivos móviles

Reconocimien o de acciones co po ales median e ap endizaje p o undo con da os senso iales de disposi i os mó iles Recogni ion o body ac ions h ough deep lea ning wi h senso y da a om mobile de ices T abajo de Fin de G ado Cu so 2020–2021 Au o es Me cedes He e o Fe nández Ne ea Jiménez González Di ec o Gonzalo Paja es Ma insanz G ado en Ingenie ía del So wa e Facul ad de In o má ica Uni e sidad Complu ense de Mad id Reconocimien o de acciones co po ales median e ap endizaje p o undo con da os senso iales de disposi i os mó iles Recogni ion o body ac ions h ough deep lea ning wi h senso y da a om mobile de ices T abajo de Fin de G ado en Ingenie ía So wa e Depa amen o de Ingenie ía de So wa e e In eligencia A i icial Au o es Me cedes He e o Fe nández Ne ea Jiménez González Di ec o Gonzalo Paja es Ma insanz Con oca o ia: Junio 2021 Cali icación: G ado en Ingenie ía del So wa e Facul ad de In o má ica Uni e sidad Complu ense de Mad id 5 de junio de 2021 Ag adecimien os Me cedes He e o En p ime luga , me gus a ía ag adece a mi u o Gonzalo, po cada consejo y suge encia ecibida du an e el p oyec o, po es a siemp e dispues o a a ende nues as dudas y guia nos con su g an p o esionalidad. G acias a mi compañe a Ne ea po ameniza es e abajo desde el p ime día. G acias a odos los p o eso es que han dedicado su iempo en esol e mis dudas y da me sus consejos pa a mejo a an o a ni el p o esional como pe sonal. También quie o ag adece a odas las pe sonas que me han hecho más lle ade os es os años. En especial a Juan, Es he y Jai o po es a desde el p incipio. A las CUP po se mi desconexión, mi uen e de ene gía y los homb os donde me desahogo. A Da id po con ia más en mí que yo misma, g acias po acompaña me de la mano y da me un empujón cuando lo necesi aba. Pa a e mina , g acias a mi amilia. A mis pad es, po el eno me es ue zo que han hecho pa a da me la enseñanza que que ía, po inculca me que con abajo y pe se e ancia puedo alcanza las me as que me p oponga. A mis he manos, po elaja me con isas siemp e que necesi o oma me un espi o. A mi ía Ana, mi ángel que me cuida, g acias po enseña me que la ida hay que dis u a la enga lo que enga, ojalá pudie a enseña e odo lo que he ap endido es os años. i Ne ea Jiménez Ag adecimien os a odas las pe sonas que me han ayudado día a día a segui con la ca e a. A la asociación ASCII po hace que mi ida uni e - si a ia es u iese llena de ecue dos. A mis pad es po apoya me y da me mi espacio cuando lo necesi aba. A mi he mana po acompaña me en los momen os bajos. A mi no io po aguan a me en los momen os malos. A mis amigos, Toni po acompaña me en muchos momen os especiales pa a mí, Fe po es a ahí incluso cuando yo pa ecía no es a , A u po segui ahí aún cuando pa ecía que no y ayuda me con La ex Y BibTex, sin i p obablemen e hubiese e minado odiando es e abajo. Al po hace de mis p ime os años de ca e a los mejo es, a Juan po segui a mi lado incluso en los peo es momen os. A mis chicas Belén, Ela, Sil ia y V po ayuda me a sen i que no es aba sola en la acul ad. Ag adece a Ma io que me ayudó a ealiza el logo de la aplicación y que ha sido un compañe o de o o. Ag adece a odos aquellos que me hacían compañía en las ac i idades, E a, Richa d, Da id, Tomás, Rubén, gen e de ideojuegos que oso os sabéis quienes sois, g acias po aquel año ma a illoso de bailes. G acias a Da id Pascal, que me ha ayudado en muchos momen os y ha sido mi men o de Lá ex. G acias en especial a mi u o del TFG, Gonzalo, po hace que es e abajo inal no se con i iese en un in ie no, si no en o o paso más de la ca e a. G acias a mi compañe a Me cedes, po ayuda me a ap e a cuando se necesi aba, y a elaja se cuando hacía al a. Y inalmen e, g acias a odos aquellos p o eso es que me han ayudado a llega aquí, con sus u o ías y su paciencia. Resumen En la ac ualidad, el uso de edes neu onales ecu si as es muy ecuen e, aunque no lo eamos a simple is a. Desde nues as pulse as in eligen es has a la aplicación más sencilla, es posible que exis a una de es as edes abajando en un segundo plano. En es e p oyec o mos amos cómo, con una sencilla ed, se puede llega a clasi ica mo imien os co po ales. Pa a ello se p opone el uso de una ed neu onal del ipo LSTM (Long Sho Te m Memo y), de o ma que u ilizando da os de acele ación p oceden es de los senso es in eg ados en un disposi i o mó il, es posible, po un lado en ena el modelo de ed indicado pa a p ocede , en segundo luga a la clasi icación de nue as acciones. Se ha diseñado una aplicación que ealiza es a uncionalidad. Además, se p opone una ex ensión en el ámbi o de lo que se conoce como In e ne de las Cosas (IoT, In e ne o Things) de o ma que los esul ados ob enidos se ca gan en un se ido emo o, es o es, en la nube, que pe mi e el acceso e in e cambio de la in o mación almacenada, median e la ed social Twi e . En el plan eamien o que se p opone se amplía la posibilidad de clasi ica mo imien os median e una ed p e iamen e en enada o bien diseña una ed de inida ad hoc según las acciones eque idas. Palab as cla e: edes neu onales ecu en es, clasi icación, mo imien- os, IoT, ThingSpeak, edes LSTM, en enamien o, ap endizaje au omá ico, in eligencia a i icial i Abs ac Cu en ly, he use o ecu si e neu al ne wo ks is e y equen , al hough we don’ see i igh away. F om ou sma b acele s o he simples applica- ion, i is possible o ind one o hese ne wo ks wo king in he backg ound. In his p ojec , we show how wi h a simple ne wo k, i is possible o classi y body mo emen s. Fo his, he use o a neu al ne wo k o he LSTM ype (Long Sho Te m Memo y) is p oposed. I is easible o use accele a ion da a om he senso s in eg a ed in a mobile de ice and also o ain he indica ed ne wo k model o p oceed o he classi ica ion o new sha es. An applica ion has been designed ha pe o ms his unc ionali y. In ad- di ion, an ex ension is p oposed in he ield o wha is known as he In e ne o Things (IoT) so ha he esul s ob ained a e uploaded o a emo e se e , ha is, in he cloud, which allows access and exchange o s o ed in o ma- ion, h ough he social ne wo k Twi e . The sugges ed come up wi h he possibili y o classi ying mo emen s h ough a p e iously ained ne wo k o designing a de ined ad hoc ne wo k acco ding o he equi ed ac ions. Keywo ds: ecu en neu al ne wo ks, classi ica ion, mo emen s, IoT, ThingSpeak, LSTM ne wo ks, aining, au oma ic lea ning, a i icial in elligence. ii Índice 1. In oducción 1 1.1. Conside aciones gene ales . . . . . . . . . . . . . . . . . . . . 1 1.2. Es adodela e .......................... 4 1.3. Obje i os ............................. 5 1.4. Plande abajo.......................... 6 1.5. Es uc u a del documen o . . . . . . . . . . . . . . . . . . . . 6 1.6. Con ibuciones pe sonales . . . . . . . . . . . . . . . . . . . . 7 1.6.1. Me cedes He e o . . . . . . . . . . . . . . . . . . . . . 8 1.6.2. Ne ea Jiménez . . . . . . . . . . . . . . . . . . . . . . 10 1. In oduc ion 12 1.1. Gene al conside a ions . . . . . . . . . . . . . . . . . . . . . . 12 1.2. Objec i es............................. 14 1.3. Wo kplan ............................. 15 2. Es ado del a e: mé odos aplicados 16 2.1. In eligencia A i icial . . . . . . . . . . . . . . . . . . . . . . . 16 2.2. Ap endizaje Au omá ico . . . . . . . . . . . . . . . . . . . . . 17 2.3. Redes Neu onales Recu en es . . . . . . . . . . . . . . . . . . 19 2.4. RedesLSTM ........................... 22 2.4.1. Modelo y en enamien o . . . . . . . . . . . . . . . . . 22 iii 2.4.2. Pa áme os y mecanismos de Ap endizaje . . . . . . . 25 2.4.3. Clasi icación . . . . . . . . . . . . . . . . . . . . . . . . 26 3. Análisis y diseño 28 3.1. A qui ec u a ........................... 28 3.2. Tecnologías ............................ 30 3.2.1. Ma lab........................... 31 3.2.2. Thingspeak ........................ 32 3.3. Diseño............................... 32 3.3.1. En enamien o de la ed LSTM . . . . . . . . . . . . . 33 3.3.2. Clasi icación de acciones . . . . . . . . . . . . . . . . . 34 3.3.3. IoT............................. 34 4. Resul ados 36 4.1. Recu sos.............................. 36 4.2. Resul ados in eg ados de la aplicación . . . . . . . . . . . . . 38 4.2.1. En enamien o de ed . . . . . . . . . . . . . . . . . . 38 4.2.2. Clasi icación median e la ed LSTM . . . . . . . . . . 42 4.2.3. Uso de ThingSpeak . . . . . . . . . . . . . . . . . . . . 44 4.3. Análisis compa a i o: en enamien o y clasi icación . . . . . . 47 4.3.1. En enamien o . . . . . . . . . . . . . . . . . . . . . . 47 4.3.2. Clasi icación . . . . . . . . . . . . . . . . . . . . . . . . 48 5. Conclusiones y abajo u u o 51 5.1. Conclusiones ........................... 51 5.2. T abajo u u o .......................... 52 5. Conclusions and u u e wo k 53 5.1. Conclusions............................ 53 5.2. Fu u ewo k............................ 54 Bibliog a ía 55 ANEXO 58 de a anzada edad. En es e sen ido Kozina y col.[11] p oponen un sis ema pa a el econocimien o de caídas basada en la cap u a de da os a pa i de acele óme os ins alados en disposi i os po ables. Cie amen e, la me odología basada en LSTM ha cob ado g an ele an- cia en HAR desde hace más de una década, de ahí que di e sos abajos hayan abo dado el ema bajo es a pe spec i a, al es el caso de la p opues a ealizada po Sa-nguanna m y col.[12] que llegan a demos a que la u ili- zación de acele óme os en HAR mejo a el endimien o con espec o al uso de écnicas basadas en Redes Neu onales Con olucionales[1]. No obs an e, con iene señala que exis en o os abajos que p oponen el uso de mé odos basados en análisis de ideos pa a HAR, al es el caso pues o en [13]. Si bien, aunque desde el pun o de is a del desempeño en cuan o a la mejo a de e- sul ados puede se a o able en e a mé odos basados en LSTM, lo cie o es que necesi an siemp e que la pe sona ealizando la acción es é si uada bajo el campo de is a de la cáma a, algo que no es necesa io en el en oque p opues o en es e abajo, ya que el único equisi o es que la pe sona lle e consigo el sma phone con los senso es de acele ación ac i ados. Es a es una pode osa azón po la que en es e abajo se ha op ado po la opción de u ili- za las écnicas basadas en LSTM pa a HAR, además de su uso ex endido en di e sas aplicaciones, complemen ado con el hecho de que es os disposi i os son de uso común y en con inuo c ecimien o en la población con ca ác e gene al. 1.3. Obje i os El obje i o gene al de es e p oyec o es consegui clasi ica los mo imien- os ealizados po una pe sona, a a és de los senso es de un disposi i o mó il, u ilizando pa a ello una ed neu onal LSTM. Como ampliación u obje i o ex a, se p opone implemen a un modelo de ed pa icula izada y en enada con mo imien os de inidos po noso as mismas, de o ma que se pueda c ea una ed que clasi ique aquellos mo i- mien os deseados, y po an o, adap ando el ango de u ilidad del modelo a acciones especí icas p opias. Pa a cumpli los obje i os p e ios, se plan ean los siguien es obje i os especí icos que debe cumpli la aplicación p opues a. Son los siguien es: Diseño de un módulo de cap u a de da os. Diseño de un módulo de p ocesamien o de da os median e LSTM, que incluye en enamien o y econocimien o de acciones con los da os ob- enidos. 5 Diseño de un modelo de ed LSTM ad hoc, adap ado pa a el econoci- mien o de acciones p opias. Diseño de un módulo bajo el pa adigma IoT In eg ación de odos los módulos an e io es, incluyendo el lujo de da os en e los módulos. Diseño de un IHM pa a da cobe u a a la in eg ación, con cap u a y p esen ación de da os y esul ados. 1.4. Plan de abajo Al comenza con el abajo, se nos plan ea on una se ie de e os pa a lo cuales, nos p opusimos los siguien es pun os a segui : In es igación y documen ación del ema gene al. Ap ende conocimien os básicos de Ma lab. Ap ende conocimien os básicos de Lá ex. Es uc u ación de la aplicación. Núme o de módulos de la aplicación. Di idi las a eas en e los miemb os del abajo. Implemen ación de los módulos de la aplicación. Análisis de los esul ados de la aplicación. Documen ación en la memo ia del anscu so del abajo. Co ecciones y e isiones de la memo ia. Posible ampliación. 1.5. Es uc u a del documen o Los di e en es capí ulos que componen es e documen o son: Capí ulo 1, In oducción Conside aciones gene ales, es ado del a e, obje i os, es uc u a del documen o, plan de abajo y con ibuciones pe sonales. 6 Capí ulo 2, Es ado del a e: mé odos aplicados Teo ía sob e los mé odos aplicados en es e p oyec o, ela i os a con- cep os ales como la in eligencia a i icial, el ap endizaje au omá icos, las edes neu onales ecu en es, y las edes LSTM. Capí ulo 3, Análisis y diseño Explicación sob e la a qui ec u a, las ecnologías y diseño de la apli- cación. Capí ulo 4, Resul ados Recu sos u ilizados y esul ados in eg ados de la aplicación, ela i os a los p ocesos de en enamien o y clasi icación del modelo. Capí ulo 5, Conclusiones y abajo u u o Conclusiones y abajo u u o. Bibliog a ía Bibliog a ía ela i a al abajo ANEXO, Uso de la aplicación Guía sob e cómo u iliza la aplicación. T as i ealizando los pun os, inalmen e se decidió ealiza la ampliación, debido a que el anscu so ue posi i o. 1.6. Con ibuciones pe sonales En el desa ollo de es a aplicación se han ealizado di e en es a eas, solapándose es as en algunos casos y siendo ealizadas conjun amen e po ambas componen es del equipo. 7 1.6.1. Me cedes He e o Labo es en in es igación: In es iga sob e el uso del sis ema de composición de ex os Lá ex con el in de u iliza es e ecu so pa a el desa ollo de la memo ia. Es udio del uncionamien o de las edes LSTM. In es iga el uso de dis in as a qui ec u as de ed LSTM. Fo mación en las nociones básicas del lenguaje de p og amación MAT- LAB a a és de dis in os cu sos que pone a disposición Ma hWo ks. In es iga el uso de App Designe , un en o no de desa ollo pa a el diseño de in e aces o almen e in eg ado con MATLAB. Cap u a egis os de da os p opios pa a en ena la ed. Realización de dis in os mo imien os pa a comp oba el uncionamien- o de la ed en enada. In es iga la di e encia de esul ados en e una ed en enada con da os p opios y la ed en enada median e los da os HumanAc i i yT ain, que son da os p opo cionados po Ma hwo ks. Es udio del uncionamien o de las dis in as aplicaciones que pone a disposición Thingspeak. Vinculación de cuen a de Twi e con Thingspeak pa a u iliza la apli- cación de ThingTwee . Ges ión del p oyec o so wa e: C eación de un able o Kanban median e la he amien a T ello. Iden i ica las di e en es a eas necesa ias pa a ealiza el p oyec o. Fija p io idades en e las dis in as a eas. O ganiza las a eas según su unción y es ado. Es ablece echas de en ega pa a las a eas. Ac ualiza las a eas inalizadas. Iden i ica las dudas e impedimen os pa a consul a con Gonzalo. Es ablece euniones jun o con mi compañe a Ne ea pa a se conscien- es del es ado del p oyec o y es ablece nue os obje i os. 8 Diseño y desa ollo so wa e: Implemen ación de la conexión al sma phone pa a p ocede a la cap- u a de da os en i o y clasi icación de es os. Implemen ación de la moda es adís ica de la clasi icación de da os im- po ados desde un a chi o. Desa ollo e implemen ación de la in e az de clasi icación de da os. Tes eo de la aplicación con dis in os sis emas ope a i os. Implemen ación pa a el con ol de e o es de la aplicación. C eación e in eg ación con Ma lab de un canal de ThingSpeak des ina- do a almacena los alo es X, Y, Z de las acele aciones de los egis os cap u ados a a és del sma phone. C eación e in eg ación con Ma lab de un canal de ThingSpeak que almacene los alo es de la clasi icación ob enidos. Relaciona ThingTwee con Reac pa a manda ale as po Twi e cuando los da os de los canales cumplan unas de e minadas condicio- nes. Memo ia: Desa ollo de la in oducción inicial del capí ulo 1. Desa ollo del pun o 1.6.1: Con ibuciones pe sonales - Me cedes He- e o. Desa ollo del capí ulo 2: Mé odos aplicados. Desa ollo de los pun os del capí ulo 3: 3.1 A qui ec u a, 3.2 Tecnolo- gías, 3.3.1 En enamien o de la ed LSTM, 3.3.2 Clasi icación de ac- ciones y 3.3.3 IoT. Desa ollo de los pun os del capí ulo 4: 4.1 Recu sos, 4.2.2 Clasi ica- ción median e la ed LSTM, 4.2.3 Uso de ThingSpeak y 4.3 Análisis compa a i o: en enamien o y clasi icación Desa ollo del ANEXO, uso de la clasi icación de acciones. Re isiones pe iódicas de cada capí ulo. T aducción al inglés del capí ulo 1 y capí ulo 5. 9 1.6.2. Ne ea Jiménez Labo es en in es igación: Funcionamien o de Lá ex Uso de Google Académico In es igación de cómo usa bibliog a ía en Lá ex Uso de BibTex Uso de Ma lab Desk op Uso de App Designe , en o no de desa ollo pa a el diseño de in e aces in eg ado con Mal ab In es igación de la c eación de a chi os a pa i de mo imien os p opios In es igación de cap u a de mo imien os a a és de senso es Uso de Thingspeak In es igación sob e la elación de Ma lab y Thingspeak Ges ión del p oyec o so wa e: Plani icación y ealización de euniones con los miemb os del equipo y u o pa a alo a la p og esión del abajo y las u u as a eas a ealiza Repa o de a eas pa a el desa ollo de la aplicación Plani icación pa a las e isiones de la memo ia con u o y compañe os de equipo Plani icación pa a una ampliación del TFG Plani icación de co ección de e o es y e isión an es de la en ega inal Diseño y desa ollo so wa e: Implemen ación de la c eación y en enamien o de edes neu onales pa a la u u a clasi icación de acciones Desa ollo e implemen ación de la in e az de la c eación de edes neu- onales 10 Desa ollo de pes aña p incipal C eación del logo de la aplicación P uebas del uncionamien o de la aplicación Memo ia: C eación de la es uc u a de la memo ia en Lá ex Desa ollo pun o 1.1 Obje i o Desa ollo pun o 1.2 Es uc u a del documen o Desa ollo pun o 1.3.2 Con ibuciones pe sonales - Ne ea Jiménez Desa ollo del pun o 2.3 Redes Neu onales Recu en es Desa ollo del pun o 2.4 Redes LSTM Desa ollo del pun o 3.2.1 Ma lab Desa ollo del pun o 3.3 Diseño Re isión y co ección del apa ado 2 Enume ación de ecuaciones C eación del índice de ecuaciones Desa ollo del pun o 4.1 Recu sos Desa ollo del pun o 4.2.1 En enamien o de ed Desa ollo del ANEXO, uso de la in e az del en enamien o de ed Re isión y co ección del apa ado 1 Re isión y co ección del apa ado 2 Desa ollo del esumen y palab as cla e Re isión y co ección del apa ado 4 11 CHAPTER 1 In oduc ion Human ac i i y ecogni ion is a ield in con inuous expansion hanks o he echnological de elopmen o mobile de ices. They a e equipped wi h mo ion senso s ha allow iden i ying human ac i i ies based on he kind o mo emen ca ied ou by a pe son equipped wi h such a de ice. Spo s and heal h a e wo a eas o in e es , whe e de ices such as ac i i y wa ches, speedome e s o hei own sma phones a e elemen s gi ed wi h enough senso y echnology wi h such pu pose. Due o he wide di usion o sma phones among he gene al popula ion, i has allowed us o ocus his p ojec in he sense o de eloping an in elligen ac i i y de ec ion applica ion. We ha e used deep lea ning echniques whe e he sma phone is equipped wi h some senso s: angula eloci y, accele a ion, posi ion, magne ic ield and o ien a ion. Simul aneously, he applica ion is p oposed wi h an ex ension o ano he o he opical pa adigms, such as he In e ne o Things. 1.1. Gene al conside a ions Human Ac i i y Recogni ion (HAR) cons i u es a echnological ield ha has gained a g ea boom in ecen yea s hanks o he de elopmen and g ow h o he compu a ional echnologies and he ones inside he ield o A - i icial In elligence. Nowadays, Deep Lea ning is one o i s main pa adigms. This p ojec is based on he de elopmen o a Deep Lea ning based app oach. I is possible o ind di e en de ices on he ma ke ha pe o m HAR 12 in di e en a eas, ei he in spo s o heal h, o name wo clea a eas o appli- ca ion. In addi ion o he abo e, i is app opia e o e iew i s use ulness a he le el o moni o ing ac ions o de e mine ac i i y o inac i i y, when i is assumed ha his may be a isk in di e en segmen s o he popula ion, such as ac i i y-o ien ed ideo su eillance o child en o he elde ly, depending on he ime o day. The e a e comme cial echnological de elopmen s ha p o ide speci ic in o ma ion wi h which hey ca y ou HAR- ype p ocesses. The mos com- mon ha we can ind a ailable o use among he popula ion a e ac i i y wa ches, sma wa ches and he sma phones hemsel es. Gene ally, hese de ices a e di ec ly equipped wi h senso s ha eco d he use ul da a o ecognize he ac ions. The ecogni ion can be de e mined h ough an in- di ec connec ion ia Blue oo h o ano he ype o connec ion o ano he de ice, o example, a wa ch connec ed o a sma phone. The mos common da a collec ed by hese senso s a e ela i e o angula eloci y, accele a ion, posi ion, magne ic ield, and o ien a ion. The ac ions o be ecognized a e gene ally p og ammed based on he da a ecei ed and in a gene ic way. I may be ha , in he case o wa ches, i is no so common o ind such a de ice in a la ge numbe o people ha use i . In compa ison, a la ge pe cen age o he popula ion has a sma phone, which makes his de ice a mo e widely used i em. This is he main eason why, in his p ojec , i has been chosen o p opose an applica ion o use, using he sma phone’s senso s and he de ice i sel as suppo elemen s o da a acquisi ion, and sending hem o a emo e se e o p ocessing wha is known as he cloud. In addi ion o he abo e, he jus i ica ion o his op ion is based on he possibili y o gene a ing you own da a, designing a p ocessing s a egy, which in his case is based on Deep Lea ning[1] and mo e speci ically in models known as Long-Sho Te m Memo ies (LSTM) which is he in elligen s a egy used [2], desc ibed in de ail in chap e h ee. De ini ely, he wo k p oposed consis s on he de elopmen o a sma app based on a sma phone as an enabled de ice o cap u e senso y da a. These da a a e sen o a ne wo k model o he LSTM ype ha has been p e iously ained and hos ed in he cloud, whe e he p edic ion is done.The ac ion will e u n al eady classi ied o he de ice i sel . The model is also endowed wi h a speci ic unc ionali y unde he pa adigm o he In e ne o Things (IoT), he e o e, his p ojec consis s o an in el- ligen applica ion in IoT. Al hough la e , in chap e h ee he a chi ec u al model is desc ibed in mo e in dep h, he igu e 1.1 p o ides he gene al scheme wi h i s main componen s ha es ablish he s a ing poin o he app oach o mula ed in he p esen wo k. 13 1. The e is a cen al p ocesso , con enien ly equipped whe e he aining o he LSTM ne wo k is ca ied ou , al hough hey could also be ained in he cloud, speci ically in Ma lab D i e [3], ha way, he model ained is accessible om a mobile de ice. 2. Using he mobile de ice, connec ed o Ma lab D i e, he sequences o mo ion da a a e cap u ed and allow he ollowing: a) o s o e hem in he cloud, in his case in ThingSpeak [4], which is he analy ical pla - o m p o ided by TheMa hwo ks o IoT and b) o p o ide sequences o mo emen o he ained LSTM model o classi ica ion o a ce ain ac ion. 3. ThingSpeak also ecei es he da a esul ing om he classi ica ion by e u ning he co esponding message ia Twi e abou he iden i ied ac ion. 4. The di e en modules communica e wi h each o he h ough a wi eless connec ion, ei he o e he in e ne o any o he ype o ne wo k such as 4G and in he nea u u e 5G. 1.2. Objec i es The main objec i e o his p ojec is o be able o classi y he mo emen s (ac ions) made by a pe son, h ough he senso s o a mobile de ice, using an LSTM neu al ne wo k. Ano he goal is o implemen a pa icula ized and ained ne wo k model wi h mo emen s de ined by ou sel es. Tha way, a ne wo k can be c ea ed ha classi ies hose desi ed mo emen s, and he e o e, adap ing he ange o u ili y o he model o ac ions on speci ic ones. In o de o mee he p e ious objec i es, he ollowing speci ic goals a e p oposed. They a e as ollows: Design o a da a cap u e module. Design o a da a p ocessing module using LSTM, which includes ain- ing and ecogni ion o ac ions wi h he da a ob ained. Design o an ad hoc LSTM ne wo k model, adap ed o he ecogni ion o own ac ions. Design o a module unde he IoT pa adigm. In eg a ion o all he p e ious modules, including he da a low be ween he modules. 14 modelo que se es ablecen y ajus an du an e el p oceso de ap endizaje. Es os pesos de e minan los alo es de conexión en e las dis in as uni- dades del modelo, de o ma que una ez es ablecidos son de e minan es pa a la clasi icación de las acciones. 3. Los alo es de las ma ices de U,VyWse inicializan de o ma alea- o ia siendo pos e io men e ajus ados po el modelo en unción de las en adas y salidas espe adas. Pa a cada alo xque en a se a pasan- do hacia a iba has a llega a la capa de salida donde se comp ueba que la acción co espondien e al alo de en ada coincide con la yque es la acción asociada a la salida. Además, en el ánsi o po cada celda, como es án conec adas en e si, se ob iene in o mación de la an e io . Es o hace que, si se gene a un e o po que la acción asociada a xno coincide con el alo de y, se debe á e alua una de e minada unción según el e o come ido, que a su ez se p opaga hacia a ás desde la capa de salida pa a eajus a los pesos de U,VyWhas a que la en ada xp oduzca la salida espe ada yo al menos lo más p óxima a és a. Todos los ajus es se de inen en las denominadas unciones de pé dida Lpa a de e mina según el modelo qué e o se ha come ido. Como ejemplo, de inimos la unción L siendo es a la es ima de máxima e osimili ud nega i a de y dadas po los alo es x1, ..., x : L(x1, ..., x , y1, ..., y ) = X L =X logpmodelo(y |x1, ..., x )(2.1) donde pmodelo(y |x1, ..., x )se de ine a pa i de la en ada y , la cual se de e mina a pa i del ec o (~y1, ..., ~y ). 4. Pa a log a un al o ni el de éxi o a la ho a de en ena y clasi ica la acción, es con enien e ene múl iples da os pa a cada acción. En unción del núme o de acciones que se desean econoce y po an o ap ende , se es ablecen los ec o es de salida con sus componen es necesa ias. Tal y como se mues an en la igu a 2.4 se pueden es ablece di e en es opologías de ed según la conexión en e las dis in as capas. En es e abajo se u iliza á como opología de ed el modelo muchos a muchos sinc onizada, es o es así po que el modelo es ablecido es que se suminis an secuencias de da os de en ada espaciadas en el iempo que cons i uyen las en adas x al modelo, pa a cada unidad de iempo se p opo ciona un alo de xy pa a cada xse espe a un alo de e minado a la salida y sinc onizada en el iempo . Po an o, la asociación es la mencionada muchos a muchos. 21 Figu a 2.4: Di e en es ipologías de ed 2.4. Redes LSTM Como cualquie modelo de AP se dis inguen los dos p ocesos ca ac e ís- icos de ap endizaje, donde se ajus an los pa áme os in oluc ados, y cla- si icación, que de e mina el ipo de acción ealizada. Ambos se desc iben a con inuación. 2.4.1. Modelo y en enamien o En el ámbi o de las edes neu onales que a an con secuencias empo a- les, esul a bien conocido el hecho de que du an e el p oceso de ajus e de los pesos del modelo po e op opagación, los g adien es se p opagan hacia a ás po los di e en es es ados, de o ma que cuando exis en muchos es ados o se- cuencias, los g adien es ienden a des anece se o conducen a una explosión compu acional, a ec ando al p oceso de op imización, es o es, al ajus e. Es o es debido a que los e o es p opagados hacia a ás po el g adien e dependen an o de los e o es p esen es como pasados en la secuencia. La acumulación de e o es o igina p oblemas en secuencias la gas, de aquí el é mino long- e m. Pa a abo da es a p oblemá ica Good ellow y col.[20] p oponen las ya mencionadas LSTM que en de ini i a, o ecen la posibilidad de es ablece la in o mación que debe conse a se o elimina se de ahí el é mino memo y. El modelo LSTM ue in oducido po Hoch ei e y Schmidhube [21] con el in de a a la p oblemá ica expues a, que es p ecisamen e el modelo adop ado en el p esen e abajo. Concep ualmen e las LSTM se es uc u an en celdas que p ocesan una 22 secuencia de pa es de en ada-salida (x ,y )donde, pa a cada uno de ellos, la co espondien e celda LSTM oma una nue a en ada x jun o con el a- lo ocul o ob enido en la celda p e ia h −1. Así se gene a una es ima ˜y pa a la salida obje i o y y po supues o eniendo en cuen a la secuencia de en ada p e ia x1,x2, ..., x . También se gene a un nue o alo ocul o h en la celda ac ual, que cons i uye de alguna mane a el es ado ac ual. Como se ha mencionado p e iamen e, en el p esen e abajo los alo es de en ada en las co espondien es x son los da os de acele ación p opo cionados po el senso y po an o, se a a de ec o es idimensionales según las es componen es en los ejes X, Y y Z. El ec o ˜y es la salida es imada po el modelo y p opo cionada en un ins an e de iempo, la cual se compa a con la salida deseada u obje i o y . Es as salidas se codi ican de o ma que en unción del núme o de acciones a econoce a cada salida se le asigna un alo en el ec o . Po ejemplo la acción sen ada se puede codi ica como (1, 0, 0), la acción baila como (0, 1, 0) y así sucesi amen e. La di e encia en e la salida espe ada, que po ejemplo pa a sen ada pod ía se (0.80, 0.15, 0.05) y la deseada de e mina el e o de p edicción del modelo. Si ambas coinci- den, el e o es nulo, lo que signi ica que los pa áme os del modelo es án bien ajus ados, no equi iendo ningún ajus e. Po el con a io, si se p oduce un e o , los pa áme os del modelo deben ajus a se, cons i uyendo la ase de en enamien o. Es e e o se es ablece con elación a la co espondien e unción de pé dida, como po ejemplo la de inida en la ecuación (2.1), as lo cual, el e o se p opaga hacia a ás ealizando el ajus e eque ido de los pesos has a que las salidas espe adas de las acciones se ap oximen lo más posible a las p edichas. La igu a 2.5 mues a el esquema gene al del modelo con sus co espon- dien es en adas y salidas, así como sus es ados in e nos y ope aciones co- espondien es. En (a) se mues a un esquema con una es uc u a de celdas simple, mien as que en (b) la es uc u a in e na de cada celda es más com- pleja, si bien en ambos casos con es celdas in e conec adas. Es impo an e señala que en es e modelo los es ados in e nos h son ambién las salidas es imadas ˜y . En el esquema de dicha igu a, los símbolos σgyσc ep esen an espec i amen e las ope aciones sigmoide y angen e hipe bólica. 23 Figu a 2.5: Es uc u a gene al y conexión de las celdas LSTM Como se e en la igu a 2.5, pa a cada da o de en ada x se ealizan una se ie de ope aciones: 1. En p ime luga , la capa sigmoidal, ambién llamada pue a de ol ido o o ge ga e, es la esponsable de decidi qué in o mación elimina del es ado de la celda. Pa a ello, la o ge ga e u iliza la siguien e ecuación, =σg(Ux x +Wh h −1+b )(2.2) 2. A con inuación, se debe decidi qué nue a in o mación se a a alma- cena en el es ado de la celda. Pa a ello en p ime luga , o a capa sigmoide denominada pue a de en ada o inpu ga e es la que decide qué alo es se an a ac ualiza , apoyándose en la siguien e ecuación, i =σg(Uxix +Whih −1+bi)(2.3) 3. T as ac ualiza la in o mación, o a capa c ea nue os alo es candida os de g , que pod ían añadi se al es ado de la celda, eniendo en cuen a los pesos de las ma ices U,VyW. Es os alo es se c ean siguiendo la ecuación desc i a a con inuación, g =σc(Uxcx +Whch −1+bc)(2.4) 24 4. Los alo es i yg se combinan con enien emen e jun o con el es ado de la celda p e ia, ob eniendo de es a o ma una ac ualización del es ado o al de la celda, que se puede iden i ica como C . 5. Finalmen e se calcula el alo o según la ecuación 2.5, pa a a con- inuación calcula h y po an o la salida de la celda combinando el es ado ac ualizado de la celda con es e o , o =σg(Uxox +Whoh −1+bo)(2.5) 2.4.2. Pa áme os y mecanismos de Ap endizaje El p oceso de ap endizaje conlle a la necesidad de de ini y es ablece una se ie de pa áme os y mecanismos de ap endizaje, en e los que des acan como de especial ele ancia los siguien es: G adien e descenden e, que es una écnica de minimización u ilizada pa a el ajus e de los pesos in oluc ados en los modelos de las edes du an e el p oceso de e o-p opagación. La unción a op imiza se conoce como unción obje i o y cuando se es á minimizando, se le denomina ambién loss unc ion o e o unc ion. Se a a de minimiza una unción obje i o que iene la o ma, J(w) = 1 n i=1 X n OJi(w)) (2.6) donde el pa áme o w que minimiza J(w) es el que debe es ima se, cons- i uyendo el obje i o p incipal del ap endizaje. Jise asocia con la i-ésima obse ación en el conjun o de da os u ilizados pa a el en enamien o (ajus- e). El g adien e descenden e se usa pa a minimiza es a unción de o ma i e a i a, con i e aciones , w( + 1) = w( )−ε1 n n X i=1 OJi(w)(2.7) De es a o ma i e a i a el mé odo eco e el conjun o de da os de en e- namien o y ealiza la ac ualización an e io pa a cada mues a de en ena- mien o. Se pueden ealiza a ios pasos sob e el conjun o de en enamien o has a que el algo i mo consiga la con e gencia. Es as mues as así seleccio- nadas cons i uyen lo que se denomina ba ch, como se desc ibe seguidamen e, a la ho a de selecciona los pa áme os de en enamien o. En es e sen ido, es habi ual u iliza exac amen e la écnica conocida como G adien e Des- cenden e Es ocás ico (SGD, S ochas ic G adien Descen ) [22][23] o alguna de sus a ian es al como Adam, cuyo nomb e de i a de Adap i e Momen Es ima ion[24]. 25 Ba ch size:du an e el p oceso de ac ualización de los pesos de la ed, median e el cálculo del e o y su e o-p opagación a a és de la écnica del g adien e descenden e se dispone de N da os de en enamien o en un p oceso i e a i o. Es o signi ica que al busca el mínimo se ealizan una se ie de pasos, siendo el obje i o de cada paso ajus a lo mejo posible los pesos. La dimensión de un lo e (ba ch) de ine el núme o de da os u ilizados an es de lle a a cabo una ac ualización de los pesos de la ed en el modelo. Epochs e i e aciones: de ine el núme o de eces que el conjun o o al de mues as son p ocesadas po el algo i mo de op imización. Es o signi ica que cada mues a del conjun o Nha enido una opo unidad de ac ualiza los pesos en cada epoch. También se puede ija un núme o máximo de epochs pa a de ene el p oceso de en enamien o cuando se alcanza dicho núme o, lo cual puede se ú il en el caso de que no se llegue a alcanza la con e gencia, es o es, que el e o no sea acep able. Razón de ap endizaje (lea ning a e): de e mina la apidez con la que la ed ac ualiza o ajus a los pesos in oluc ados. En el diseño p opues o se es ablece una azón de ap endizaje a iable, de o ma que sob e la azón ijada inicialmen e cada cie o núme o de epochs se aplica un de e minado ac o de educción. Mé odo de op imización: es el mé odo aplicado pa a ealiza la mini- mización de la unción de cos e. So max: consis en e en p oyec a los alo es de la salida en la capa inal al ango [0,1], p opo cionando así una especie de p obabilidad de pe enencia a cada una de las clases pa a una imagen de en ada dada. Su unción se de ine según la siguien e exp esión. so max(x)i=exp(xi) Pn j=1 exp(xj)(2.8) 2.4.3. Clasi icación Una ez inalizada la ase de en enamien o, y con los pesos ac ualizados se es á en condiciones de econoce nue as acciones. Cen ándonos en el ob- je i o del p esen e abajo, es as edes nos pe mi en clasi ica una secuencia de mo imien os que se án ob enidos a pa i de los da os suminis ados po los senso es de un disposi i o mó il. Como se ha indicado p e iamen e, en cada ins an e de iempo se de ine un ec o de en ada que ep esen a las acele aciones, de o ma que a cada secuencia se le asocia una clase y ≡ci, siendo i el núme o de clases de inidas. En nues o caso es as clases co es- ponde án a mo imien os con enien emen e e ique ados como po ejemplo, c1≡sen ada;c2≡co iendo;c3≡bailando. La capa de salida de la ed iene la dimensión de un ec o de e ique as asociado a cada clase, es deci , 26 cada componen e de es e ec o ep esen a la p obabilidad de un ipo de mo imien o de inido po la co espondien e clase, al y como se ha indicado p e iamen e. Con las salidas así ob enidas y eniendo en cuen a las salidas espe adas, según la acción de en ada con enien emen e e ique ada, se puede inco po a como nue a mues a de en enamien o pa a un p oceso pos e io , de es a o ma se gene a el co espondien e gene a el co espondien e e o , p ocediendo a la p opagación del e o hacia a ás pa a ac ualiza de nue o los pesos en las ma ices U,VyW. 27 CAPÍTULO 3 Análisis y diseño En es e capí ulo se plan ea el desa ollo de la aplicación in eligen e pa a su uso con un disposi i o mó il de ipo sma phone. Pa a ello, en p ime luga , se expone la a qui ec u a de la aplicación, que incluye los módulos ope a i os de que cons a. En segundo luga , se desc iben las ecnologías u i- lizadas, así como sus en ajas e incon enien es pa a su elección. Finalmen e, en e ce luga , se abo da el diseño de la aplicación en base a las conside a- ciones de i adas de la a qui ec u a plan eada y las ecnologías analizadas. 3.1. A qui ec u a Como con inuación del modelo in oducido en la igu a 1.1, seguidamen e se desc ibe la a qui ec u a del modelo plan eado desde el pun o de is a lógico y ope a i o. Pa a el desa ollo e implemen ación de es e p oyec o se di e encian es módulos básicos que pe mi en el uso de las di e en es écnicas ci adas en los capí ulos p e ios. Es os módulos se en di e enciados en el esquema de la igu a 3.1 ep esen ando la a qui ec u a de la aplicación y las ecnologías que se u ilizan pa a la conexión y ansmisión de da os. En es e sen ido se obse an las líneas de conexión exis en es en los dis- in os módulos de sue e que exis en comunicación y ans e encia de en e ellos a dis in os ni eles, a a és del disposi i o mó il y median e el uso del espacio en la nube. 28 Figu a 3.1: Esquema a qui ec u a El p oceso de uncionamien o del sis ema en su conjun o y a endiendo a la a qui ec u a de la igu a 3.1 es el que se desc ibe a con inuación. Módulo de en enamien o 1. El disposi i o mó il cap u a los da os de acele ación necesa ios e ique ados según la acción que les co esponde. Es os da os se encuen an con enien emen e almacenados en un iche o de da os asociada. 2. Se dispone de un modelo de ed LSTM, con enien emen e con i- gu ado. 3. Con los da os disponibles y el modelo LSTM se p ocede al en- enamien o de la ed en el Ma lab de esc i o io, as lo cual se gene a el co espondien e modelo en enado. Dicho modelo queda isible a a és de Ma lab D i e pa a el módulo de clasi icación. Módulo de clasi icación 1. El disposi i o mó il cap u a los da os de acele ación con el obje- i o de iden i ica la acción co espondien e, que son ecibidos en es e módulo, el cual a su ez accede al modelo de ed LSTM. 2. Con ello se ob iene el esul ado de la clasi icación de la acción, cuyo p oceso se lle a a cabo a a és de Ma lab OnLine, que es el acceso que se ealiza a a és del disposi i o mó il a Ma lab D i e. 29 3. El esul ado de la acción se en ía a ThingSpeak pa a su almace- namien o y p ocesamien o median e el módulo IoT. Módulo IoT 1. Recibe el egis o de los senso es jun o con el esul ado de la clasi icación de la acción y almacena los da os con enien emen e. 2. Cuando el canal lle a un iempo sin ecibi in o mación, es e en ía un wee indicando que el usua io lle a iempo sin ealiza ningún ipo de mo imien o. 3. En el momen o en el que se inse a en el canal la clasi icación ob enida se en ía un wee e e enciando al ipo de mo imien o que se ha ealizado. 3.2. Tecnologías Pa a implemen a es os es módulos de la aplicación se ealizó un es udio de las posibles ecnologías a u iliza , en e ellas: Tenso low: Lib e ía de código abie o desa ollada po Google B ain Team pa a cons ui y en ena edes de ec ando y desci ando pa o- nes. Nos plan emos su uso al se la lib e ía más ex endida, sin emba go su al o ni el de complejidad hizo que desca á amos es a ecnología dadas las ca ac e ís icas del p oyec o. PyTo ch: Es un paque e de Py hon de código abie o que u iliza p o- g amación de enso es op imizada pa a el ap endizaje p o undo pe - mi iendo agiliza los cálculos numé icos haciendo uso de la GPU. Nos llamó la a ención ya que aún siendo una ecnología ecien e, su uso se ha is o dispa ado g acias al hecho de o ece una cie a complejidad con g andes en ajas. Se desca ó debido a la necesidad de in eg a di- e en es módulos con despliegues de se icios en pla a o ma en la nube, al como Google Colab[25] u o os, equi iendo un al o ni el de manejo de Py hon, que desbo daba los obje i os plan eados en el p oyec o. Ma lab: Es e so wa e o ece un en o no de abajo con un lenguaje de p og amación de al o ni el pa a aplicaciones en el cálculo numé ico. Además posee una ex ensa biblio eca de he amien as que acili an la in eg ación de dis in as aplicaciones cien í icas. Se op ó po la elección de es e so wa e dada la g an can idad de con enidos de ejemplo que o ece Ma hWo ks y el lib e acceso a la licencia que o ece la Uni e si- dad Complu ense de Mad id a los alumnos. 30 Disposi i os Tipo Modelo SO CPU RAM P ocesado Sma phone Redmi No e 8T And oid 10 QKQ1.200114.002. Oc a-co e Max 2.2GHz 3GB Snapd agon 665 Sma phone Mi 8 Li e And oid 10 QKQ1.200114.002. Oc a-co e Max 2.2GHz 4GB Snapd agon 660 Table Ipad mini 2 IOS 12.4.5 1.30MHz 1GB Apple A7 O denado MSI CX61 2QF Windows 10 P o 64 bi s 2.60GHz 8GB In el Co e i5-4210M O denado Leno o ideapad z500 Windows 10 Home 2.10GHz 16GB In el Co e i7-3612QM Tabla 4.1: Recu sos u ilizados O o aspec o ele an e en el uso de ecu sos es el uso de HumanAc i- i y[26][27]. Disponemos de es e da ase g acias a que Ma lab lo o ece pa a el en enamien o de la ed pa a clasi ica ac i idades. Es e da ase con iene 24.075 obse aciones de 5 ac i idades: sen ado, de pie, andando, co iendo y bailando. Cada obse ación iene 60 ca ac e ís icas ex aídas del da o de acele ación, medido po los senso es de acele ación de un disposi i o mó il. La igu a 4.1 mues a la ep esen ación g á ica de una secuencia de da os de acele ación a lo la go del iempo p eceden e del conjun o de da os o iginal HumanAc i i y, donde se ap ecian cla amen e las oscilaciones co espondien- es a los mo imien os de al a a iabilidad en la acele ación, como son las de “Dancing” y “Running” en e a las de baja a iabilidad como “Si ing” y “S anding”. En el caso de “Walking” las a iaciones son de na u aleza in e - media. Figu a 4.1: Rep esen ación g á ica de una secuencia de da os de acele ación Po o a pa e, además de los da os p oceden es de HumanAc i i y se han u ilizado da os p opios pa a de ini acciones especí icas. Es o mues a la lexibilidad de la aplicación desa ollada y su posibilidad de adap ación pa a 37 el econocimien o de ac i idades ad hoc, lo que o o ga un alo ele an e añadido a la aplicación. Du an e el p oceso de en enamien o del modelo es p ác ica habi ual selecciona una acción de los da os disponibles pa a el en enamien o y o a pa e pa a alidación, a eces una e ce a pa a es . Po ejemplo 70 % pa a en enamien o y 20 % pa a alidación y 10 % pa a es , siendo di e en es en cada uno de los subconjun os 4.2. Resul ados in eg ados de la aplicación T as el lanzamien o de la aplicación, lo p ime o que apa ece es la pes aña de Inicio. Es a pes aña p opo ciona unas b e es ins ucciones pa a comenza a u i- liza la aplicación, como se puede e en la igu a 4.2. Figu a 4.2: Pes aña de Inicio Las pes añas a las que podemos accede son conc e amen e En ena- mien o ed y Clasi icaciones, que se desc iben a con inuación. Ambas se co- esponden con sendos p ocesos asociados a la ed LSTM. En el Anexo se p opo cionan de alles adicionales desde el pun o de is a de un manual o guía de usua io, pe o que en cualquie caso son ambién cla i icado es del p oceso de ejecución del modelo de aplicación con sus di e en es módulos in eg ados. 4.2.1. En enamien o de ed En es a pes aña podemos di e encia dos ecuad os, el p ime o con un bo ón en el que se puede lee “En ena ed”, y el segundo con un mayo 38 núme o de opciones, al y como se mues a en la igu a 4.3. A con inuación se de alla cada uno de los p ocedimien os en elación a ambas opciones. Figu a 4.3: Pes aña En enamien o de Red El p ime bo ón, al se pulsado, p ocede a en ena una ed de aul , con da os almacenados en la aplicación p oceden es del conjun o de da os Hu- manAc i i y. Como se ha indicado p e iamen e la ed es á diseñada pa a econoce cinco ipos de mo imien os: “Si ing”, “S anding”,“Dancing”, “Run- ning” y “Walking”. El en enamien o de es a ed, po la g an can idad de da os p ocesados, del o den de ein icua o mil, puede a da de 2 a 4 ho as, dependiendo de las ca ac e ís icas del o denado donde se ejecu e. El segundo ecuad o ac i a una se ie de campos pa a in oduci alo es co espondien es al diseño especí ico del modelo de ed. Los campos se po- d án i comple ando según se ellene de mane a co ec a el an e io . Como se ha indicado p e iamen e, es os da os se u iliza án pa a c ea una ed a pa i de mo imien os p opios, po lo que el iempo de en enamien o es a á ligado a la can idad de da os de cada mo imien o ecopilado. Po o a pa e, con iene señala que cuan os más da os engamos de cada mo imien o, más iable se á el modelo debido al mejo ajus e de los pesos in oluc ados en la ed. Como se puede e en la igu a 4.4 en la pa e de la izquie da, según hemos ido ellena lo los campos, se han ido deshabili ando, dejando solo po- sibilidad de comple a el siguien e, has a llega a que se habili e el bo ón pa a comenza el en enamien o. Una ez pulsado es e bo ón, apa ece una en ana, que co esponde a la imagen de la de echa, en la cual se puede e i- sa si los da os que hemos in oducido son co ec os, y una ez que se pulsa OK comenza á el en enamien o. En e las opciones que apa ecen se encuen- 39 a el núme o de mo imien os que se an a cap u a , co espondiéndose con el núme o de clases de ac i idad a econoce . También apa ece el nomb e del a chi o donde se almacena án los da os cap u ados co espondien es al mo imien o a ealiza . Finalmen e, apa ece el nomb e del modelo de ed así de inida. Figu a 4.4: Segundo ecuad o Cuando se ienen los campos comple ados, se puede pulsa el bo ón de “Comenza en enamien o”. T as lo cual comenza á el en enamien o de la ed a pa i de los a chi os de da os indicados, y al inaliza el en enamien- o ob end emos una ed p opia con el nomb e indicado. En la igu a 4.5 se puede e la en ana que apa ece una ez pulsemos el bo ón de OK. Se obse a la e olución del p oceso de en enamien o. En es as g á icas pode- mos di e encia dos líneas. La línea azul indica la p ecisión (accu acy) del en enamien o, mien as la oja indica la e olución de la unción de pé dida (loss). La igu a 4.6 mues a la leyenda asociada en ambos casos. En elación con la mencionada igu a 4.5 se obse a que el p oceso co- mienza con alo es muy des a o ables an o en lo que espec a a la p ecisión como a la alidación, e olucionando hacia el alo óp imo, que es ce o, en el caso de la unción de pé dida, no así en la p ecisión que se ha es abilizado con alo es al ededo del 40 % y po an o lejos del ideal, que en es e caso es del 100 %. 40 Figu a 4.5: P og eso del en enamien o de un modelo de ed LSTM Se han de inido un máximo de 80 i e aciones, sob e un o al de 60 epochs y una única i e ación po epoch. Po o o lado, la azón de ap endizaje se ha ijado a un alo cons an e de 0.001 y po an o sin disminución a lo la go de las di e en es epochs. Se in o ma igualmen e sob e el iempo anscu ido du an e el p oceso de en enamien o. Figu a 4.6: Leyenda Du an e es e p oceso, ambién se c ea án o os a chi os pa a el en e- namien o de la ed. Es os se c ean a pa i de los da os de los mo imien os ecogidos, y se gua dan en la ca pe a de Ma lab D i e denominada a chi os- T ain. Son u ilizados pa a el en enamien o de la ed, y se almacenan con el mismo nomb e de la ed, pe o añadiendo la e minación -T ain. 41 4.2.2. Clasi icación median e la ed LSTM Como se ha mencionado en apa ados an e io es en es e módulo cla e de la aplicación se dis inguen dos secciones (cap u a de acciones y clasi icación de acciones), como se puede ap ecia en la igu a 4.7. Figu a 4.7: Módulo clasi icación A in y e ec o de pode ejecu a cualquie a de las dos pa es es necesa- io comp oba la exis encia de una ed en enada pa a pode p ocede a la clasi icación. Tal y como se obse a en la igu a 4.8, al pulsa el bo ón “Com- p oba ed” se busca á la exis encia de algún modelo en enado, habili ando un desplegable con odos los modelos encon ados o gene ando una en ana eme gen e a isando de la inexis encia de esul ados. Figu a 4.8: Selección de ed y no i icación La pa e izquie da de la igu a 4.7 pe mi e es ablece la conexión a un sma phone, ealiza la cap u a de da os en iempo eal y ob ene la cla- si icación de dicha cap u a. Una ez inalizado el p oceso se mos a án los esul ados en una en ana eme gen e como la mos ada en la igu a 4.9 con odo el egis o de los senso es y la clasi icación ob enida pa a cada conjun- o de alo es X, Y, Z de la acele ación p e iamen e egis ada. A su ez, 42 se mues a una ep esen ación g á ica de la e olución de la acele ación y el ángulo de o ien ación en e al iempo. Obsé ese en es a igu a 4.9 la dis in a e olución g á ica de la acele ación y la o ien ación espec o de las ac i idades que apa ecen en la abla de la izquie da. En es a abla apa ecen cua o ipos de ac i idades (Running, Walking, S anding y Si ing). Es as acciones implican di e en es mo imien os del cue po según la ac i idad, es o se ep esen a en la g á ica in e io , que mues a una al a a iabilidad de la acele ación en su e olución a lo la go del iempo, mien as que la o ien ación del senso , ep esen a una e olución es able a lo la go del iempo. Es o signi ica que la acele ación es de e minan e pa a iden i ica el ipo de acción ealizada, como no puede se de o a mane a, ya que son los da os de acele ación los que se u ilizan pa a la iden i icación de las acciones an o en el en enamien o de la ed como en la clasi icación. No ocu e lo mismo con la o ien ación, ya que su es abilidad no es nada disc iminan e, aco de, po o a pa e, con el hecho de que el modelo de ed no es á en enado con es e ipo de da os. Figu a 4.9: Rep esen ación de los da os cap u ados En el caso de no pode ealiza la conexión con el disposi i o mó il al pulsa el bo ón de “Conec a ” se mos a á el mensaje de e o mos ado en la igu a 4.10. Figu a 4.10: E o al conec a el disposi i o mó il Po o o lado, el panel en la pa e de la de echa de la igu a 4.8 p opo - ciona la opción de impo a a chi os p e iamen e cap u ados desde Ma lab 43 Mobile sin necesidad de dispone en ese momen o de la conexión con el sma phone y ob ene la moda ( alo más ecuen e), como medida es adís- ica de la clasi icación de los da os. Es e p oceso se isualiza como mues a la igu a 4.11. Median e una en ana eme gen e se indica el in de la clasi- icación jun o con la moda es adís ica ob enida, a la ez que se ellena el ecuad o jun o a la e ique a “Resul ado moda clasi icación”. Figu a 4.11: Resul ado moda Además, pa a da a conoce de o ma isual el esul ado de la clasi ica- ción, en es e caso se mues a una en ana con un diag ama de sec o es como se puede ap ecia en la igu a 4.12, que exp esa los po cen ajes de acciones ealizadas. Figu a 4.12: Diag ama de sec o es de la clasi icación 4.2.3. Uso de ThingSpeak El p oceso que se gene a en segundo plano bajo el pa adigma de IoT se puede isualiza en el canal donde se almacena oda la ac i idad de cap u a de acciones. Cada canal dispone de unos campos, los cuales se ellenan cada ez que se ejecu a el módulo de clasi icación en iempo eal. La con igu ación pe enecien e a es e canal se de alla en la igu a 4.13. Obsé ese cómo los alo es co espondien es a las es componen es de acele ación (X, Y, Z) se almacenan espec i amen e en los campos 1 a 3 (Field 1, Field 2 y Field 44 3). En cuan o al diseño del canal, en la igu a 4.14 se pueden obse a los dis in os campos con su ep esen ación de da os que con iene, con indica- ción de los in e alos de iempo en que han sido in oducidos. Aunque el campo e e en e al esul ado de la clasi icación pa ezca acío, es e con iene los mo imien os ob enidos en la clasi icación. La ausencia de elemen os en la g á ica se debe a que ThinSpeak no sopo a el pin ado de s ings, sin em- ba go g acias al uso de Reac se comp ueba que la esc i u a de los da os es co ec a pues o que cada ez que se inse a un mo imien o se en ía un Twee e e enciándolo. Figu a 4.13: Con igu ación del canal de ThingSpeak Figu a 4.14: Viso canal de ThingSpeak 45 En lo que concie ne al uso de las aplicaciones de Reac y ThingTwee , es as se ejecu an au omá icamen e cuando se cumplen las co espondien es condiciones. Como ejemplo ilus a i o, se mues a en la igu a 4.15 la p o- g amación pa a el ipo de mo imien o “Walking”. En el momen o en que se inse a un alo en el campo 4 del canal llamado Regis o Acele ación sen- so es se comp ueba si es de ipo “s ing” igual a “Walking”. Cada ez que es a condición se cumpla se hace uso de ThingTwee mandando el mensaje es ipulado a la cuen a asociada. Figu a 4.15: P og amación de Reac En la igu a 4.16 se dis inguen los dis in os wee s que se en ían con la p og amación de Reac pa a cada ipo de mo imien o. Todas las ale as gene adas a lo la go del desa ollo de la aplicación se pueden isualiza en la siguien e cuen a: h ps:// wi e .com/DappHa . 46 CHAPTER 5 Conclusions and u u e wo k 5.1. Conclusions Th oughou his p ojec , a HAR applica ion has been de eloped wi h he goal o classi ying human ac ions om body mo emen s, whe he in eal ime o no . This sys em makes use o mobile de ices equipped wi h mo ion senso s. Fo he de elopmen o his applica ion, Deep Lea ning has been used, speci ically he LSTM model o ime sequence analysis and IoT. A e de eloping he sys em and conduc ing es s, he ollowing conclu- sions we e eached: The e is a possibili y o connec ing a mobile de ice wi h a p og am, using he cloud as a emo e se e , and using a WiFi ne wo k, o collec da a in eal ime, o o c ea e da a iles. (Sec ion 3.1 and 3.3.1) I is possible o ob ain op imal esul s by aining a ne wo k wi h su icien da a, as wi h he de aul ne wo k. (Sec ion 4.3) In case o aining a ne wo k wi h ew da a, he classi ica ion esul s a e less sa is ac o y. (Sec ion 4.3) The e is he possibili y o sending hese esul s o a hi d des ina ion, whe e g aphs can be c ea ed and linked o social ne wo ks, in his case, wo king esou ces and s a egies in he ield o IoT. (Sec ion 3.3.3) 53 5.2. Fu u e wo k Looking ahead, he applica ion can be imp o ed by aking he ollowing conside a ions in o accoun . Rega ding he ne wo k aining pa , one o he possible imp o emen s would be he e- aining o a p e iously ained ne wo k. Fo ins ance, adding a new mo emen o he de aul ne wo k, keeping he da a wi h which i was al eady ained, and adding new da a o he new mo emen o be inco po a ed. Ano he imp o emen possibili y in his same sec ion would be he im- p o emen o aining o pe sonalized ne wo ks. Ge mo e da a o mo e eliably ain ne wo ks ha a e ained igh om he s a . Also, as an en- hacemen in he aining p ocess, i is possible o expe imen wi h di e en aining pa ame e s, such as op imiza ion me hods, a ia ion o he lea ning a e, changing he numbe o i e a ions and epochs, among o he s. Rega ding he classi ica ion pa , a possible de elopmen would be o omi he ime es ic ion when classi ying mo emen s in eal ime. Tha is, o be able o collec da a con inuously wi hou ha ing o limi he collec ion o a speci ic pe iod o ime, and s op collec ing hem when he use indica es i . Rega ding he ex ension o ThingSpeak, a possible imp o emen would be he pe sonalized sending o wee s o he use . Tha is, o be able o cus omize who he wee s a e sen o so ha hey a e di ec ed o he desi ed use , and no simply o he applica ion accoun . 54 Bibliog a ía [1] He e a PJ. Paja es G., B. and Besada E. Ap endizaje P o undo. RC- Lib os, 2021. [2] Ian Good ellow, Yoshua Bengio, and Aa on Cou ille. Deep Lea ning. MIT P ess, 2016. h p://www.deeplea ningbook.o g. [3] The Ma hwo ks. Ma lab d i e, 2021. h ps://es.ma hwo ks.com/ p oduc s/ma lab-d i e.h ml. [4] ThingSpeak. Thingspeak o io p ojec s, 2021. h ps:// hingspeak. com/. [5] Ak am Baya , Ma c Pomplun, and Duc A T an. A s udy on human ac- i i y ecogni ion using accele ome e da a om sma phones. P ocedia Compu e Science, 34:450–457, 2014. [6] Ian H. Wi en Eibe F ank, Ma k A. Hall. The WEKA Wo kbench. Online Appendix o Da a Mining: P ac ical Machine Lea ning Tools and Techniques. Mo gan Kau mann, 2016. [7] Pie luigi Casale, O iol Pujol, and Pe ia Rade a. Human ac i i y e- cogni ion om accele ome e da a using a wea able de ice. In Ibe ian Con e ence on Pa e n Recogni ion and Image Analysis, pages 289–296. Sp inge , 2011. [8] Jhon I an Pila axi Pil axi, Ma ía Fe nanda T ujillo Gue e o, Vanes- sa Ca olina Bena ides Laguapillo, and Jo ge And és Rosales Acos a. Human ac i i y ecogni ion using an accele ome e magni ude alue. In In e na ional Con e ence on Applied Technologies, pages 462–472. Sp inge , 2019. 55 [9] Robe o Pa ón Bení ez. Técnicas de deep lea ning pa a el econoci- mien o de mo imien os co po ales, 2020. [10] The Ma hwo ks. Ma lab. deep lea ning oolbox, 2021. h ps://es. ma hwo ks.com/p oduc s/deep-lea ning.h ml. [11] Simon Kozina, H is ijan Gjo eski, Ma jaž Gams, and Mi ja Luš ek. E - icien ac i i y ecogni ion and all de ec ion using accele ome e s. In In e na ional compe i ion on e alua ing AAL sys ems h ough compe i- i e benchma king, pages 13–23. Sp inge , 2013. [12] Pha a a ah Sa-nguanna m, E mal Elbasani, Bongjae Kim, Eung-Hee Kim, and Jeong-Dong Kim. Expe imen a ion o human ac i i y ecogni- ion by using accele ome e da a based on ls m. In Ad anced Mul imedia and Ubiqui ous Enginee ing, pages 83–89. Sp inge , 2021. [13] Ca he ine Tong, Shyam A Tailo , and Nicholas D Lane. A e accele ome- e s o ac i i y ecogni ion a dead-end? In P oceedings o he 21s In- e na ional Wo kshop on Mobile Compu ing Sys ems and Applica ions, pages 39–44, 2020. [14] Daniel O dóñez, F ancisco Ja ie y Roggen. Redes neu onales con olu- cionales p o undas y ecu en es ls m pa a el econocimien o de ac i i- dad po á il mul imodal. Senso es, (1), 2016. [15] John McCa hy. Wha is a i icial in elligence? 1998. [16] PM GONZALO and PM San os. In eligencia a i icial e ingenie ía del conocimien o, ed. al aomega. Technical epo , 2006. [17] Nils J Nilsson. P inciples o a i icial in elligence. Mo gan Kau mann, 2014. [18] S ua J Russell and Pe e No ig. In eligencia A i icial: un en oque mode no. Numbe 04; Q335, R8y. 2004. [19] Ped o Ponce C uz. In eligencia a i icial con aplicaciones a la ingenie- ía. Al aomega, 2011. [20] Ian Good ellow, Yoshua Bengio, Aa on Cou ille, and Yoshua Bengio. Deep lea ning, olume 1. MIT p ess Camb idge, 2016. [21] Sepp Hoch ei e and Jü gen Schmidhube . Long sho - e m memo y. Neu al compu a ion, 9(8):1735–1780, 1997. [22] Ch is ophe M Bishop. Pa e n ecogni ion and machine lea ning. sp in- ge , 2006. 56 [23] Sebas ian Rude . An o e iew o g adien descen op imiza ion algo- i hms. a Xi p ep in a Xi :1609.04747, 2016. [24] Diede ik P Kingma and Jimmy Ba. Adam: A me hod o s ochas ic op imiza ion. a Xi p ep in a Xi :1412.6980, 2014. [25] Google. Google colab., 2021. h ps://colab. esea ch.google.com. [26] Da ide Angui a, Alessand o Ghio, Luca One o, Xa ie Pa a, and Jo - ge L Reyes-O iz. Human ac i i y ecogni ion on sma phones using a mul iclass ha dwa e- iendly suppo ec o machine. In In e na ional wo kshop on ambien assis ed li ing, pages 216–223. Sp inge , 2012. [27] Da ide Angui a, Alessand o Ghio, Luca One o, Xa ie Pa a, and Jo - ge Luis Reyes-O iz. A public domain da ase o human ac i i y ecog- ni ion using sma phones. In Esann, olume 3, page 3, 2013. 57 ANEXO En es e anexo se p opo cionan odos los de alles sob e cómo hace uso de la aplicación desa ollada en Ma lab a modo de guía de usua io. An es de ejecu a la aplicación es necesa io dispone de unos eque i- mien os p e ios: Disposi i o mó il con la apliación Ma lab Sma phone ins alada. Conexión a Ma lab D i e. Ins ala el oolbox de MATLAB Suppo Package o And oid Senso s o MATLAB Suppo Package o Apple iOS Senso s. La aplicación o ece es pes añas p incipales: Inicio: En ella se da la bien enida al usua io y se le in o ma del obje i o de la aplicación y de las di e en es unciones que pod á ealiza . En enamien o de la ed neu onal: En es a pes aña se le pe mi e al usua io gene a dos modelos de ed dis in os. Clasi icación de acciones: Median e el modelo de ed que seleccione el usua io se mos a á la clasi icación de los da os ecogidos. Todo el código uen e e e en e a es e p oyec o puede encon a se en: h ps://gi hub.com/BNeku/TFG.gi Es necesa io desca ga el eposi o io en la ca pe a Ma lab D i e. A con inuación se explica en p o undidad cada apa ado de la aplicación. 58 A.1 En enamien o de la ed Como se explica en el capí ulo cua o, se pueden en ena dos ipos de edes, una ed de aul o una ed pe sonalizada. Red de aul Pa a en ena una ed de aul , es necesa io accede a la pes aña En e- namien o ed, y pulsa el bo ón En ena ed que se si úa en la izquie da del panel de la aplicación ( igu a 4.2). A con inuación, as espe a unos segundos, nos apa ece á el g á ico del p o- ceso de en enamien o. Debido a que el a chi o HumanAc i i yT ain con iene muchos da os, el en- enamien o puede a da desde 2 ho as has a 4 ho as. Al e mina el p oceso de en enamien o, se gua da á la con el nomb e ed- De aul en la ca pe a edesEn enadas en el Ma lab D i e. Red pe sonalizada Es a ed consis e en una ed c eada a pa i de los mo imien os elegidos po el usua io. Pa a ello, p e iamen e debemos cap u a es os mo imien os median e los senso es de un disposi i o mó il u ilizando la aplicación MATLAB pa a dis- posi i os mó iles. Recogida de mo imien os p opios Pa a cada mo imien o se ealiza á una ecogida de da os. Pa a ello de- bemos ac i a odos los senso es de la aplicación Ma lab Mobile. Pa a ello, accede emos desde el menú al apa ado de senso es. T as ac i a odos los senso es, ambién debemos cambia la opción T ansmi i a escogiendo la op- ción Regis o. De es a o ma, cuando cap emos da os, es os se gua da án en un egis o en una ca pe a del Ma lab D i e denominada MobileSenso Da a. Pa a cada mo imien o se debe c ea un egis o. Pa a ello se pulsa el bo ón Empeza de la aplicación MATLAB. Comenzando, ac o seguido, a ealiza el eje cicio que se desea cap a . Al inaliza la acción, se pulsa el bo ón e mina . Al pulsa es e bo ón, nos pedi á que in oduzcamos el nomb e del egis o. Es e nomb e es el que se usa á pos e io men e pa a clasi ica el mo imien o, po lo que es con enien e nomb a lo como el p opio mo imien o que hemos ealizado, como po ejemplo, sen ado. Según el iempo de ealización del eje cicio, más da os end emos pa a su pos e io clasi icación, po lo que es aconsejable in e i iempo en la ecogida 59 de da os pa a que la ed ajus e mejo sus pesos y alcance una mayo p ecisión con el meno e o de pé dida posible. Una ez que enemos odos nues os mo imien os con da os en egis os, se puede p ocede con el en enamien o. En la pes aña En enamien o ed se esc ibe, en el p ime ecuad o, el núme o de mo imien os y po an o acciones que iden i ica á nues a ed y pulsamos el bo ón Acep a . Si el núme o no es álido, no deja á pasa al siguien e paso. Una ez in oducido el núme o, debe emos esc ibi el nomb e de los e- gis os uno a uno, co espondien es a las acciones bajo en enamien o. T as esc ibi lo, p ime o se debe pulsa el bo ón Busca pa a comp oba que es e egis o exis e en la ca pe a MobileSenso Da a, y si inalmen e deseamos aña- di lo pa a u iliza lo en el en enamien o, debe emos pulsa el bo ón Añadi . Una ez que hemos añadido an os a chi os como el núme o indicado en el p ime paso, se habili a á el cuad o pa a elegi el nomb e de la ed que amos a en ena . Una ez in oducido, pulsamos el bo ón Acep a , y se habili a á el bo ón Comenza en enamien o. Si se ha come ido algún e o en alguno de los pasos, se habili a el bo ón RESET pa a inicia el p oceso desde el p ime paso. Sin impo a el mo- men o en el que se pulse, siemp e se ol e á al p ime paso pa a comenza de nue o el p oceso. Una ez que pulsamos el bo ón Comenza en enamien o, nos apa e- ce á una en ana en la cual se mues an los nomb es de los egis os in odu- cidos. Si pulsamos OK, as unos segundos se ab i á la en ana del p oceso de en enamien o, cuya du ación depende á de cuán os da os con ienen los egis os. Si pulsamos Cancel, nos de uel e a la en ana an e io , de o ma que podemos pulsa el bo ón RESET si que emos empeza de ce o el p oceso, o pulsa de nue o el bo ón Comenza en enamien o si así lo deseamos. Una ez inalizado el en enamien o, se gua da á una ed con el nomb e in oducido an e io men e en la ca pe a edesEn enadas de Ma lab D i e. Es e p oceso ambién c ea un a chi o simila al de HumanAc i i yT ain u ilizado en el en enamien o de la edDe aul . Es e a chi o se gua da con el nomb e de la ed, añadiendo -T ain a es e nomb e, exac amen e en la ca pe a a chi osT ain de Ma lab D i e. 60 A.2 Clasi icación de acciones Como se ha explicado en el capí ulo cua o, es posible clasi ica accio- nes median e dos p ocedimien os dis in os. A con inuación, se explica cómo p ocede en cada uno de ellos. Cap u a y clasi icación en iempo eal Pa a pode clasi ica acciones en iempo eal, la aplicación debe ejecu a - se median e Ma lab Online con la conexión de Ma lab D i e. De es a o ma dispond emos del mismo espacio compa ido con el disposi i o mó il. Es equisi o undamen al ac i a odos los senso es del disposi i o accediendo desde la app mó il al menú p incipal->senso es, de no se así, la cap- u a de da os no es a á disponible. Además, debemos con igu a el senso es ableciendo la asmisión a MATLAB. Una ez es ablecida la con igu ación de los senso es, el usua io debe á elegi con qué modelo de ed se an a clasi ica los da os. Po de ec o, la ed u ilizada se á edDe aul . Ac o seguido, pa a comp oba que se puede es ablece la conexión con el mó il se debe á pulsa el bo ón Conec a . Si exis ie a algún p oblema se no i ica ía al usua io median e una en ana eme gen e. En cambio, si se ha podido ca ga el modelo de ed y la conexión con el disposi i o ha sido exi osa, la aplicación es a á lis a pa a inicia la cap u a y clasi icación de da os en iempo eal. Cuando el usua io es é lis o pa a comenza la acción se debe pulsa el bo ón Comenza cap u a de acciones. La cap u a comenza á au omá icamen e y as unos segundos se de en- d á, ob eniendo en la in e az los esul ados de la clasi icación. Clasi icación de acciones po a chi os En es a ocasión se o ece al usua io impo a su p opio a chi o de cap u a de da os. Al pulsa el bo ón Impo a se ab i á un explo ado de a chi os donde el usua io pod á elegi el a chi o que enga gua dado en el o denado y desee clasi ica . Si no exis e ningún a chi o y se desea cap u a da os, el p oceso se ealiza median e el disposi i o mó il, gene ando el esul ado en la ca pe a MobileSenso Da a, desde donde pod á impo a dicho a chi o. Una ez seleccionado el a chi o se inicia á el p oceso au omá icamen e, ob eniendo la moda de la clasi icación po la in e az. 61