Localización e identificación automática de pólipos mediante una red neuronal convolucional por regiones

139 Localización e iden i icación au omá ica de pólipos median e una ed neu onal con olucional po egiones LOCALIZACIÓN E IDENTIFICACIÓN AUTOMÁTICA DE PÓLIPOS MEDIANTE UNA RED NEURONAL CONVOLUCIONAL POR REGIONES Luna Pe ejon, F ancisco*; Du an López, Lou des; Amaya Rod íguez, Isabel R., Ci i Maso , Ja ie ; Ci i Balcells, An ón; Vicen e Díaz, Sa u nino; Lina es Ba anco, Alejand o Robo ics and Technology o Compu e s. A qui ec u a y Tecnología de Compu ado es. Escuela Supe io de Ingenie ía In o má ica. Uni e sidad de Se illa. *E-mail: [email p o ec ed] RESUMEN Es e abajo expone la me odología lle ada a cabo pa a la aplicación de un modelo Deep Lea ning con el in de de ec a pólipos de o ma au omá ica, así como su posición en ideos de colonoscopia. Se plan ea on di e en es mé odos y di e sas écnicas que pudie an aplica se sob e el conjun o de da os p opo cionado po el 2018 Sub-challenge Gas oin es inal Image ANAlysis. Seleccionamos el mé odo Fas e Regional Con olu ional Neu al Ne wo k pa a aba ca el p oblema plan eado. Pa a la ex acción de ca ac e ís icas empleamos el modelo ResNe 50. Aplicamos écnicas de da a augmen a ion pa a inc emen a el conjun o de da os empleado en el en enamien o del modelo. También aplicamos ha d nega i e mining pa a e o za el ap endizaje del backg ound o ondo, educi el po cen aje de alsos posi i os y mejo a el endimien o. PALABRAS CLAVE Colonoscopia, De ección de pólipos, R-CNN, Regiones de in e és. 140 Luna Pe ejon, F.; Du an López, L.; Amaya Rod íguez, I. R., Ci i Maso , J.; Ci i Balcells, A.; Vicen e Díaz, S.; Lina es Ba anco, A. ABSTRACT This wo k exposes he me hodology ca ied ou o he applica ion o a Deep Lea ning model in he con ex o au oma ic polyp de ec ion and i s loca ion in colonoscopy ideos. Di e en me hods we e p oposed as well as he di e en echniques ha can be applied on he gi en da ase p o ided by he 2018 Sub-challenge Gas oin es inal Image ANAlysis. We chose he Fas e Regional Con olu ional Neu al Ne wo k me hod o sol e his p oblem. We used ResNe 50 in he i s pa o his algo i hm o ex ac he main image ea u es. We applied ha d nega i e mining and da a augmen a ion echniques o inc ease he da ase used in he aining o he model. We also used ha d nega i e mining o ge a be e lea ning o backg ound, educing alse nega i es and imp o ing he pe o mance. KEYWORDS Colonoscopy, Polyp de ec ion, R-CNN, Regions o in e es . 141 Localización e iden i icación au omá ica de pólipos median e una ed neu onal con olucional po egiones INTRODUCCIÓN Y OBJETIVOS Los algo i mos de Deep Lea ning (DL en adelan e) en la úl ima década han demos ado posee un ele ado endimien o al aplica los a p oblemas de clasi icación [1]. Es o ha causado que en la ac ualidad se e ija como la ecnología eme gen e de mayo expec ación [2]. Des acan p incipalmen e en el análisis y p ocesado de imágenes [3,4]. Uno de los campos de in es igación es su aplicación al apoyo al diagnós ico con imágenes biomédicas [5]. Un ámbi o de aplicación es el apoyo du an e un econocimien o in asi o. Gas oin es inal Image ANAlysis, GIANA en adelan e, es un e en o que p opone una se ie de desa íos, en e los que se encuen a la localización de pólipos du an e una colonoscopia [6,7]. Se denomina pólipo al ejido que c ece de o ma ano mal po debajo de la pa ed del músculo pe is ál ico y que puede llega a se cance oso. Su p esencia puede e se e lejada en el ac o del colon como una p o ube ancia, pe o con di e sas apa iencias. Muchas de es as apa iencias son poco ap eciables y puede con undi se con o os elemen os na u ales o pa ológicos de o a índole (Figu a 1). Figu a 1. Mues as de pólipo. Se mani ies an como pequeñas p o ube ancias que pueden pasa desape cibidas (de izquie da a de echa, los dos p ime os – en la pa e supe io cen al de la imagen y en la in e io cen al, espec i amen e –). El obje i o de es e abajo ue la selección y c eación de una me odología que pueda a on a el p oblema plan eado po GIANA 2018 pa a la de ección de pólipos empleando un mé odo de DL. El p esen e documen o plasma es e abajo en es pa es. En p ime luga , se de inen los da os p opo cionados, los mé odos de DL conside ados pa a a on a el p oblema, así como las écnicas plan eadas pa a la manipulación y adap ación de los da os al modelo. En segundo luga , se jus i ica el mé odo escogido, la a qui ec u a conc e a que se a a emplea , las écnicas que se an a aplica sob e el conjun o de da os y sob e el modelo pa a en ena lo. Finalmen e, se exponen las conclusiones. 142 Luna Pe ejon, F.; Du an López, L.; Amaya Rod íguez, I. R., Ci i Maso , J.; Ci i Balcells, A.; Vicen e Díaz, S.; Lina es Ba anco, A. METODOLOGÍA Conjun o de da os GIANA p opo cionó en su edición de 2018 un conjun o de 18 ídeos de colonoscopia. En odos los ídeos se descub e la exis encia de un pólipo, y sólo uno. Los pólipos no se isualizan du an e oda la du ación del ídeo, sino que puede pasa un in e alo de iempo has a localiza se y se en ocado po la cáma a, o segui haciendo un econocimien o de o as zonas as habe localizado el pólipo. Los ideos se p opo cionan segmen ados en los o og amas que lo componen, 11954 imágenes en o al. Asociado a cada o og ama se p opo ciona una másca a, una imagen bina ia de misma esolución que ma ca una egión ci cula donde se encuen a el pólipo si exis ie a en la imagen. Mé odos de de ección de obje os Se es ableció ealiza en una p ime a ase una in es igación pa a analiza los mé odos de DL su gidos en los úl imos 3 años (desde inicios de 2015). Se selecciona ía un modelo a u iliza pa a nues o p oblema en base al endimien o demos ado, la apidez de ejecución, la acilidad pa a adap a el conjun o de da os al modelo y la lexibilidad del mé odo pa a adap a lo al p oblema. Una ez seleccionado el mé odo, seleccionamos una a qui ec u a ya p obada pa a la pa e con igu able del mé odo y así es ablece un modelo. Va iaciones en la base de da os y con ol de pa áme os Se in es iga on las modi icaciones que pudie an ealiza se al conjun o de da os pa a adap a lo al modelo es ablecido, así como pa a alcanza un mejo endimien o du an e el en enamien o. Se es ablecie on los cambios a p oba en la base de da os y se de e mina on écnicas a aplica al modelo con los que se hicie an di e en es en enamien os del modelo. RESULTADOS Y DISCUSIÓN Análisis de mé odos de de ección de obje os Son a ios los mé odos de DL su gidos en los úl imos 3 años pa a iden i ica obje os en egiones de imágenes. Se in es iga on Fas e Regional Con olu ional Neu al Ne wo k (Fas e R-CNN) [8], Mask Regional Con olu ional Neu al Ne wo k (Mask R-CNN) b [9], Regional Fully Con olu ional Ne wo k (R-FCN) [10], y Single Sho Mul ibox De ec o (SSD) [11] po se los más consolidados en la ac ualidad. 143 Localización e iden i icación au omá ica de pólipos median e una ed neu onal con olucional po egiones Fas e R-CNN es un mé odo que su gió con el obje i o de mejo a la e iciencia de su an eceso Fas R-CNN median e el eap o echamien o del cómpu o ealizado en la p ime a e apa del algo i mo pa a e i a cálculo epe i i o. Mask R-CNN es un modelo basado en Fas e R-CNN cuya mejo a eside en la capacidad de de ol e un con o neado p eciso del obje o de ec ado. R-FCN es un mé odo ambién basado en Fas e R-CNN que mejo a conside ablemen e la elocidad al hace odas sus e apas del algo i mo con capas de con olución. SSD es un mé odo simila a los an e io es que se ca ac e iza po no ene ases sepa adas en ejecución, sino que se ealizan odas a la ez, lo que con ie e una e iciencia supe io a los o os mé odos. Dado que la capacidad de de ol e con o nos de Mask R-CNN supone un cos e compu acional mayo y que nues o obje i o es el de localiza la egión donde se localiza cada pólipo en ídeos, es e mé odo ue desca ado. Fas e -RCNN supe a en endimien o al es o de los algo i mos que conside amos [12]. A cos a de una educción en la exac i ud, SSD y R-FCN poseen una elocidad mayo , debido al ap o echamien o de la capacidad de cómpu o pa alelo que de unidades de p ocesamien o a anzadas. Fas e -RCNN en cambio posee una lexibilidad mayo al pe mi i selecciona el núme o de egiones que se quie e conside a en el en enamien o, lo que pe mi e una adap ación mejo a p oblemas di e en es en los que, como es nues o caso, no se equie a de ec a muchos obje os en una misma imagen. Se escogió el mé odo Fas e R-CNN po su lexibilidad a la ho a de pe sonaliza cada una de sus e apas, así como la capacidad pa a especi ica la can idad de egiones que se quie e analiza en cada imagen, que posibili a educi el cos e compu acional. Es e mé odo, esquema izado en la Figu a 2, ex ae las ca ac e ís icas gene ales de la imagen en una p ime a ase. Pos e io men e decide qué egiones puede con ene un obje o o í em a iden i ica en base a las ca ac e ís icas p e iamen e calculadas. Seguidamen e emplea una écnica denominada Region P oposal Ne wo k (RPN), que a analizando qué egiones de in e és - an as como p e iamen e se hayan es ablecido- son las mejo es candida as pa a con ene un í em. Finalmen e, una combinación de dos edes neu onales se enca ga de clasi ica dicho obje o y eajus a la egión p opues a pa a que aba que el obje o de o ma más p ecisa. Es a úl ima ase consis e en la ase ca ac e ís ica de su mé odo p edeceso Fas -RCNN [13]. El modelo escogido a pa i de es e mé odo emplea una a qui ec u a ResNe 50 [14] en su p ime a e apa de ex acción de ca ac e ís icas. Las a qui ec u as ResNe esuel en el p oblema de endimien o que poseen las edes con olucionales que ienen una g an can idad de capas, in oduciendo en e ellas lo que se denomina capas esiduales. 144 Luna Pe ejon, F.; Du an López, L.; Amaya Rod íguez, I. R., Ci i Maso , J.; Ci i Balcells, A.; Vicen e Díaz, S.; Lina es Ba anco, A. Capas con olucionales (ResNe 50) Algo i mo R-CNN Clasi icación Ajus e del ma co De ec o de egiones de in e és Red de p opues a de egiones (RPN) Adquisición de ca ac e ís icas Ex acción de egiones con un posible elemen o Selección de mejo es candida os Clasi icación y ubicación Figu a 2. Diag ama de la a qui ec u a de Fas e -RCNN empleada con ResNe 50 aplicada en la adquisición de ca ac e ís icas. Modi icaciones en la base de da os y pa áme os El mé odo usado de uel e egiones ec angula es de e minados po coo denadas, po lo que equie e las coo denadas de las imágenes del conjun o de en enamien o. Se gene a on las coo denadas del ec ángulo de á ea mínima que ecub iese la egión ci cula p opo cionada po cada imagen de los ídeos de colonoscopia. Las imágenes o iginales poseen un ma co neg o que ue eliminado pa a el en enamien o del modelo (conjun o A), po lo que se hizo un ecalculo de las coo denadas de la egión que con iene un pólipo. Habi ualmen e pa a aumen a la a iedad del conjun o de da os y comba i el sob eajus e del modelo se ecu e a écnicas de da a augmen a ion. Consis en en manipulaciones de las imágenes del subconjun o o iginal ales como cambio de o ien ación o b illo. Pa a nues o conjun o de da os se aplicó una secuencia de ope aciones pa a amplia lo (Figu a 2). Se c eó una imagen ol eada ho izon almen e de odo el conjun o A (conjun o B). Sob e los conjun os A y B se aplicó alea o iamen e una modi icación del b illo, un di uminado o una o ación de 180o. Se aplicó una y solo una de es as ope aciones po cada imagen. Con es e p ocedimien o se ob u o un conjun o de da os compues o po 47816 imágenes di e en es. 145 Localización e iden i icación au omá ica de pólipos median e una ed neu onal con olucional po egiones Figu a 3. Ope aciones ealizadas sob e el conjun o de da os o iginal. El algo i mo Fas e R-CNN en una de sus e apas de en enamien o ap ende a de ec a el ondo de la imagen, que se in e p e a como un ipo de obje o auxilia . No obs an e, es posible inclui el ap endizaje de es e ipo de obje os en las demás e apas p opo cionando como en ada egiones que con engan solo ondo. Se ha aplicado es a écnica, denominada ha d nega i e mining, u ilizando pa a ello las imágenes que no con ienen pólipo. CONCLUSIONES Se ha empleado un algo i mo Fas e R-CNN pa a a on a el p oblema de de ección y ubicación de pólipos en ideos de colonoscopia p opues o po GIANA en su edición de 2018. Se ha usado ResNe 50 como a qui ec u a en la ase de ex acción de ca ac e ís icas de imagen que posee el mé odo. Se han ealizado écnicas de da a augmen a ion pa a ob ene un conjun o de da os mayo que comba a el sob eajus e y mejo e el endimien o del modelo. Se ha empleado ha d nega i e mining pa a e o za el ap endizaje del ondo y que in luya a o ablemen e en los esul ados. Algunos de los esul ados p elimina es, en los que se ha empleado pa e de los ideos de en enamien o (15 ídeos de en enamien o y 3 pa a e aluación), han alcanzado una p ecisión del 74.87% y una exac i ud de 84.46%. Algunas mues as se ilus an a con inuación. 146 Luna Pe ejon, F.; Du an López, L.; Amaya Rod íguez, I. R., Ci i Maso , J.; Ci i Balcells, A.; Vicen e Díaz, S.; Lina es Ba anco, A. Figu a 4. Ejemplos sob e el subconjun o de ideos empleado en es udios p elimina es. A la izquie da se ilus an un caso de also posi i o y un also nega i o (pólipo no iden i icado en la pa e in e io cen al). En el cen o, un caso de e dade o posi i o. A la de echa, un caso de also posi i o al ondo y un caso de e dade o posi i o. Los esul ados del desa ío GIANA se án publicados en el a ículo esumen del e en o. AGRADECIMIENTOS Ag adecemos a los doc o es Jo ge Be nal y Ayme ic His ace su labo como o ganizado es del challenge Gas oin es inal Image ANAlysis, así como po p opo ciona el conjun o de da os necesa io pa a lle a a cabo nues a labo in es igado a. REFERENCIAS BIBLIOGRÁFICAS [1] Tou e zky, D. S., Moze , M. C., y Hasselmo, M. E. (1996). Ad ances in Neu al In o ma ion P ocessing Sys ems 8: P oceedings o he 1995 Con e ence, 8 [2] Kasey, P. (2017). Top T ends in he Ga ne Hype Cycle o Eme ging Technologies. Recupe ado de: h ps://www.ga ne .com/sma e wi hga ne / op- ends-in- he-ga ne -hype-cycle- o -eme ging- echnologies-2017/ [3] LeCun, Y., Bo ou, L., Bengio, Y., y Ha ne , P. (1998). G adien -based lea ning applied o documen ecogni ion. P oceedings IEEE. [4] K izhe sky, A., Su ske e , I., y Hin on, G. E. (2012). ImageNe Classi ica ion wi h Deep Con olu ional Neu al Ne wo ks. Ad ances in neu al in o ma ion p ocessing sys ems, 25(2). [5] G eenspan, H., Van Ginneken, B., y Summe s, R. M. (2016). Gues Edi o ial Deep Lea ning in Medical Imaging: O e iew and Fu u e P omise o an Exci ing New Technique. IEEE T ansac ions on Medical Imaging. 147 Localización e iden i icación au omá ica de pólipos median e una ed neu onal con olucional po egiones [6] Ange mann, Q. e al. (2017) Towa ds Real-Time Polyp De ec ion in Colonoscopy Videos: Adap ing S ill F ame-Based Me hodologies o Video Sequences Analysis. En Ca doso, M., e al. (eds). Compu e Assis ed and Robo ic Endoscopy and Clinical Image-Based P ocedu es. CARE 2017, CLIP 2017. Lec u e No es in Compu e Science, ol 10550. Sp inge , Cham. [7] Be nal, J., e al. (2018). Polyp de ec ion benchma k in colonoscopy ideos using g c ea o : A no el ully con igu able ool o easy and as anno a ion o image da abases. P oceedings o 32nd CARS con e ence, June 2018, Be lin, Ge many. (hal-01846141) [8] Ren, S., He, K., Gi shick, R., y Sun, J. (2017). Fas e R-CNN: Towa ds Real-Time Objec De ec ion wi h Region P oposal Ne wo ks. IEEE T ansac ions on Pa e n Analysis and Machine In elligence. [9] He, K., Gkioxa i, G., Dolla , P., y Gi shick, R. (2017). Mask R-CNN. En P oceedings o he IEEE In e na ional Con e ence on Compu e Vision. [10] Dai, J., Li, Y., He, K., y Sun, J. (2016). R-FCN: Objec De ec ion ia Region-based Fully Con olu ional Ne wo ks. a Xi :1605.06409 2 [11] Liu, W., Anguelo , D., E han, D., Szegedy, C., Reed, S., Fu, C. Y., y Be g, A. C. (2016). SSD: Single sho mul ibox de ec o . En Lec u e No es in Compu e Science (including subse ies Lec u e No es in A i icial In elligence and Lec u e No es in Bioin o ma ics), [12] Huang, J., Ra hod, V., Sun, C., Zhu, M., Ko a ika a, A., Fa hi, A., … Mu phy, K. (2017). Speed/accu acy ade-o s o mode n con olu ional objec de ec o s. En P oceedings - 30 h IEEE Con e ence on Compu e Vision and Pa e n Recogni ion, CVPR 2017. [13] Gi shick, R. (2015). Fas R-CNN. En P oceedings o he IEEE In e na ional Con e ence on Compu e Vision. [14] He, K., Zhang, X., Ren, S., y Sun, J. (2016). Deep Residual Lea ning o Image Recogni ion. Mul imedia Tools and Applica ions, a Xi :1512.03385 1.