139
Localización e iden i icación au omá ica de pólipos median e una ed neu onal con olucional po
egiones
LOCALIZACIÓN E IDENTIFICACIÓN AUTOMÁTICA
DE PÓLIPOS MEDIANTE UNA RED NEURONAL
CONVOLUCIONAL POR REGIONES
Luna Pe ejon, F ancisco*; Du an López, Lou des; Amaya Rod íguez, Isabel
R., Ci i Maso , Ja ie ; Ci i Balcells, An ón; Vicen e Díaz, Sa u nino; Lina es
Ba anco, Alejand o
Robo ics and Technology o Compu e s.
A qui ec u a y Tecnología de Compu ado es. Escuela Supe io de Ingenie ía
In o má ica. Uni e sidad de Se illa.
*E-mail: [email p o ec ed]
RESUMEN
Es e abajo expone la me odología lle ada a cabo pa a la aplicación de un modelo
Deep Lea ning con el in de de ec a pólipos de o ma au omá ica, así como su
posición en ideos de colonoscopia. Se plan ea on di e en es mé odos y di e sas
écnicas que pudie an aplica se sob e el conjun o de da os p opo cionado po el
2018 Sub-challenge Gas oin es inal Image ANAlysis. Seleccionamos el mé odo
Fas e Regional Con olu ional Neu al Ne wo k pa a aba ca el p oblema plan eado.
Pa a la ex acción de ca ac e ís icas empleamos el modelo ResNe 50. Aplicamos
écnicas de da a augmen a ion pa a inc emen a el conjun o de da os empleado en
el en enamien o del modelo. También aplicamos ha d nega i e mining pa a e o za
el ap endizaje del backg ound o ondo, educi el po cen aje de alsos posi i os y
mejo a el endimien o.
PALABRAS CLAVE
Colonoscopia, De ección de pólipos, R-CNN, Regiones de in e és.
140
Luna Pe ejon, F.; Du an López, L.; Amaya Rod íguez, I. R., Ci i Maso , J.; Ci i Balcells, A.; Vicen e Díaz,
S.; Lina es Ba anco, A.
ABSTRACT
This wo k exposes he me hodology ca ied ou o he applica ion o a Deep Lea ning
model in he con ex o au oma ic polyp de ec ion and i s loca ion in colonoscopy
ideos. Di e en me hods we e p oposed as well as he di e en echniques ha can
be applied on he gi en da ase p o ided by he 2018 Sub-challenge Gas oin es inal
Image ANAlysis. We chose he Fas e Regional Con olu ional Neu al Ne wo k me hod
o sol e his p oblem. We used ResNe 50 in he i s pa o his algo i hm o ex ac
he main image ea u es. We applied ha d nega i e mining and da a augmen a ion
echniques o inc ease he da ase used in he aining o he model. We also used
ha d nega i e mining o ge a be e lea ning o backg ound, educing alse nega i es
and imp o ing he pe o mance.
KEYWORDS
Colonoscopy, Polyp de ec ion, R-CNN, Regions o in e es .
141
Localización e iden i icación au omá ica de pólipos median e una ed neu onal con olucional po
egiones
INTRODUCCIÓN Y OBJETIVOS
Los algo i mos de Deep Lea ning (DL en adelan e) en la úl ima década han demos ado
posee un ele ado endimien o al aplica los a p oblemas de clasi icación [1]. Es o
ha causado que en la ac ualidad se e ija como la ecnología eme gen e de mayo
expec ación [2]. Des acan p incipalmen e en el análisis y p ocesado de imágenes
[3,4]. Uno de los campos de in es igación es su aplicación al apoyo al diagnós ico con
imágenes biomédicas [5].
Un ámbi o de aplicación es el apoyo du an e un econocimien o in asi o.
Gas oin es inal Image ANAlysis, GIANA en adelan e, es un e en o que p opone una
se ie de desa íos, en e los que se encuen a la localización de pólipos du an e una
colonoscopia [6,7]. Se denomina pólipo al ejido que c ece de o ma ano mal po
debajo de la pa ed del músculo pe is ál ico y que puede llega a se cance oso. Su
p esencia puede e se e lejada en el ac o del colon como una p o ube ancia, pe o
con di e sas apa iencias. Muchas de es as apa iencias son poco ap eciables y puede
con undi se con o os elemen os na u ales o pa ológicos de o a índole (Figu a 1).
Figu a 1. Mues as de pólipo. Se mani ies an como pequeñas p o ube ancias que pueden
pasa desape cibidas (de izquie da a de echa, los dos p ime os – en la pa e supe io
cen al de la imagen y en la in e io cen al, espec i amen e –).
El obje i o de es e abajo ue la selección y c eación de una me odología que
pueda a on a el p oblema plan eado po GIANA 2018 pa a la de ección de pólipos
empleando un mé odo de DL. El p esen e documen o plasma es e abajo en es
pa es. En p ime luga , se de inen los da os p opo cionados, los mé odos de DL
conside ados pa a a on a el p oblema, así como las écnicas plan eadas pa a la
manipulación y adap ación de los da os al modelo. En segundo luga , se jus i ica
el mé odo escogido, la a qui ec u a conc e a que se a a emplea , las écnicas
que se an a aplica sob e el conjun o de da os y sob e el modelo pa a en ena lo.
Finalmen e, se exponen las conclusiones.
142
Luna Pe ejon, F.; Du an López, L.; Amaya Rod íguez, I. R., Ci i Maso , J.; Ci i Balcells, A.; Vicen e Díaz,
S.; Lina es Ba anco, A.
METODOLOGÍA
Conjun o de da os
GIANA p opo cionó en su edición de 2018 un conjun o de 18 ídeos de colonoscopia.
En odos los ídeos se descub e la exis encia de un pólipo, y sólo uno. Los pólipos
no se isualizan du an e oda la du ación del ídeo, sino que puede pasa un
in e alo de iempo has a localiza se y se en ocado po la cáma a, o segui haciendo
un econocimien o de o as zonas as habe localizado el pólipo. Los ideos se
p opo cionan segmen ados en los o og amas que lo componen, 11954 imágenes en
o al. Asociado a cada o og ama se p opo ciona una másca a, una imagen bina ia
de misma esolución que ma ca una egión ci cula donde se encuen a el pólipo si
exis ie a en la imagen.
Mé odos de de ección de obje os
Se es ableció ealiza en una p ime a ase una in es igación pa a analiza los mé odos
de DL su gidos en los úl imos 3 años (desde inicios de 2015). Se selecciona ía un
modelo a u iliza pa a nues o p oblema en base al endimien o demos ado, la
apidez de ejecución, la acilidad pa a adap a el conjun o de da os al modelo y la
lexibilidad del mé odo pa a adap a lo al p oblema. Una ez seleccionado el mé odo,
seleccionamos una a qui ec u a ya p obada pa a la pa e con igu able del mé odo y
así es ablece un modelo.
Va iaciones en la base de da os y con ol de pa áme os
Se in es iga on las modi icaciones que pudie an ealiza se al conjun o de da os
pa a adap a lo al modelo es ablecido, así como pa a alcanza un mejo endimien o
du an e el en enamien o. Se es ablecie on los cambios a p oba en la base de da os
y se de e mina on écnicas a aplica al modelo con los que se hicie an di e en es
en enamien os del modelo.
RESULTADOS Y DISCUSIÓN
Análisis de mé odos de de ección de obje os
Son a ios los mé odos de DL su gidos en los úl imos 3 años pa a iden i ica obje os en
egiones de imágenes. Se in es iga on Fas e Regional Con olu ional Neu al Ne wo k
(Fas e R-CNN) [8], Mask Regional Con olu ional Neu al Ne wo k (Mask R-CNN) b [9],
Regional Fully Con olu ional Ne wo k (R-FCN) [10], y Single Sho Mul ibox De ec o
(SSD) [11] po se los más consolidados en la ac ualidad.
143
Localización e iden i icación au omá ica de pólipos median e una ed neu onal con olucional po
egiones
Fas e R-CNN es un mé odo que su gió con el obje i o de mejo a la e iciencia de
su an eceso Fas R-CNN median e el eap o echamien o del cómpu o ealizado
en la p ime a e apa del algo i mo pa a e i a cálculo epe i i o. Mask R-CNN es un
modelo basado en Fas e R-CNN cuya mejo a eside en la capacidad de de ol e un
con o neado p eciso del obje o de ec ado. R-FCN es un mé odo ambién basado en
Fas e R-CNN que mejo a conside ablemen e la elocidad al hace odas sus e apas
del algo i mo con capas de con olución. SSD es un mé odo simila a los an e io es
que se ca ac e iza po no ene ases sepa adas en ejecución, sino que se ealizan
odas a la ez, lo que con ie e una e iciencia supe io a los o os mé odos.
Dado que la capacidad de de ol e con o nos de Mask R-CNN supone un cos e
compu acional mayo y que nues o obje i o es el de localiza la egión donde se
localiza cada pólipo en ídeos, es e mé odo ue desca ado. Fas e -RCNN supe a en
endimien o al es o de los algo i mos que conside amos [12]. A cos a de una educción
en la exac i ud, SSD y R-FCN poseen una elocidad mayo , debido al ap o echamien o
de la capacidad de cómpu o pa alelo que de unidades de p ocesamien o a anzadas.
Fas e -RCNN en cambio posee una lexibilidad mayo al pe mi i selecciona el
núme o de egiones que se quie e conside a en el en enamien o, lo que pe mi e
una adap ación mejo a p oblemas di e en es en los que, como es nues o caso, no
se equie a de ec a muchos obje os en una misma imagen.
Se escogió el mé odo Fas e R-CNN po su lexibilidad a la ho a de pe sonaliza cada
una de sus e apas, así como la capacidad pa a especi ica la can idad de egiones
que se quie e analiza en cada imagen, que posibili a educi el cos e compu acional.
Es e mé odo, esquema izado en la Figu a 2, ex ae las ca ac e ís icas gene ales de la
imagen en una p ime a ase. Pos e io men e decide qué egiones puede con ene
un obje o o í em a iden i ica en base a las ca ac e ís icas p e iamen e calculadas.
Seguidamen e emplea una écnica denominada Region P oposal Ne wo k (RPN),
que a analizando qué egiones de in e és - an as como p e iamen e se hayan
es ablecido- son las mejo es candida as pa a con ene un í em. Finalmen e, una
combinación de dos edes neu onales se enca ga de clasi ica dicho obje o y
eajus a la egión p opues a pa a que aba que el obje o de o ma más p ecisa. Es a
úl ima ase consis e en la ase ca ac e ís ica de su mé odo p edeceso Fas -RCNN
[13]. El modelo escogido a pa i de es e mé odo emplea una a qui ec u a ResNe 50
[14] en su p ime a e apa de ex acción de ca ac e ís icas. Las a qui ec u as ResNe
esuel en el p oblema de endimien o que poseen las edes con olucionales que
ienen una g an can idad de capas, in oduciendo en e ellas lo que se denomina
capas esiduales.

144
Luna Pe ejon, F.; Du an López, L.; Amaya Rod íguez, I. R., Ci i Maso , J.; Ci i Balcells, A.; Vicen e Díaz,
S.; Lina es Ba anco, A.
Capas
con olucionales
(ResNe 50)
Algo i mo R-CNN
Clasi icación
Ajus e del
ma co
De ec o de
egiones de
in e és
Red de
p opues a de
egiones (RPN)
Adquisición de
ca ac e ís icas
Ex acción de
egiones con un
posible elemen o
Selección de
mejo es candida os
Clasi icación y
ubicación
Figu a 2. Diag ama de la a qui ec u a de Fas e -RCNN empleada con ResNe 50 aplicada en
la adquisición de ca ac e ís icas.
Modi icaciones en la base de da os y pa áme os
El mé odo usado de uel e egiones ec angula es de e minados po coo denadas,
po lo que equie e las coo denadas de las imágenes del conjun o de en enamien o.
Se gene a on las coo denadas del ec ángulo de á ea mínima que ecub iese la
egión ci cula p opo cionada po cada imagen de los ídeos de colonoscopia.
Las imágenes o iginales poseen un ma co neg o que ue eliminado pa a el
en enamien o del modelo (conjun o A), po lo que se hizo un ecalculo de las
coo denadas de la egión que con iene un pólipo.
Habi ualmen e pa a aumen a la a iedad del conjun o de da os y comba i el
sob eajus e del modelo se ecu e a écnicas de da a augmen a ion. Consis en en
manipulaciones de las imágenes del subconjun o o iginal ales como cambio de
o ien ación o b illo. Pa a nues o conjun o de da os se aplicó una secuencia de
ope aciones pa a amplia lo (Figu a 2). Se c eó una imagen ol eada ho izon almen e
de odo el conjun o A (conjun o B). Sob e los conjun os A y B se aplicó alea o iamen e
una modi icación del b illo, un di uminado o una o ación de 180o. Se aplicó una y
solo una de es as ope aciones po cada imagen. Con es e p ocedimien o se ob u o
un conjun o de da os compues o po 47816 imágenes di e en es.
145
Localización e iden i icación au omá ica de pólipos median e una ed neu onal con olucional po
egiones
Figu a 3. Ope aciones ealizadas sob e el conjun o de da os o iginal.
El algo i mo Fas e R-CNN en una de sus e apas de en enamien o ap ende a
de ec a el ondo de la imagen, que se in e p e a como un ipo de obje o auxilia . No
obs an e, es posible inclui el ap endizaje de es e ipo de obje os en las demás e apas
p opo cionando como en ada egiones que con engan solo ondo. Se ha aplicado
es a écnica, denominada ha d nega i e mining, u ilizando pa a ello las imágenes
que no con ienen pólipo.
CONCLUSIONES
Se ha empleado un algo i mo Fas e R-CNN pa a a on a el p oblema de de ección y
ubicación de pólipos en ideos de colonoscopia p opues o po GIANA en su edición
de 2018. Se ha usado ResNe 50 como a qui ec u a en la ase de ex acción de
ca ac e ís icas de imagen que posee el mé odo. Se han ealizado écnicas de da a
augmen a ion pa a ob ene un conjun o de da os mayo que comba a el sob eajus e
y mejo e el endimien o del modelo. Se ha empleado ha d nega i e mining pa a
e o za el ap endizaje del ondo y que in luya a o ablemen e en los esul ados.
Algunos de los esul ados p elimina es, en los que se ha empleado pa e de los
ideos de en enamien o (15 ídeos de en enamien o y 3 pa a e aluación), han
alcanzado una p ecisión del 74.87% y una exac i ud de 84.46%. Algunas mues as se
ilus an a con inuación.
146
Luna Pe ejon, F.; Du an López, L.; Amaya Rod íguez, I. R., Ci i Maso , J.; Ci i Balcells, A.; Vicen e Díaz,
S.; Lina es Ba anco, A.
Figu a 4. Ejemplos sob e el subconjun o de ideos empleado en es udios p elimina es. A la
izquie da se ilus an un caso de also posi i o y un also nega i o (pólipo no iden i icado en
la pa e in e io cen al). En el cen o, un caso de e dade o posi i o. A la de echa, un caso
de also posi i o al ondo y un caso de e dade o posi i o.
Los esul ados del desa ío GIANA se án publicados en el a ículo esumen del e en o.
AGRADECIMIENTOS
Ag adecemos a los doc o es Jo ge Be nal y Ayme ic His ace su labo como
o ganizado es del challenge Gas oin es inal Image ANAlysis, así como po
p opo ciona el conjun o de da os necesa io pa a lle a a cabo nues a labo
in es igado a.
REFERENCIAS BIBLIOGRÁFICAS
[1] Tou e zky, D. S., Moze , M. C., y Hasselmo, M. E. (1996). Ad ances in Neu al
In o ma ion P ocessing Sys ems 8: P oceedings o he 1995 Con e ence, 8
[2] Kasey, P. (2017). Top T ends in he Ga ne Hype Cycle o Eme ging Technologies.
Recupe ado de: h ps://www.ga ne .com/sma e wi hga ne / op- ends-in-
he-ga ne -hype-cycle- o -eme ging- echnologies-2017/
[3] LeCun, Y., Bo ou, L., Bengio, Y., y Ha ne , P. (1998). G adien -based lea ning
applied o documen ecogni ion. P oceedings IEEE.
[4] K izhe sky, A., Su ske e , I., y Hin on, G. E. (2012). ImageNe Classi ica ion
wi h Deep Con olu ional Neu al Ne wo ks. Ad ances in neu al in o ma ion
p ocessing sys ems, 25(2).
[5] G eenspan, H., Van Ginneken, B., y Summe s, R. M. (2016). Gues Edi o ial
Deep Lea ning in Medical Imaging: O e iew and Fu u e P omise o an Exci ing
New Technique. IEEE T ansac ions on Medical Imaging.
147
Localización e iden i icación au omá ica de pólipos median e una ed neu onal con olucional po
egiones
[6] Ange mann, Q. e al. (2017) Towa ds Real-Time Polyp De ec ion in Colonoscopy
Videos: Adap ing S ill F ame-Based Me hodologies o Video Sequences
Analysis. En Ca doso, M., e al. (eds). Compu e Assis ed and Robo ic Endoscopy
and Clinical Image-Based P ocedu es. CARE 2017, CLIP 2017. Lec u e No es in
Compu e Science, ol 10550. Sp inge , Cham.
[7] Be nal, J., e al. (2018). Polyp de ec ion benchma k in colonoscopy ideos using
g c ea o : A no el ully con igu able ool o easy and as anno a ion o image
da abases. P oceedings o 32nd CARS con e ence, June 2018, Be lin, Ge many.
(hal-01846141)
[8] Ren, S., He, K., Gi shick, R., y Sun, J. (2017). Fas e R-CNN: Towa ds Real-Time
Objec De ec ion wi h Region P oposal Ne wo ks. IEEE T ansac ions on Pa e n
Analysis and Machine In elligence.
[9] He, K., Gkioxa i, G., Dolla , P., y Gi shick, R. (2017). Mask R-CNN. En P oceedings
o he IEEE In e na ional Con e ence on Compu e Vision.
[10] Dai, J., Li, Y., He, K., y Sun, J. (2016). R-FCN: Objec De ec ion ia Region-based
Fully Con olu ional Ne wo ks. a Xi :1605.06409 2
[11] Liu, W., Anguelo , D., E han, D., Szegedy, C., Reed, S., Fu, C. Y., y Be g, A. C.
(2016). SSD: Single sho mul ibox de ec o . En Lec u e No es in Compu e
Science (including subse ies Lec u e No es in A i icial In elligence and Lec u e
No es in Bioin o ma ics),
[12] Huang, J., Ra hod, V., Sun, C., Zhu, M., Ko a ika a, A., Fa hi, A., … Mu phy, K.
(2017). Speed/accu acy ade-o s o mode n con olu ional objec de ec o s.
En P oceedings - 30 h IEEE Con e ence on Compu e Vision and Pa e n
Recogni ion, CVPR 2017.
[13] Gi shick, R. (2015). Fas R-CNN. En P oceedings o he IEEE In e na ional
Con e ence on Compu e Vision.
[14] He, K., Zhang, X., Ren, S., y Sun, J. (2016). Deep Residual Lea ning o Image
Recogni ion. Mul imedia Tools and Applica ions, a Xi :1512.03385 1.