Tecnicas de Deep Learning para a determinação da idade óssea

Universidade do Minho Escola de Engenharia Departamento de Inform´ atica Gonc¸alo Manuel Barbosa Teles Pinheiro T´ ecnicas de Deep Learning para a determinac¸ ˜ ao da idade ´ ossea December 2019 Universidade do Minho Escola de Engenharia Departamento de Inform´ atica Gonc¸alo Manuel Barbosa Teles Pinheiro T´ ecnicas de Deep Learning para a determinac¸ ˜ ao da idade ´ ossea Dissertac¸ ˜ ao de Mestrado Mestrado Integrado em Engenharia Inform´ atica Dissertac¸ ˜ ao efectuada com a orientac¸ ˜ ao do Professor Doutor Miguel Angel Guevara Lopez Professor Doutor Lu´ıs Gonzaga Mendes Magalh˜ aes December 2019 i DIREITOS DE AUTOR E CONDIC¸ ˜ OES DE UTILIZAC¸ ˜ AO DO TRABALHO POR TERCEIROS Este ´ e um trabalho acad´ emico que pode ser utilizado por terceiros desde que respeitadas as regras e boas pr´ aticas internacionalmente aceites, no que concerne aos direitos de autor e direitos conexos. Assim, o presente trabalho pode ser utilizado nos termos previstos na licenc¸a abaixo indicada. Caso o utilizador necessite de permiss˜ ao para poder fazer um uso do trabalho em condic¸ ˜ oes n˜ ao previstas no licenciamento indicado, dever´ a contactar o autor, atrav´ es do Reposit´ oriUM da Universidade do Minho. Licenc¸a concedida aos utilizadores deste trabalho https://creativecommons.org/licenses/by/4.0/ AGRADECIMENTOS Em primeiro lugar agradec¸o aos meus orientadores o Professor Doutor Miguel Guevara e o Professor Doutor Lu´ ıs Magalh˜ aes pela oportunidade de desenvolvimento deste trabalho de investigac¸˜ ao e a sua disponibilidade e colaborac¸˜ ao durante a sua realizac¸˜ ao. Agradec¸o ao CCG - Centro de Computac¸˜ ao Gr´ afica, especificamente ao CVIG, pois sem a sua estrutura a realizac¸˜ ao deste trabalho n˜ ao seria possivel. Desde os meus colegas, que sempre se mostraram dispon´ ıveis para esclarecer e debater os problemas encontrados, ` a disponibilizac¸˜ ao do hardware necess´ ario para a realizac¸˜ ao desta dissertac¸˜ ao. Agradec¸o a todos os que cruzaram comigo durante o meu percurso acad´ emico e de alguma forma me influenciaram para que, com sucesso, conclu´ ısse esta etapa da minha vida. Por ´ ultimo mas n˜ ao menos importante agradec¸o ` a minha fam´ ılia, especialmente aos meus pais, por todo o apoio. ii iii DECLARAC¸ ˜ AO DE INTEGRIDADE Declaro ter atuado com integridade na elaborac¸˜ ao do presente trabalho acad´ emico e confirmo que n˜ ao recorri ` a pr´ atica de pl´ agio nem a qualquer forma de utilizac¸˜ ao indevida ou falsificac¸˜ ao de informac¸ ˜ oes ou resultados em nenhuma das etapas conducente ` a sua elaborac¸˜ ao. Mais declaro que conhec¸o e que respeitei o C´ odigo de Conduta ´ Etica da Universidade do Minho. RESUMO A avaliac¸ ˜ ao da idade ´ ossea (a maturac¸˜ ao esquel´ etica) ´ e uma pr´ atica cl´ ınica comum para investigar doenc¸as endocrinol´ ogicas, gen´ eticas e de crescimento em crianc¸as. Geralmente ´ e realizada por exame radiol´ ogico da m˜ ao esquerda usando o m´ etodo Greulich e Pyle (G & P) ou o Tanner Whitehouse (TW). No entanto, ambos procedimentos cl´ ınicos demonstraram v´ arias limitac¸ ˜ oes, desde o esforc¸o do exame que tem que ser feito pelos radiologistas at´ e` a significativa variabilidade intra e inter-operador. Para resolver este problema, v´ arias abordagens com recurso a sistemas de apoio ao diagn´ ostico m´ edico (especialmente tomando como base o m´ etodo TW) foram propostas. Nenhum deles demonstrou capacidades de generalizac¸˜ ao para diferentes rac¸as, faixas et´ arias e g´ eneros. A avaliac¸ ˜ ao de exames radiol´ ogicos requer a an´ alise de um profissional com a m´ axima atenc¸˜ ao. No caso do m´ etodo de Greulich e Pyle a radiografia da m˜ ao do paciente ´ e comparada com um atlas padr˜ ao sendo poss´ ıvel observar deficiˆ encias no crescimento dos pacientes. Este ´ e um trabalho exaustivo e sujeito a erros devido ao n´ ıvel de atenc¸˜ ao que ´ e necess´ ario durante o diagn´ ostico. Os m´ etodos de deep learning tˆ em sido aplicados a diversas tarefas de an´ alise de imagem m´ edica como, por exemplo, classificac¸˜ ao de les˜ oes e segmentac¸˜ ao de tecidos. O principal objectivo deste trabalho ´ e desenvolver um modelo capaz de autom´ aticamente determinar a idade ´ ossea. Neste trabalho foram primeiramente testadas v´ arias arquitecturas de redes neuronais convolucionais na determinac¸˜ ao da idade ´ ossea que mostraram bons resultados em tarefas comuns de vis˜ ao por computador. Baseado nos resultados obtidos foi desenvolvido/optimizado um novo modelo que ´ e apresentado neste documento. Foi usado transfer learning e o treino de raiz nas redes neuronais seleccionadas obtendo uma taxa de erro de 7.89 meses na determinac¸˜ ao da idade ´ ossea em pacientes do sexo feminino e uma taxa de erro de 8,28 meses ao executar esta tarefa em homens. iv ABSTRACT Bone age assessment is a common clinical practice to detect endocrinological, genetic and growth diseases. Usually it’s performed using a x-ray image of the non dominant hand applying the Greulich and Pyle or the Tanner Whitehouse (TW) method. However both procedures showed to possess several limitations since the effort demanded to radiologists to the significant intraand inter-operator variability. To address these problems, several automated approaches (especially relying on the TW method) have been proposed. None of them showed to be able to generalize to different races, age ranges and genders. The evaluation of x-ray images requires the analysis of a professional with maximum levels of attention. The Greulich and Pyle method consists in comparing the image with an atlas being able to observe disabilities in the growing of pacients. This is an intensive job and error-prone due to the level of attention that is needed during the diagnosis. Deep Learning methods have been applied to different medical imaging analysis tasks like, for e.g., lesion classification and tissue segmentation. The main objective of this dissertation is to develop a model capable of automatically assess bone age. In this work, we first have tested several state-of-the-art Convolution Neural Networks models for assessing bone age that previously has shown great results in general computer vision tasks. Based on these results, we have developed/optimized a new model, which is presented here. For this purpose, we used transfer learning methods and trained the selected networks from scratch achieving a 7.89-month error rate when assessing bone age in females and 8.28-month error rate when performing this task on men. v CONTE ´ UDO 1 introduc¸˜ ao 1 1.1Contexto e Motivac¸˜ ao 1 1.2Objectivos 2 1.3Estrutura do documento 2 2 estado da arte 4 2.1Machine Learning 4 2.1.1Redes Neuronais Artificiais 5 2.1.2Func¸˜ ao de Custo 6 2.2Deep Learning 7 2.2.1Redes Neuronais convolucionais 7 2.3Vis˜ ao por Computador utilizando Deep Learning 9 2.4Idade ´ Ossea 10 2.4.1Anatomia da m˜ ao 10 2.4.2Estrutura dos Ossos Longos 11 2.4.3Indicadores de Maturidade Esquel´ etica 12 2.4.4Determinac¸˜ ao Anal´ ıtica da Idade ´ Ossea 13 2.4.5Determinac¸˜ ao Autom´ atica da Idade ´ Ossea 14 2.5Computer-aided Diagnosis 15 2.6Computer-aided Diagnosis na determinac¸˜ ao da Idade ´ Ossea 16 2.7Metodos de Deep Learning na determinac¸˜ ao da idade ´ ossea 18 3 material e m´ etodo 20 3.1Material 20 3.2M´ etodo 22 3.2.1Pr´ e-Processamento 24 3.2.2Treino do Modelo 26 3.2.3Avaliac¸˜ ao do Modelo 26 3.2.4Implementac¸˜ ao 27 3.2.5Selecc¸˜ ao das Arquitecturas 27 4 resultados 30 4.1Testes das arquitecturas 30 4.2An´ alise dos resultados dos testes 32 4.3Comparac¸˜ ao com a bibliografia 33 4.4Generalizac¸˜ ao na determinac¸˜ ao da idade ´ ossea 34 vi Conte´ udo vii 5 conclus ˜ oes e trabalho futuro 35 5.1Conclus˜ oes 35 5.2Trabalho Futuro 36 1.3. Estrutura do documento 3 •O capitulo 3apresenta o modelo criado para abordar a determinac¸˜ ao da idade ´ ossea. S˜ ao apresentados e analisados os dados utilizados, assim como, as diversas redes neuronais convolucionais testadas para integrar o modelo. •No capitulo 4s˜ ao discutidos os diversos testes feitos na determinac¸˜ ao da idade ´ ossea e os resultados obtidos nestes. ´ E tamb´ em feito um teste para perceber a capacidade de generalizac¸˜ ao do modelo em radiografias de outras regi˜ oes geogr´ aficas. •O capitulo 5conclui esta dissertac¸˜ ao e apresenta os planos para trabalho futuro. 2 ESTADO DA ARTE Este capitulo tem como objectivo fornecer um contexto ao trabalho apresentado nesta dissertac¸˜ ao. S˜ ao apresentados os conceitos de machine learning edeep learning com ˆ enfase em redes neuronais convolucionais. ´ E tamb´ em apresentado o conceito de vis˜ ao por computador e como este se relaciona com deep learning mais concretamente com redes neuronais convolucionais. De seguida, ´ e introduzido o conceito de idade ´ ossea e por ´ ultimo os trabalhos j´ a existentes na determinac¸˜ ao desta utilizando deep learning. 2.1 machine learning Machine Learning ´ e um ramo da inteligˆ encia artificial que relaciona o problema da aprendizagem a partir de dados com a inferˆ encia de conclus˜ oes generalizadas. Os processos de aprendizagem consistem em dois passos: a estimac¸˜ ao de dependˆ encias desconhecidas de um conjunto de dados num sistema e o uso das dependˆ encias estimadas para a previs˜ ao de novos outputs do sistema [57,96,40,63]. Machine Learning pode ser divido em trˆ es vertentes de aprendizagem, supervisionada, n˜ ao supervisionada e aprendizagem por reforc¸o [53,38,24,75,32,15,47,50,89]. •Aprendizagem supervisionada ocorre quando os dados de treino est˜ ao previamente rotulados. Este tipo de aprendizagem ir´ a permitir encontrar um modelo que seja capaz de prever um r´ otulo, atrav´ es de regress˜ ao ou classificac¸˜ ao, para um novo exemplo apresentado. •Aprendizagem n˜ ao supervisionada os dados de treino n˜ ao est˜ ao previamente rotulados. Os m´ etodos de aprendizagem n˜ ao supervisionada consistem em explorar, ou descrever, um conjunto de dados encontrando, por exemplo, grupos de objectos semelhantes ou relacionando grupos de objectos entre si. •Aprendizagem por reforc¸o possibilita a um agente aprender em um ambiente controlado atrav´ es de tentativa erro a partir das suas acc¸ ˜ oes. 4 2.1. Machine Learning 5 2.1.1Redes Neuronais Artificiais Um exemplo de aprendizagem supervisionada s˜ ao as Redes Neuronais Artificiais (RNAs) que tˆ em como inspirac¸˜ ao o funcionamento do c´ erebro humano simulando a interacc¸˜ ao dos neur´ onios entre si. Os neur´ onios artificiais, ou nodos (representados na figura 1), s˜ ao as unidades computacionais das RNAs. Os neur´ onios est˜ ao extremamente ligados e armazenam nas ligac¸ ˜ oes entre si o conhecimento adquirido numa fase de aprendizagem a partir de um conjunto de dados [29,14]. Figura 1: Arquitetura de um neur´ onio Fonte: https://medium.com/technologymadeeasy/ for-dummies-the-introduction-to-neural-networks-we-all-need-c50f6012d5eb Acedido em 14/06/2019 Um nodo ´ e constitu´ ıdo por um conjunto de conex˜ oes e uma func¸˜ ao de activac¸˜ ao. Cada conex˜ ao ´ e constitu´ ıda por um valor Xie o seu peso Wi. O valor Xirepresenta o output de um neur´ onio de uma camada anterior e o peso Wia importˆ ancia dada pelo neur´ onio actual ao output do neur´ onio anterior. Os pesos ser˜ ao maiores para conex˜ oes mais importantes e menores para conex˜ oes menos relevantes. As conex˜ oes s˜ ao combinadas linearmente e o resultado da combinac¸˜ ao linear das conex˜ oes ´ e alimentada ` a func¸˜ ao de activac¸˜ ao. A func¸˜ ao de activac¸˜ ao tem como objectivo introduzir n˜ ao linearidade no problema a ser resolvido. As func¸ ˜ oes de activac¸˜ ao mais comuns s˜ ao a Softmax, tangente hiperb´ olica ou a sigm´ oide. Back-Propagation Durante a fase de treino de uma rede neuronal artificial esta tenta ajustar-se o melhor poss´ ıvel de modo a reduzir o erro das previs˜ oes produzidas. A t´ ecnica mais utilizada para este efeito ´ e o algoritmo de back-propagation. Tal como o nome indica, este algoritmo consiste em propagar o erro para as camadas anteriores, desde a camada de output at´ e` a camada de input, procurando o m´ ınimo na func¸˜ ao de custo. Este algoritmo ´ e baseado numa t´ ecnica 2.1. Machine Learning 6 chamada descida de gradiente, que usa a taxa de aprendizagem para determinar o tamanho dos passos nas suas iterac¸ ˜ oes. Uma taxa de aprendizagem alta acelera a aprendizagem mas n˜ ao garante que o erro seja m´ ınimo. No entanto, com uma taxa de aprendizagem demasiado pequena o modelo demoraria um numero significativo de epochs(iterac¸ ˜ oes sobre o conjunto de treino) para aprender a prever novos valores. O ideal ´ e um equil´ ıbrio entre estes dois casos de modo a garantir que a rede neuronal ´ e capaz de generalizar e prever em novos casos. [67] 2.1.2Func¸˜ ao de Custo Para perceber se o treino de um modelo est´ a a ser feito na direcc¸˜ ao correta ´ e necess´ ario um mecanismo para o avaliar. A func¸˜ ao de custo, ou loss function, tem como objectivo avaliar a capacidade de um algoritmo em modelar os dados fornecidos. A func¸˜ ao de custo varia consoante o tipo de problema, se se trata de classificac¸˜ ao ou de regress˜ ao. No caso de classificac¸˜ ao, prevˆ e-se um output a partir de um conjunto categ´ orico finito como, por exemplo, classificar um email como spam ou ham. Em problemas de regress˜ ao prevˆ e se um conjunto continuo de outputs como, por exemplo, um prec¸o de um item. No caso da regress˜ ao, quanto maior o valor pior a performance do modelo, pois traduz a distˆ ancia entre os valores previstos pelo modelo e os valores reais. [100,95] Func¸˜ oes de custo de regress˜ ao •Mean Square Error (MSE)/Quadratic Loss/L2Loss A equac¸˜ ao 1, calcula a m´ edia do quadrado entre as distancias do valor previsto pelo modelo (fi) e o valor real (di). Esta func¸˜ ao penaliza os outliers devido ao facto de calcular o quadrado do desvio. MSE =1 n n ∑ i=1di−fi2(1) •Root Mean Square Error (RMSE) Presente na equac¸˜ ao 2, esta func¸˜ ao calcula a raiz quadrada da m´ edia do quadrado entre as distˆ ancias do valor previsto pelo modelo (fi) e o valor real (di). Tal como 2.2. Deep Learning 7 mean square error, esta func¸˜ ao penaliza os outliers por calcular o quadrado do desvio. RMSE =s1 n n ∑ i=1di−fi2(2) •MAE/ L1Loss Esta func¸˜ ao 3calcula a m´ edia do m´ odulo da distancia entre o valor previsto pelo modelo (fi) e o valor real (di). MAE =1 n n ∑ i=1 |di−fi|(3) 2.2 deep learning Uma Rede Neuronal Artificial (RNA) que possua m´ ultiplas camadas entre a camada de entrada e a de sa´ ıda denomina-se de rede neuronal profunda e caracteriza um campo de machine learning denominado de deep learning [72,43,76]. Deep learning permitiu a modelos compostos por v´ arias camadas de processamento a aprendizagem de representac¸ ˜ oes de informac¸˜ ao. Estes m´ etodos melhoraram consideravelmente o reconhecimento do discurso e a detecc¸˜ ao e reconhecimento de objectos utilizando redes neuronais convolucionais [4,61,48,64]. 2.2.1Redes Neuronais convolucionais Convoluc¸˜ ao Uma convoluc¸˜ ao consiste em percorrer uma imagem de input com um filtro (2a), ou kernel, efectuando a soma da multiplicac¸˜ ao elemento a elemento (2b) entre o filtro e a ´ area da imagem onde ´ e aplicado, produzindo uma nova imagem normalmente com dimens˜ ao inferior. O tamanho da imagem depois de uma convoluc¸˜ ao ´ e controlado pelo passo, ou stride. O passo indica quantos pixeis se move o filtro e quanto maior o passo menor ser´ a o output da convoluc¸˜ ao. 2.2. Deep Learning 8 (a) Primeira aplicac¸˜ ao do filtro ` a imagem (b) Multiplicac¸˜ ao elemento a elemento Figura 2: Ilustrac¸˜ ao da aplicac¸˜ ao do filtro ` a imagem Fonte: https://github.com/markjay4k/Deep-Learning-Concepts/blob/master/ part1-Convolution.pdf Acedido em 14/06/2019 Na figura 3a´ e ilustrada a aplicac¸˜ ao do filtro depois de um passo com tamanho um. Depois de percorrida toda a imagem d´ a-se por conclu´ ıda a convoluc¸˜ ao sendo gerada uma nova imagem normalmente designada por feature map(3b). (a) Segunda convoluc¸˜ ao com passo 1(b) Feature Map Figura 3: Ilustrac¸˜ ao do passo e do resultado de uma convoluc¸ ˜ ao Fonte: https://github.com/markjay4k/Deep-Learning-Concepts/blob/master/ part1-Convolution.pdf Acedido em 14/06/2019 Redes neuronais convolucionais (Convolutional Neural Networks (CNN)) processam dados que est˜ ao representados na forma de m´ ultiplos vectores, como por exemplo uma imagem representada por trˆ es vetores de duas dimens˜ oes contendo a intensidade de cores Red, 2.3. Vis˜ ao por Computador utilizando Deep Learning 9 Green, Blue (RGB) [43]. As principais camadas de aprendizagem que caracterizam uma CNN s˜ ao a camada convolucional, a de pooling ou sub-sampling e a fully-connected. A primeira faz uma convoluc¸˜ ao e a camada de pooling gera v´ arias amostras a partir do feature map gerado anteriormente. No final, atrav´ es de uma camada fully-connected,´ e retirada uma conclus˜ ao seja a de pertenc¸a de uma imagem a uma classe predefinida ou a de previs˜ ao de um valor [45,76,11]. 2.3 vis ˜ ao por computador utilizando deep learning Vis˜ ao por computador tem como objectivo munir o computador de habilidades para compreender o mundo envolvente utilizando informac¸ ˜ ao dispon´ ıvel em fotografias ou v´ ıdeos. Apesar de compreender as redondezas ser uma tarefa trivial para o ser humano no caso das m´ aquinas torna-se bastante complexa. Esta complexidade deve-se ao facto de o computador armazenar as imagens como uma matriz, ou matrizes, de n´ umeros. Um n´ umero destes por si s´ o n˜ ao tem qualquer significado tem por isso de ser relacionado com os seus vizinhos para ser poss´ ıvel retirar alguma conclus˜ ao da imagem. Existem enumeras aplicac¸ ˜ oes para m´ etodos de vis˜ ao por computador como inspecc¸˜ ao autom´ atica [83,21], vigilˆ ancia [56,59], reconstruc¸˜ ao de cen´ arios [60,73], diagn´ ostico m´ edico [49,31], entre outras. Redes neuronais convolucionais representam o estado da arte em soluc¸ ˜ oes no campo da vis˜ ao por computador em tarefas como de classificac¸˜ ao de objectos [85,79], reconhecimento de padr˜ oes [94] e extracc¸˜ ao de caracter´ ısticas [101]. Surgiram assim arquitecturas de CNNs que se mostraram capazes de generalizar estas tarefas como a Alexnet [41], MobileNet [35,69], Xception [12], VGG [78], ResNet [33,34,97], Inception [84], DenseNet [36], NasNet [104] entre outras. A aplicac¸˜ ao destas redes mostrou-se eficaz na compreens˜ ao de imagens m´ edicas. Foram usadas na an´ alise de imagens do c´ erebro com diferentes objectivos como a detecc¸˜ ao de Alzheimer, segmentac¸˜ ao de tecido cerebral e detecc¸˜ ao e segmentac¸˜ ao de les˜ oes [25,22]. Na imagem oftalmol´ ogica, especificamente em imagens color fundus, s˜ ao tratados in´ umeros problemas como a segmentac¸˜ ao de estruturas anat´ omicas [20,52,103], a detecc¸˜ ao e segmentac¸˜ ao de anomalias na retina [8,90] e o diagnostico de doenc¸as [2,31]. Em imagem tor´ acica, seja em radiografias ou tomografias, a detecc¸˜ ao e classificac¸˜ ao de n´ odulos [51,93,13] e a detecc¸˜ ao de tuberculose [70,39] s˜ ao os problemas mais trabalhados. No estudo de mamografias a tarefa mais trabalhada ´ e a detecc¸˜ ao de cancro que consiste em trˆ es sub-tarefas: detecc¸˜ ao e classificac¸˜ ao de massas [3,6], detecc¸˜ ao e classificac¸˜ ao de microcalcificac¸ ˜ oes [68,58] e avaliac¸ ˜ ao de risco de cancro [16]. Em imagens abdominais, como tacs ou ressonˆ ancias magn´ eticas, foram utilizadas CNN na detecc¸˜ ao e segmentac¸˜ ao de les˜ oes no f´ ıgado [46,92], segmentac¸˜ ao do pˆ ancreas [66,9] e a classificac¸˜ ao de les˜ oes na pr´ ostata [102,5]. 2.4. Idade ´ Ossea 10 2.4 idade ´ ossea A idade ´ ossea ´ e a medida que permite definir o grau de maturac¸˜ ao do esqueleto de uma crianc¸a ou adolescente considerando a forma, o tamanho e o grau de mineralizac¸˜ ao de um osso. Esta medida possibilita aos pediatras a detecc¸˜ ao de doenc¸as do foro endocrinol´ ogico, problemas de crescimento ou gen´ eticos e tamb´ em a previs˜ ao da altura adulta [30,86,87]. A determinac¸˜ ao da idade ´ ossea ´ e efectuada a partir de uma radiografia do pulso e da m˜ ao, normalmente esquerda, aplicando um de dois m´ etodos, o de Greulich & Pyle ou o de Tanner Whitehouse [55,54]. Estes m´ etodos demonstraram possuir diversas limitac¸ ˜ oes, desde o esforc¸o exigido aos radiologistas ` a significativa variabilidade intra e inter-operador. Os resultados destes m´ etodos ir˜ ao sempre depender do g´ enero e etnia do paciente em quest˜ ao, visto que estes factores fazem variar a velocidade de desenvolvimento ´ osseo [17,27,80]. 2.4.1Anatomia da m˜ ao A m˜ ao (figura 4)´ e constitu´ ıda por ossos do carpo, metacarpo e dedos. O carpo ´ e constitu´ ıdo por 8ossos e pode ser dividido em distal e proximal. O carpo proximal est´ a em contacto com o antebrac¸o e ´ e constitu´ ıdo pelo Escaf´ oide, Semilunar, Piramidal e Pisiforme. O carpo distal est´ a em contacto com o metacarpo e ´ e constitu´ ıdo pelo Trap´ ezio, Trapez´ oide, Capitato e Hamato. O metacarpo constitui a palma da m˜ ao e ´ e constitu´ ıdo por 5ossos. Os dedos s˜ ao constitu´ ıdos por falanges distais, m´ edias e proximais com excec¸˜ ao do polegar que possui apenas falange proximal e distal [7]. 2.4. Idade ´ Ossea 11 Figura 4: Anatomia da m˜ ao e do pulso Fonte: https://www.passeidireto.com/arquivo/36741871/ossos-da-mao Acedido em 16/06/2019 2.4.2Estrutura dos Ossos Longos Ossos longos s˜ ao aqueles que possuem um comprimento maior que a sua largura e s˜ ao constitu´ ıdos por um corpo e duas extremidades. Na m˜ ao, as falanges e os metacarpos s˜ ao constitu´ ıdos por ossos longos. As partes de um osso longo, observ´ aveis na Figura 5, s˜ ao: •Di´ afise: ´ e o corpo de um osso longo. ´ E constitu´ ıda por tecido ´ osseo compacto respons´ avel por fornecer resistˆ encia ao osso. •Ep´ ıfise: ´ e a extremidade de um osso longo. Esta ´ e respons´ avel por unir um osso longo a uma articulac¸˜ ao. ´ E constitu´ ıda por osso esponjoso revestida por osso compacto envolvidos em cartilagem. •Met´ afise: ´ e a parte dilatada da di´ afise mais pr´ oxima da ep´ ıfise. 2.4. Idade ´ Ossea 12 Figura 5: Estrutura do osso longo Fonte: https://www.wikiwand.com/pt/Osso_longo Acedido em 16/06/2019 2.4.3Indicadores de Maturidade Esquel´ etica Na maioria das crianc¸as e adolescentes ´ e poss´ ıvel observar, nos dois g´ eneros, uma ossificac¸˜ ao constante do carpo, metacarpo e falanges. No geral, a primeira ossificac¸˜ ao a aparecer no pulso e na m˜ ao ´ e o capitato e, geralmente, a ultima ossificac¸˜ ao ´ e o sesam´ oide do polegar [23]. Para uma determinac¸˜ ao facilitada da idade ´ ossea, o desenvolvimento ´ osseo pode ser dividido em seis categorias caracterizadas por diferentes n´ ıveis de ossificac¸˜ ao [26]: •Infˆ ancia - Infancy A esta categoria pertencem crianc¸as do sexo feminino entre o nascimento e os 10 meses e crianc¸as do sexo masculino entre o nascimento e os 14 meses. ´ E caracterizada pelo inicio da ossificac¸˜ ao de alguns ossos do pulso e pelo aparecimento de uma pequena ossificac¸˜ ao na ep´ ıfise do r´ adio. •Infˆ ancia - Toddlers 2.7. Metodos de Deep Learning na determinac¸˜ ao da idade ´ ossea 19 modelo desenvolvido foi avaliado segundo o MAE eRMSE obtendo uma taxa de erro de 0.5(6meses) e 0.63 anos (7.56 meses), respectivamente. Lee et al. [44] treinam a LeNet-05, uma rede neuronal convolucional, para detetar e segmentar a m˜ ao em radiografias e de seguida aplicam fine tunning sobre GoogLeNet. Sobre as imagens foram aplicadas t´ ecnicas de data augmentation como rotac¸˜ ao, redimensionamento e cisalhamento adicionando,respectivamente, sessenta e uma, cento e cinquenta e cento e vinte e uma imagens ao dataset original. Este m´ etodo obteve um RMSE de 0.93 anos (11.16 meses) em pacientes do sexo feminino e de 0.82 anos (9.84 meses) em pacientes do sexo masculino. Iglovikov et al. [37] abordaram a determinac¸˜ ao da idade ´ ossea com redes neuronais convolucionais aplicando regress˜ ao e classificac¸˜ ao. Para o problema de regress˜ ao as idades foram normalizadas entre -1e1. No problema de classificac¸˜ ao foram criadas 240 classes para representarem as idades presentes no conjunto de dados que continha 11600 imagens. A rede foi treinada com imagens da m˜ ao e pulso, apenas pulso, apenas os dedos e um conjunto de todas as anteriores. Esta abordagem conseguiu um MAE de 7.52 meses. Zhao et al. [99] aplicaram deep active learning de modo a segmentar regi˜ oes de interesse, como dedos e pulso, para, seguidamente, estimar a idade ´ ossea utilizando paced transfer learning. Este m´ etodo obteve um MAE de 7.66 meses. Ren et al. [65] treinam a rede Faster-RCNN para desenhar o rectˆ angulo com o tamanho m´ ınimo capaz de conter a m˜ ao na radiografia. De seguida, ´ e aplicado fine tunning sobre a arquitectura InceptionV3para extracc¸˜ ao de caracter´ ısticas que s˜ ao, posteriormente, alimentadas a uma camada normalizac¸˜ ao seguida de uma de pooling e trˆ es fully connected encarregues do processo de regress˜ ao respons´ avel por fornecer a idade ´ ossea prevista. Este m´ etodo obteve uma taxa de erro, calculada atrav´ es do MAE, de 5.2meses. 3 MATERIAL E M´ ETODO Este capitulo comec¸a detalhando o material utilizado no desenvolvimento desta dissertac¸˜ ao, como as imagens foram concatenadas e posteriormente divididas. ´ E apresentado o m´ etodo comec¸ando por expor uma ideia geral da estrat´ egia adoptada e, de seguida, s˜ ao especificadas todas as decis˜ oes tomadas como o pr´ e-processamento dos dados, as condic¸ ˜ oes de treino do modelo, a sua avaliac¸˜ ao, os detalhes de implementac¸˜ ao e a selecc¸˜ ao e testes feitos ` as arquitecturas das redes neuronais convolucionais. 3.1 material O conjunto de dados utilizado neste trabalho ´ e uma combinac¸˜ ao das imagens utilizadas por Cunha et al. [17] e as imagens disponibilizadas no desafio da RSNA para a determinac¸˜ ao da idade ´ ossea. O dataset do trabalho de Cunha et al. ´ e constitu´ ıdo por oitocentas e oitenta e sete radiografias onde cada registo cont´ em a idade cronol´ ogica, o g´ enero, a vista da radiografia (posteroanterior – PA ou anteroposterior – AP) e a idade ´ ossea estimada por radiologistas da Faculdade de Medicina da Universidade do Porto - Hospital de S˜ ao Jo˜ ao atrav´ es do m´ etodo de Greulich & Pyle. Este dataset cont´ em 502 imagens do sexo feminino e485 imagens do sexo masculino (9b). A idade cronol´ ogica varia entre os 7.7meses (0.64 anos) e os 238.4meses (19.87 anos) e a idade ´ ossea varia entre os 3meses (0.25 anos) e os 238 meses (19.83 anos) (9a). 20 3.1. Material 21 (a) Distribuic¸˜ ao de idades (b) Distribuic¸˜ ao de g´ eneros Figura 9: Distribuic¸ ˜ oes do dataset de Cunha et al. Odataset do desafio proposto pela RSNA ´ e constitu´ ıdo por 12612 imagens doadas pelos autores de [42]. Estas imagens apenas possuem anotac¸ ˜ oes sobre o g´ enero e a idade ´ ossea. A idade ´ ossea neste conjunto (10a) varia entre 1mˆ es (0.08 anos) e os 228 meses (19 anos). Existem 5778 imagens de pacientes do sexo feminino e 6833 imagens de pacientes do sexo feminino (10b) . (a) Distribuic¸˜ ao de idades (b) Distribuic¸˜ ao de g´ eneros Figura 10: Distribuic¸ ˜ oes do dataset de RSNA Devido ao facto de o g´ enero ser um factor crucial na determinac¸˜ ao da idade ´ ossea o dataset foi divido por g´ enero. Com esta divis˜ ao foram criados dois sub-datsets com 6283 imagens no dataset feminino e 7321 imagens no dataset masculino. Nos gr´ aficos das figuras 11ae11b´ e poss´ ıvel observar a distribuic¸˜ ao das idades por g´ enero. Cada dataset foi dividido em 80% das imagens para treino e 20% das imagens para validac¸˜ ao. 3.2. M´ etodo 22 (a) Distribuic¸˜ ao de idades no dataset feminino (b) Distribuic¸˜ ao de idades no dataset masculino Figura 11: Distribuic¸ ˜ oes de idades ap´ os divis˜ ao dos datasets 3.2 m ´ etodo Tendo como base a bibliografia apresentada na secc¸˜ ao 2.7, foram consideradas duas abordagens a este problema, como um problema de classificac¸˜ ao ou como um problema de regress˜ ao. A primeira, a de classificac¸˜ ao, consistia em dividir as idades ´ osseas em intervalos treinando os modelos de modo a preverem a classe pertencente de uma certa radiografia. Nesta abordagem foi detectado um desafio, que seria muito dif´ ıcil de ultrapassar, que consistiu em determinar o tamanho do intervalo em que seria feita a divis˜ ao em classes das idades ´ osseas. A divis˜ ao em classes poderia ser feita em meses, mas o facto de as idades ´ osseas manterem entre si uma relac¸˜ ao ordinal levou ao abandono desta hip´ otese. Foi assim decidido abordar este problema como um problema de regress˜ ao e treinar o modelo de modo a que o seu ´ unico parˆ ametro de sa´ ıda fosse um n´ umero que representasse a idade ´ ossea em meses correspondentes ` a m˜ ao contida numa radiografia. Havia ainda uma decis˜ ao importante a tomar, que consistia em como transmitir ao modelo o g´ enero de cada imagem devido ` a sua importˆ ancia para o resultado final. Segundo abordagens existentes isto ´ e poss´ ıvel de duas formas diferentes. Uma consistia em passar ao modelo, depois da fase de extracc¸˜ ao de caracter´ ısticas, numa das camadas fully connected, parˆ ametros indicadores do g´ enero. A segunda consistia em simplesmente dividir o dataset por g´ enero. Apesar da primeira abordagem dotar o modelo de uma melhor capacidade de extracc¸˜ ao de caracter´ ısticas devido ` a maior quantidade imagens observadas de uma s´ o vez, a limitac¸˜ ao de mem´ oria da m´ aquina dispon´ ıvel levou ` a decis˜ ao, tal como descrito na secc¸˜ ao 3.1, de dividir o dataset por g´ enero. Considerando as decis˜ oes tomadas nos dois par´ agrafos anteriores, o m´ etodo proposto ´ e tamb´ em baseado nas abordagens [80,44,1,65]. Seguindo a abordagem dos vencedores do 3.2. M´ etodo 23 desafio proposto pela RSNA para a determinac¸ ˜ ao da idade ´ ossea [1] foi decidido n˜ ao adoptar o passo de segmentac¸˜ ao da m˜ ao. Por sua vez, foram aplicados outros m´ etodos de pr´ eprocessamento, como a normalizac¸˜ ao das idades ´ osseas, o balanceamento da distribuic¸˜ ao das idades ´ osseas e t´ ecnicas de data augmentation. De seguida, com base na abordagem de [80], s˜ ao testadas diversas arquitecturas de redes neuronais convolucionais, que mostraram bons resultados em tarefas de classificac¸˜ ao de objectos, para integrar o modelo final. Sobre as arquitecturas seleccionadas s˜ ao efectuados testes para perceber a sua capacidade na determinac¸˜ ao da idade ´ ossea. Estes testes incluem a aplicac¸ ˜ ao de fine tunning e o treino destas redes neuronais convolucionais de raiz com imagens mais detalhadas do que aquelas utilizadas na aplicac¸˜ ao de fine tunning. Sobre estas arquitecturas, baseado na implementac¸˜ ao de [65], s˜ ao adicionadas camadas de normalizac¸˜ ao, pooling, dropout efully connected com o intuito, de tornar estas redes mais eficazes na determinac¸˜ ao da idade ´ ossea mas tamb´ em transformar arquitecturas que inicialmente foram desenvolvidas para problemas de classificac¸˜ ao de m´ ultiplas classes num modelo de regress˜ ao. Considerando todas estas decis˜ oes a arquitectura do modelo pode ser observada na figura 12. Figura 12: Arquitectura definida do modelo 3.2. M´ etodo 24 3.2.1Pr´ e-Processamento Normalizac¸˜ ao das idades ´ osseas De modo a acelerar o processo de treino das redes neuronais todas as idades foram normalizadas segundo z-score calculado atrav´ es da equac¸˜ ao 4. Onde xrepresenta a idade ´ ossea em meses, µa m´ edia das idades ´ osseas e σo desvio padr˜ ao da amostra das idades. z=x−µ σ(4) O objectivo de normalizar utilizando o z-score ´ e redimensionar o intervalo das amostras preservando a distˆ ancia entre estas e recolocando a m´ edia das amostras em zero e o seu desvio padr˜ ao em um. Esta normalizac¸ ˜ ao permite, teoricamente, que a actualizac¸ ˜ ao dos pesos em todos os nodos da rede neuronal seja feita ` a mesma velocidade e impede que alguns pesos nunca sejam actualizados ou demorem consideravelmente mais que os restantes. Balanceamento da distribuic¸˜ ao das idades ´ osseas Depois de dividir o dataset entre teste e treino, foram criadas dez classes equidistantes, ou seja, o intervalo da amostra das idades ´ osseas foi dividido em dez partes iguais. De seguida, e de modo a combater o desbalanceamento entre certos intervalos de idades, algumas imagens foram repetidas em cada classe de modo a balancear as classes criadas. Este balanceamento foi aplicado em todas as classes que possu´ ıam menos de quatrocentas imagens, preenchendo cada classe, at´ e` as quatrocentas amostras. Apesar de algumas classes possu´ ırem mais de quatrocentas imagens e n˜ ao ficarem assim perfeitamente balanceadas, este foi o valor encontrado que permitiu correr o maior n´ umero de testes com os modelos seleccionados e ter a melhor relac¸˜ ao n´ umero de imagens / mem´ oria dispon´ ıvel. Ou seja, nos testes em que este n´ umero foi aumentado para al´ em de quatrocentas imagens por classe n˜ ao foi poss´ ıvel correr o treino das redes neuronais devido ` a falta de mem´ oria dispon´ ıvel. Data Augmentation De modo a aumentar a robustez e a invariˆ ancia do modelo foram utilizadas t´ ecnicas de data augmentation. Normalmente, o processo de data augmentation tem como objectivo expandir o dataset aplicando transformac¸ ˜ oes ` as imagens existentes e adicionando estas novas imagens ao dataset original. No entanto, devido ` as limitac¸ ˜ oes de mem´ oria existentes n˜ ao seria poss´ ıvel processar as imagens originais e as transformadas simultaneamente. A estrat´ egia de data augmentation passa, ent˜ ao, por, a cada ´ epoca, mostrar ao modelo as mesmas imagens mas com transformac¸ ˜ oes diferentes permitindo que, a cada ´ epoca de treino, o modelo veja novas variac¸ ˜ oes das imagens originais. Adoptando esta estrat´ egia ´ e poss´ ıvel aplicar data augmentation sem ter um custo acrescido de mem´ oria. No in´ ıcio de cada treino, 3.2. M´ etodo 25 s˜ ao seleccionadas um n´ umero aleat´ orio de transformac¸ ˜ oes para serem aplicadas a cada imagem. A aleatoriedade das transformac¸ ˜ oes permite que imagens repetidas devido ao processo descrito em 3.2.1sejam apresentadas de forma diferente ao modelo, tendo em conta que a probabilidade de a mesma transformac¸˜ ao ser aplicada em imagens iguais ´ e reduzida. As t´ ecnicas aplicadas incluem: normalizac¸˜ ao de features ao longo de cada imagem e do dataset, flips horizontais, variac¸ ˜ oes de altura e largura por um fator de at´ e10%, rotac¸ ˜ oes at´ e um m´ aximo de 10ono sentido dos ponteiros do rel´ ogio e contra os ponteiros do rel´ ogio, cisalhamento at´ e um m´ aximo de 5oem ambos os sentidos e zoom in or out at´ e 15%. Os parˆ ametros das transformac¸ ˜ oes aplicadas foram estimados com base nas variac¸ ˜ oes observadas entre as imagens. O processo de data augmentation ´ e especificado no algoritmo 1. Algorithm 1Data Augmentation algorithm 1:procedure Data Augmentation 2:For each epoch: 3:n←Random[0, 8] 4: 5:Select random (n) from: 6:LocalStandardization 7:AcrossDataStandardization 8:FlipHorizontally 9:FlipVertically 10:RangeHeight 11:RangeWidth 12:Rotate 13:Shear 14:Zoom 15: 16:Apply Selected Transformations 17: 18:Train 3.2. M´ etodo 26 3.2.2Treino do Modelo O treino do modelo foi realizado na m´ aquina especificada na tabela 1. CPU GPU Fabricante Intel NVIDIA Modelo Core i7-7700 GeForce GTX 1080 #Dispositivos 1 2 Arquitetura Kaby Lake Pascal #N´ ucleos 4 2560 Frequˆ encia 3600 1607 Cache L1 2 x32KB/n´ ucleo 96KB/SM L2Cache 256KB/core 4MB L3Cache 8MB N/A Mem´ oria 16GB (RAM) 8GB Tabela 1: Especificac¸˜ ao do CPU e GPUs utilizados para o treino do modelo De modo a tirar partido de ambos os GPUs da m´ aquina descrita na tabela 1,´ e poss´ ıvel criar na biblioteca Keras um modelo multi-GPU que replica o modelo em ambos os GPUs aproveitando assim o paralelismo entre estes. Para este prop´ osito, o CPU cria o modelo de modo a este ser copiado para os dois GPUs. Usando dois GPUs aumentamos para o dobro o nosso poder de processamento reduzindo, teoricamente, o tempo de treino para metade. 3.2.3Avaliac¸˜ ao do Modelo A avaliac¸ ˜ ao deste modelo foi feita calculando o mean average error (MAE) entre a idade calculada pelo radiologista e a idade prevista pelo modelo. O MAE ´ e apenas usado como m´ etrica e n˜ ao ´ e aplicado na optimizac¸˜ ao do modelo. A func¸˜ ao de custo utilizada na optimizac¸˜ ao dos pesos da rede neuronal ´ e a mean squared error (MSE) devido ao facto de penalizar mais os outliers e ter uma descida de gradiente mais suave que a MAE, permitindo uma convergˆ encia mais eficaz para o m´ ınimo da func¸˜ ao. O MAE mant´ em o gradiente durante todo o processo de treino, o que quer dizer que o gradiente se manter´ a elevado mesmo quando existirem valores de custo pequenos e seja necess´ ario dar passos pequenos na func¸˜ ao de custo. Ao contr´ ario do MAE, o gradiente do MSE ´ e alto quando os valores de custo s˜ ao altos e diminui quando o custo tende para zero tornando o MSE mais preciso na fase final do treino. 3.2. M´ etodo 27 3.2.4Implementac¸˜ ao Durante o decorrer desta dissertac¸˜ ao todo o desenvolvimento do trabalho descrito foi implementado em Python devido ` a versatilidade e oferta de bibliotecas focadas em aplicac¸ ˜ oes de Deep Learning. Para o pr´ e-processamento foi utilizada a biblioteca Pandas. Esta biblioteca fornece estruturas de dados e ferramentas de an´ alise de dados que permitiram uma leitura f´ acil dos ficheiros CSV e a sua manipulac¸˜ ao. A biblioteca Numpy disponibilizou um conjunto de operac¸ ˜ oes matem´ aticas sobre vectores agilizando, por exemplo, a normalizac¸˜ ao das idades ´ osseas. Os gr´ aficos de an´ alise dos dados foram gerados atrav´ es da biblioteca Matplotlib. Para o desenvolvimento do modelo de Deep Learning foram consideradas as seguintes bibliotecas: •Keras - ´ e uma Application Programming Interface (API) de alto n´ ıvel disponibilizada em Python capaz de correr com um backend baseado em qualquer uma das trˆ es bibliotecas descritas de seguida. O desenvolvimento desta biblioteca teve como objectivo a r´ apida experimentac¸˜ ao de modelos de Deep Learning. •Tensorflow - ´ e uma biblioteca de Machine Learning desenvolvida pela Google. A integrac¸˜ ao com esta biblioteca pode ser feita em Python ou C++. •Theano - ´ e uma biblioteca de Machine Learning desenvolvida pela Universidade de Monreal. A utilizac¸˜ ao desta biblioteca ´ e feita em Python. •Congnitive ToolKit (CNTK) - ´ e uma biblioteca de Machine Learning desenvolvida pela Microsoft. A utilizac¸ ˜ ao desta biblioteca ´ e feita em Python. Das consideradas, a escolhida foi a API Keras utilizando como backend a biblioteca Tensorflow devido ` a facilidade com que permite a interacc¸˜ ao com esta ´ ultima e a criac¸˜ ao e utilizac¸˜ ao de modelos j´ a predefinidos. 3.2.5Selecc¸˜ ao das Arquitecturas Neste trabalho foram testadas v´ arias arquitecturas de redes neuronais convolucionais disponibilizadas na biblioteca Keras pelo m´ odulo keras.applications. Esta biblioteca disponibiliza cerca de vinte arquitecturas prontas a utilizar e teria de ser adoptada uma estrat´ egia para seleccionar cinco destas arquitecturas. As colunas Top-1Accuracy eTop-5Accuracy referem-se ` a performance destas redes no desafio de classificac¸˜ ao ImageNet.Top-1accuracy ´ e a precis˜ ao da rede quando a classe prevista com maior probabilidade ´ e de facto a classe correta. Top-5 accuracy ´ e a precis˜ ao da rede quando a classe correta est´ a entre as cinco previstas com maior probabilidade. Estes dois indicadores tiveram a maior relevˆ ancia na escolha das arquitecturas a integrar o modelo. Ao classificarem correctamente um objecto contido numa imagem, 3.2. M´ etodo 28 entende-se que s˜ ao capazes de extrair caracter´ ısticas de imagens que s˜ ao representativas do problema a prever e, por isso, mais capazes de generalizar. Um aspecto tamb´ em considerado, com o mesmo peso, foi o tamanho, o n´ umero de parˆ ametros trein´ aveis e o n´ umero de camadas de cada rede. Quantas mais camadas e parˆ ametros trein´ aveis uma rede possu´ ısse, mais mem´ oria seria necess´ aria para carregar estes parˆ ametros durante a fase de transfer learning devido ao facto de ser necess´ ario armazenar mais pesos para cada rede. Um ultimo factor considerado na selecc¸˜ ao das redes foi testar a maior variedade de arquitecturas existentes. Os detalhes de cada uma destas arquitecturas s˜ ao apresentados na tabela 2. Model Size Top-1Accuracy Top-5Accuracy Parameters Depth Xception 88 MB 0.790 0.945 22,910,480 126 VGG16 528 MB 0.713 0.901 138,357,544 23 VGG19 549 MB 0.713 0.900 143,667,240 26 ResNet50 98 MB 0.749 0.921 25,636,712 - ResNet101 171 MB 0.764 0.928 44,707,176 - ResNet152 232 MB 0.766 0.931 60,419,944 - ResNet50V2 98 MB 0.760 0.930 25,613,800 - ResNet101V2 171 MB 0.772 0.938 44,675,560 - ResNet152V2 232 MB 0.780 0.942 60,380,648 - ResNeXt50 96 MB 0.777 0.938 25,097,128 - ResNeXt101 170 MB 0.787 0.943 44,315,560 - InceptionV3 92 MB 0.779 0.937 23,851,784 159 MobileNet 16 MB 0.704 0.895 4,253,864 88 MobileNetV2 14 MB 0.713 0.901 3,538,984 88 DenseNet121 33 MB 0.750 0.923 8,062,504 121 DenseNet169 57 MB 0.762 0.932 14,307,880 169 DenseNet201 80 MB 0.773 0.936 20,242,984 201 NASNetMobile 23 MB 0.744 0.919 5,326,716 - NASNetLarge 343 MB 0.825 0.960 88,949,818 - Tabela 2: Detalhes das arquitecturas poss´ ıveis de escolha Considerando os factores apresentados no paragr´ afo anterior, foram seleccionadas as seguintes arquitecturas: MobileNet [35,69], Xception [12], VGG19 [78], InceptionV3[84], DenseNet201 [36]. A rede MobileNet foi seleccionada devido ao seu tamanho reduzido na tentativa de perceber se uma arquitectura ”simples”seria capaz de compreender e extrair caracter´ ısticas de radiografias. As restantes arquitecturas foram seleccionadas devido aos resultados j´ a demonstrados na literatura nas mais diversas tarefas de classificac¸˜ ao para al´ em dos bons resultados obtidos no desafio ImageNet. 5 CONCLUS ˜ OES E TRABALHO FUTURO Neste capitulo s˜ ao apresentadas as conclus˜ oes desta dissertac¸˜ ao assim como algumas propostas para trabalho futuro. 5.1 conclus ˜ oes Neste trabalho foi desenvolvido um m´ etodo para determinar automaticamente a idade ´ ossea em crianc¸as e adolescentes que permitiu testar e aprimorar modelos implementados anteriormente. Ao contr´ ario do que era pensado inicialmente, o aumento do detalhe nas imagens n˜ ao foi sin´ onimo de melhores resultados provando-se em alguns casos o contr´ ario. A utilizac¸˜ ao dos pesos do desafio ImageNet, ainda que com conhecimento adquirido noutro contexto, mostrou-se uma mais valia possibilitando obter os melhores resultados em todos os modelos quando aplicado transfer learning. Como principal contribuic¸˜ ao foi implementado e optimizado um modelo de redes neuronais convolucionais que executou a tarefa proposta com resultados semelhantes ou melhores que m´ etodos reportados anteriormente na literatura. Demonstrou-se que (1) o uso de t´ ecnicas de data augmentation consegue tornar modelos de deep learning mais robustos e (2) a adic¸˜ ao de camadas especificas a modelos desenvolvidos anteriormente pode aumentar o seu desempenho. Com base no modelo proposto investigadores poderiam testar e usar outras arquitecturas de redes neuronais convolucionais. Por ´ ultimo, para ser poss´ ıvel a utilizac¸˜ ao do modelo desenvolvido em hospitais portugueses como um sistema de computer-aided diagnosis todo este processo teria de ser repetido utilizando apenas como referˆ encia imagens de crianc¸as e jovens portugueses. O ultimo teste realizado mostrou que o modelo desenvolvido quando treinado com imagens de crianc¸as e jovens norte-americanas n˜ ao ´ e capaz de generalizar e prever correctamente a idade ´ ossea para a populac¸˜ ao portuguesa. Idealmente, a melhor soluc¸ ˜ ao seria identificar diferentes regi˜ oes geogr´ aficas onde fosse poss´ ıvel verificar semelhanc¸as concretas no desenvolvimento entre crianc¸as / adolescentes. 35 5.2. Trabalho Futuro 36 5.2 trabalho futuro Para trabalho futuro est˜ ao considerados os trˆ es seguintes t´ opicos: •a criac¸˜ ao de uma nova func¸˜ ao de custo, em especifico para melhorar o r´ acio de classificac¸˜ ao em crianc¸as num grau precoce de desenvolvimento (e.g., um erro de seis meses em uma crianc¸a de dois anos de idade n˜ ao pode ter a mesma penalizac¸˜ ao que um erro de seis meses em um adolescente de 17 anos de idade). •a criac¸˜ ao de um dataset de pacientes portugueses que considere a sua etnia e localizac¸˜ ao geogr´ afica. •a criac¸˜ ao de uma interface que facilite o trabalho de radiologistas e permita de uma maneira f´ acil e intuitiva a determinac¸ ˜ ao da idade ´ ossea. BIBLIOGRAFIA [1] Machine learning and the future of radiology: How we won the 2017 rsna ml challenge. https://www.16bit.ai/blog/ml-and-future-of-radiology. Accessed: 201904-15. [2] Michael David Abr` amoff, Yiyue Lou, Ali Erginay, Warren Clarida, Ryan Amelon, James C. Folk, and Meindert Niemeijer. Improved Automated Detection of Diabetic Retinopathy on a Publicly Available Dataset Through Integration of Deep LearningDeep Learning Detection of Diabetic Retinopathy. Investigative Ophthalmology Visual Science,57(13):5200–5206,10 2016. ISSN 1552-5783. doi: 10.1167/iovs.16-19964. URL https://doi.org/10.1167/iovs.16-19964. [3] Ayelet Akselrod-Ballin, Leonid Karlinsky, Sharon Alpert, Sharbell Hasoul, Rami BenAri, and Ella Barkan. A region based convolutional network for tumor detection and classification in breast mammography. In Gustavo Carneiro, Diana Mateus, Lo¨ ıc Peter, Andrew Bradley, Jo˜ ao Manuel R. S. Tavares, Vasileios Belagiannis, Jo˜ ao Paulo Papa, Jacinto C. Nascimento, Marco Loog, Zhi Lu, Jaime S. Cardoso, and Julien Cornebise, editors, Deep Learning and Data Labeling for Medical Applications, pages 197–205, Cham, 2016. Springer International Publishing. ISBN 978-3-319-46976-8. [4] Dario Amodei, Sundaram Ananthanarayanan, Rishita Anubhai, Jingliang Bai, Eric Battenberg, Carl Case, Jared Casper, Bryan Catanzaro, Qiang Cheng, Guoliang Chen, et al. Deep speech 2: End-to-end speech recognition in english and mandarin. In International conference on machine learning, pages 173–182,2016. [5] Shekoofeh Azizi, Farhad Imani, Sahar Ghavidel, Amir Tahmasebi, Jin Tae Kwak, Sheng Xu, Baris Turkbey, Peter Choyke, Peter Pinto, Bradford Wood, Parvin Mousavi, and Purang Abolmaesumi. Detection of prostate cancer using temporal sequences of ultrasound data: a large clinical feasibility study. International Journal of Computer Assisted Radiology and Surgery,11(6):947–956, Jun 2016. ISSN 1861-6429. doi: 10.1007/s11548-016-1395-2. URL https://doi.org/10.1007/s11548-016-1395-2. [6] Maryellen L. Giger Benjamin Q. Huynh, Hui Li. Digital mammographic tumor classification using transfer learning from deep convolutional neural networks. Journal of Medical Imaging,3(3):1–5–5,2016. doi: 10.1117/1.JMI.3.3.034501. URL https://doi.org/10.1117/1.JMI.3.3.034501. 37 Bibliografia 38 [7] K.L. BONTRAGER and J. LAMPIGNANO. Tratado de Posicionamento Radiografico E Anatomia. ELSEVIER (MEDICINA). ISBN 9788535216769. URL https://books. google.pt/books?id=Q1psznpu354C. [8] P. Burlina, D. E. Freund, N. Joshi, Y. Wolfson, and N. M. Bressler. Detection of age-related macular degeneration via deep learning. In 2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI), pages 184–188, April 2016. doi: 10.1109/ISBI. 2016.7493240. [9] Jinzheng Cai, Le Lu, Zizhao Zhang, Fuyong Xing, Lin Yang, and Qian Yin. Pancreas segmentation in mri using graph-based decision fusion on convolutional neural networks. In Sebastien Ourselin, Leo Joskowicz, Mert R. Sabuncu, Gozde Unal, and William Wells, editors, Medical Image Computing and Computer-Assisted Intervention – MICCAI 2016, pages 442–450, Cham, 2016. Springer International Publishing. ISBN 978-3-319-46723-8. [10] J. Z. Cheng, D. Ni, Y. H. Chou, J. Qin, C. M. Tiu, Y. C. Chang, C. S. Huang, D. Shen, and C. M. Chen. Computer-aided diagnosis with deep learning architecture: Applications to breast lesions in us images and pulmonary nodules in ct scans. Sci Rep,6: 24454,2016. ISSN 2045-2322 (Electronic) 2045-2322 (Linking). doi: 10.1038/srep24454. URL http://www.ncbi.nlm.nih.gov/pubmed/27079888. Cheng, Jie-Zhi Ni, Dong Chou, Yi-Hong Qin, Jing Tiu, Chui-Mei Chang, Yeun-Chung Huang, Chiun-Sheng Shen, Dinggang Chen, Chung-Ming eng R01 CA206100/CA/NCI NIH HHS/ Research Support, Non-U.S. Gov’t England 2016/04/16 06:00 Sci Rep. 2016 Apr 15;6:24454. doi: 10.1038/srep24454. [11] Franc¸ois Chollet et al. Keras. https://keras.io,2015. [12] Franc¸ois Chollet. Xception: Deep learning with depthwise separable convolutions. CoRR, abs/1610.02357,2016. URL http://arxiv.org/abs/1610.02357. [13] Mark Cicero, Alexander Bilbily, Errol Colak, Tim Dowdell, Bruce Gray, Kuhan Perampaladas, and Joseph Barfett. Training and validating a deep convolutional neural network for computer-aided detection and classification of abnormalities on frontal chest radiographs. Investigative radiology,52(5):281–287,2017. [14] G Coco, S Masoud-Ansari, JK Monta˜ no Mu˜ noz, and M Gahegan. On the use of artificial neural networks for the prediction of shoreline evolution. In AGU Fall Meeting Abstracts,2018. [15] Alexis Conneau, Douwe Kiela, Holger Schwenk, Loic Barrault, and Antoine Bordes. Supervised learning of universal sentence representations from natural language inference data. arXiv preprint arXiv:1705.02364,2017. Bibliografia 39 [16] Angel Cruz-Roa, Hannah Gilmore, Ajay Basavanhally, Michael Feldman, Shridar Ganesan, Natalie NC Shih, John Tomaszewski, Fabio A Gonz´ alez, and Anant Madabhushi. Accurate and reproducible invasive breast cancer detection in whole-slide images: A deep learning approach for quantifying tumor extent. Scientific reports,7: 46450,2017. [17] P. Cunha, D. C. Moura, Guerra C. Guevara Lopez, M. A. an, D. Pinto, and I. Ramos. Impact of ensemble learning in the assessment of skeletal maturity. J Med Syst,38(9):87,2014. ISSN 1573-689X (Electronic) 0148-5598 (Linking). doi: 10.1007/ s10916-014-0087-0. URL https://www.ncbi.nlm.nih.gov/pubmed/25012476. Cunha, Pedro Moura, Daniel C Guevara Lopez, Miguel Angel Guerra, Conceicao Pinto, Daniela Ramos, Isabel eng Research Support, Non-U.S. Gov’t J Med Syst. 2014 Sep;38(9):87. doi: 10.1007/s10916-014-0087-0. Epub 2014 Jul 11. [18] K. Doi. Computer-aided diagnosis in medical imaging: historical review, current status and future potential. Comput Med Imaging Graph,31(4-5):198–211,2007. ISSN 0895-6111 (Print) 0895-6111 (Linking). doi: 10.1016/j.compmedimag.2007.02.002. URL http://www.ncbi.nlm.nih.gov/pubmed/17349778. [19] Kunio Doi, Heber MacMahon, Shigehiko Katsuragawa, Robert M. Nishikawa, and Yulei Jiang. Computer-aided diagnosis in radiology: potential and pitfalls. European Journal of Radiology,31(2):97–109,1999. ISSN 0720-048X. doi: https://doi.org/10.1016/ S0720-048X(99)00016-9. URL http://www.sciencedirect.com/science/article/ pii/S0720048X99000169. [20] H. Fu, Y. Xu, D. W. K. Wong, and J. Liu. Retinal vessel segmentation via deep learning network and fully-connected conditional random fields. In 2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI), pages 698–701, April 2016. doi: 10.1109/ISBI.2016.7493362. [21] ES Gadelmawla. Computer vision algorithms for measurement and inspection of external screw threads. Measurement,100:36–49,2017. [22] Xiaohong W. Gao, Rui Hui, and Zengmin Tian. Classification of ct brain images based on deep learning networks. Computer Methods and Programs in Biomedicine,138:49 – 56,2017. ISSN 0169-2607. doi: https://doi.org/10.1016/j.cmpb.2016.10.007. URL http://www.sciencedirect.com/science/article/pii/S0169260716305296. [23] Stanley Marion Garn, Christabel G Rohmann, and Frederic Noah Silverman. Radiographic standards for postnatal ossification and tooth calcification. Medical radiography and photography,43(2):45–66,1967. Bibliografia 40 [24] Christian Geiß, Patrick Aravena Pelizari, Mattia Marconcini, Wayan Sengara, Mark Edwards, Tobia Lakes, and Hannes Taubenb¨ ock. Estimation of seismic building structural types using multi-sensor remote sensing and machine learning techniques. ISPRS journal of photogrammetry and remote sensing,104:175–188,2015. [25] M. Ghafoorian, N. Karssemeijer, T. Heskes, I. W. M. van Uder, F. E. de Leeuw, E. Marchiori, B. van Ginneken, and B. Platel. Non-uniform patch sampling with deep convolutional neural networks for white matter hyperintensity segmentation. In 2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI), pages 1414–1417, April 2016. doi: 10.1109/ISBI.2016.7493532. [26] Vicente Gilsanz and Osman Ratib. Hand bone age: a digital atlas of skeletal maturity. Springer Science & Business Media, 2005. [27] D. Giordano, R. Leonardi, F. Maiorana, G. Scarciofalo, and C. Spampinato. Epiphysis and metaphysis extraction and classification by adaptive thresholding and dog filtering for automated skeletal bone age analysis. In 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pages 6551–6556. ISBN 1094-687X. doi: 10.1109/IEMBS.2007.4353861. [28] Daniela Giordano, Concetto Spampinato, Giacomo Scarciofalo, and Rosalia Leonardi. An automatic system for skeletal bone age measurement by robust processing of carpal and epiphysial/metaphysial bones. IEEE Transactions on Instrumentation and Measurement,59(10):2539–2553,2010. ISSN 0018-9456 1557-9662. doi: 10.1109/tim. 2010.2058210. [29] I Gonzalez-Fernandez, MA Iglesias-Otero, M Esteki, OA Moldes, JC Mejuto, and J Simal-Gandara. A critical review on the use of artificial neural networks in olive oil production, characterization and authentication. Critical reviews in food science and nutrition, pages 1–14,2018. [30] W.W. Greulich and S.I. Pyle. Radiographic Atlas of Skeletal Development of the Hand and Wrist. Stanford University Press, 1959. ISBN 9780804703987. URL https://books. google.pt/books?id=olezJFYxM6oC. [31] Varun Gulshan, Lily Peng, Marc Coram, Martin C Stumpe, Derek Wu, Arunachalam Narayanaswamy, Subhashini Venugopalan, Kasumi Widner, Tom Madams, Jorge Cuadros, et al. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs. Jama,316(22):2402–2410,2016. [32] Moritz Hardt, Eric Price, , and Nati Srebro. Equality of opportunity in supervised learning. In D. D. Lee, M. Sugiyama, U. V. Luxburg, I. Guyon, and Bibliografia 41 R. Garnett, editors, Advances in Neural Information Processing Systems 29, pages 3315–3323. Curran Associates, Inc., 2016. URL http://papers.nips.cc/paper/ 6374-equality-of-opportunity-in-supervised-learning.pdf. [33] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. CoRR, abs/1512.03385,2015. URL http://arxiv.org/abs/1512. 03385. [34] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Identity mappings in deep residual networks. CoRR, abs/1603.05027,2016. URL http://arxiv.org/abs/1603. 05027. [35] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, and Hartwig Adam. Mobilenets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861, 2017. [36] Gao Huang, Zhuang Liu, and Kilian Q. Weinberger. Densely connected convolutional networks. CoRR, abs/1608.06993,2016. URL http://arxiv.org/abs/1608.06993. [37] Vladimir I. Iglovikov, Alexander Rakhlin, Alexandr A. Kalinin, and Alexey A. Shvets. Paediatric bone age assessment using deep convolutional neural networks. In Danail Stoyanov, Zeike Taylor, Gustavo Carneiro, Tanveer Syeda-Mahmood, Anne Martel, Lena Maier-Hein, Jo˜ ao Manuel R.S. Tavares, Andrew Bradley, Jo˜ ao Paulo Papa, Vasileios Belagiannis, Jacinto C. Nascimento, Zhi Lu, Sailesh Conjeti, Mehdi Moradi, Hayit Greenspan, and Anant Madabhushi, editors, Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, pages 300–308, Cham, 2018. Springer International Publishing. ISBN 978-3-030-00889-5. [38] Michael I Jordan and Tom M Mitchell. Machine learning: Trends, perspectives, and prospects. Science,349(6245):255–260,2015. [39] Hyo-Eun Kim and Sangheum Hwang. Scale-invariant feature learning using deconvolutional neural networks for weakly-supervised semantic segmentation. CoRR, abs/1602.04984,2016. URL http://arxiv.org/abs/1602.04984. [40] Konstantina Kourou, Themis P Exarchos, Konstantinos P Exarchos, Michalis V Karamouzis, and Dimitrios I Fotiadis. Machine learning applications in cancer prognosis and prediction. Computational and structural biotechnology journal,13:8–17,2015. [41] Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton. Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems, pages 1097–1105,2012. Bibliografia 42 [42] David B Larson, Matthew C Chen, Matthew P Lungren, Safwan S Halabi, Nicholas V Stence, and Curtis P Langlotz. Performance of a deep-learning neural network model in assessing skeletal maturity on pediatric hand radiographs. Radiology,287(1):313– 322,2017. [43] Y. LeCun, Y. Bengio, and G. Hinton. Deep learning. Nature,521(7553):436–44,2015. ISSN 1476-4687 (Electronic) 0028-0836 (Linking). doi: 10.1038/nature14539. URL https://www.ncbi.nlm.nih.gov/pubmed/26017442. LeCun, Yann Bengio, Yoshua Hinton, Geoffrey eng Research Support, Non-U.S. Gov’t Research Support, U.S. Gov’t, Non-P.H.S. Review England Nature. 2015 May 28;521(7553):436-44. doi: 10.1038/nature14539. [44] H. Lee, S. Tajmir, J. Lee, M. Zissen, B. A. Yeshiwas, T. K. Alkasab, G. Choy, and S. Do. Fully automated deep learning system for bone age assessment. J Digit Imaging,30 (4):427–441,2017. ISSN 1618-727X (Electronic) 0897-1889 (Linking). doi: 10.1007/ s10278-017-9955-8. URL https://www.ncbi.nlm.nih.gov/pubmed/28275919. Lee, Hyunkwang Tajmir, Shahein Lee, Jenny Zissen, Maurice Yeshiwas, Bethel Ayele Alkasab, Tarik K Choy, Garry Do, Synho eng J Digit Imaging. 2017 Aug;30(4):427-441. doi: 10.1007/s10278-017-9955-8. [45] S. Lee, M. Choi, H. s. Choi, M. S. Park, and S. Yoon. Fingernet: Deep learning-based robust finger joint detection from radiographs. In 2015 IEEE Biomedical Circuits and Systems Conference (BioCAS), pages 1–4. doi: 10.1109/BioCAS.2015.7348440. [46] Wen Li, Fucang Jia, and Qingmao Hu. Automatic segmentation of liver tumor in ct images with deep convolutional neural networks. Journal of Computer and Communications,3(11):146,2015. [47] Maxwell W Libbrecht and William Stafford Noble. Machine learning applications in genetics and genomics. Nature Reviews Genetics,16(6):321,2015. [48] Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Doll´ ar. Focal loss for dense object detection. In Proceedings of the IEEE international conference on computer vision, pages 2980–2988,2017. [49] Yun Liu, Krishna Kumar Gadepalli, Mohammad Norouzi, George Dahl, Timo Kohlberger, Subhashini Venugopalan, Aleksey S Boyko, Aleksei Timofeev, Philip Q Nelson, Greg Corrado, Jason Hipp, Lily Peng, and Martin Stumpe. Detecting cancer metastases on gigapixel pathology images. Technical report, arXiv, 2017. URL https://arxiv.org/abs/1703.02442. [50] Seth Lloyd, Masoud Mohseni, and Patrick Rebentrost. Quantum algorithms for supervised and unsupervised machine learning. arXiv preprint arXiv:1307.0411,2013. Bibliografia 43 [51] S. . B. Lo, S. . A. Lou, , M. T. Freedman, M. V. Chien, and S. K. Mun. Artificial convolution neural network techniques and applications for lung nodule detection. IEEE Transactions on Medical Imaging,14(4):711–718, Dec 1995. ISSN 0278-0062. doi: 10.1109/42.476112. [52] Dwarikanath Mahapatra, Pallab K. Roy, Suman Sedai, and Rahil Garnavi. Retinal image quality classification using saliency maps and cnns. In Li Wang, Ehsan Adeli, Qian Wang, Yinghuan Shi, and Heung-Il Suk, editors, Machine Learning in Medical Imaging, pages 172–179, Cham, 2016. Springer International Publishing. ISBN 978-3319-47157-0. [53] Stephen Marsland. Machine learning: an algorithmic perspective. Chapman and Hall/- CRC, 2011. [54] D. D. Martin, J. M. Wit, Z. Hochberg, R. R. van Rijn, O. Fricke, G. Werther, N. Cameron, T. Hertel, S. A. Wudy, G. Butler, H. H. Thodberg, G. Binder, and M. B. Ranke. The use of bone age in clinical practice - part 2.Horm Res Paediatr,76(1): 10–6,2011. ISSN 1663-2826 (Electronic) 1663-2818 (Linking). doi: 10.1159/000329374. URL https://www.ncbi.nlm.nih.gov/pubmed/21691055. Martin, David D Wit, Jan M Hochberg, Ze’ev van Rijn, Rick R Fricke, Oliver Werther, George Cameron, Noel Hertel, Thomas Wudy, Stefan A Butler, Gary Thodberg, Hans Henrik Binder, Gerhard Ranke, Michael B eng Research Support, Non-U.S. Gov’t Review Switzerland Horm Res Paediatr. 2011;76(1):10-6. doi: 10.1159/000329374. Epub 2011 Jun 21. [55] Hans-J. Mentzel, Claudia Vilser, Marcus Eulenstein, Tseela Schwartz, Susanna Vogt, Joachim B¨ ottcher, Irit Yaniv, Liat Tsoref, Eberhard Kauf, and Werner A. Kaiser. Assessment of skeletal age at the wrist in children with a new ultrasound device. Pediatric Radiology,35(4):429–433,2005. ISSN 1432-1998. doi: 10.1007/s00247-004-1385-3. URL https://doi.org/10.1007/s00247-004-1385-3. [56] Susmita A Meshram and Rani S Lande. Traffic surveillance by using image processing. In 2018 International Conference on Research in Intelligent and Computing in Engineering (RICE), pages 1–3. IEEE, 2018. [57] Tom Michael Mitchell. The discipline of machine learning, volume 9. Carnegie Mellon University, School of Computer Science, Machine Learning . . . , 2006. [58] Jan-Jurre Mordang, Tim Janssen, Alessandro Bria, Thijs Kooi, Albert Gubern-M´ erida, and Nico Karssemeijer. Automatic microcalcification detection in multi-vendor mammography using convolutional neural networks. In International Workshop on Breast Imaging, pages 35–42. Springer, 2016. Bibliografia 44 [59] Naser Hossein Motlagh, Miloud Bagaa, and Tarik Taleb. Uav-based iot platform: A crowd surveillance use case. IEEE Communications Magazine,55(2):128–134,2017. [60] Richard A Newcombe, Dieter Fox, and Steven M Seitz. Dynamicfusion: Reconstruction and tracking of non-rigid scenes in real-time. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 343–352,2015. [61] Kuniaki Noda, Yuki Yamaguchi, Kazuhiro Nakadai, Hiroshi G Okuno, and Tetsuya Ogata. Audio-visual speech recognition using deep learning. Applied Intelligence,42 (4):722–737,2015. [62] Sebastien Ourselin, Leo Joskowicz, Mert R. Sabuncu, Gozde Unal, and William Wells. Medical Image Computing and Computer-Assisted Intervention – MICCAI 2016. Lecture Notes in Computer Science. 2016. ISBN 978-3-319-46722-1 978-3-319-46723-8. doi: 10.1007/978-3-319-46723-8. [63] Nicolas Papernot, Patrick McDaniel, and Ian Goodfellow. Transferability in machine learning: from phenomena to black-box attacks using adversarial samples. arXiv preprint arXiv:1605.07277,2016. [64] Joseph Redmon, Santosh Divvala, Ross Girshick, and Ali Farhadi. You only look once: Unified, real-time object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 779–788,2016. [65] X. Ren, T. Li, X. Yang, S. Wang, S. Ahmad, L. Xiang, S. R. Stone, L. Li, Y. Zhan, D. Shen, and Q. Wang. Regression convolutional neural network for automated pediatric bone age assessment from hand radiograph. IEEE Journal of Biomedical and Health Informatics,23(5):2030–2038, Sep. 2019. doi: 10.1109/JBHI.2018.2876916. [66] Holger R. Roth, Le Lu, Amal Farag, Andrew Sohn, and Ronald M. Summers. Spatial aggregation of holistically-nested networks for automated pancreas segmentation. In Sebastien Ourselin, Leo Joskowicz, Mert R. Sabuncu, Gozde Unal, and William Wells, editors, Medical Image Computing and Computer-Assisted Intervention – MICCAI 2016, pages 451–459, Cham, 2016. Springer International Publishing. ISBN 978-3-319-467238. [67] David E Rumelhart, Geoffrey E Hinton, Ronald J Williams, et al. Learning representations by back-propagating errors. Cognitive modeling,5(3):1,1988. [68] Ravi K Samala, Heang-Ping Chan, Lubomir M Hadjiiski, Kenny Cha, and Mark A Helvie. Deep-learning convolution neural network for computer-aided detection of microcalcifications in digital breast tomosynthesis. In Medical Imaging 2016: ComputerAided Diagnosis, volume 9785, page 97850Y. International Society for Optics and Photonics, 2016.