Determinação de Correspondências entre Imagens de Pedobarografia Dinâmica

João Manuel R. S. Tavares Comunicação Interna: DETERMINAÇÃO DE CORRESPONDÊNCIAS ENTRE IMAGENS DE PEDOBAROGRAFIA DINÂMICA FEUP - Faculdade de Engenharia da Universidade do Porto DEEC - Departamento de Engenharia Electrotécnica e de Computadores INEB - Instituto de Engenharia Biomédica Outubro de 1999 Sumário Nesta comunicação é apresentada uma abordagem, baseada em modelização por intermédio de elementos finitos e em análise modal dos sistemas modelizados, para a determinação da correspondência entre objectos em imagens de pedobarografia dinâmica. Com a abordagem apresentada é possível determinar as correspondências entre duas imagens distintas, utilizando modelos 2D ou 3D, e também estimar os deslocamentos nodais entre as imagens e calcular a energia de deformação. Esta energia de deformação pode ser utilizada na determinação da similaridade existente entre objectos. Palavras chaves: Visão por Computador, Computação Gráfica, Método dos Elementos Finitos, Análise Modal, Modelos Deformáveis, Pedobarografia Dinâmica, Emparelhamento. DETERMINAÇÃO DE CORRESPONDÊNCIAS ENTRE IMAGENS DE PEDOBAROGRAFIA DINÂMICA 1 1 - Introdução Um dos problemas principais da visão por computador é o cálculo de descritores canónicos robustos para o reconhecimento de objectos 2D/3D, rígidos e não rígidos, e para a determinação da correspondência entre objectos de diferentes imagens. Neste trabalho é apresentada uma metodologia por nós adaptada para resolução desse problema, inicialmente proposta por Sclaroff [1, 2, 3], e a sua aplicação em imagens de pedobarografia dinâmica. Um diagrama da metodologia adoptada está representado na Figura 1. Para cada imagem consideram-se as localizações dos seus dados pontuais XXX m =1 que se utilizam como nodos, ou nós, na construção, para o objecto, de um modelo de elementos finitos1 de material elástico. De seguida são determinados os modos próprios f lq i do modelo finito. Estes modos proporcionam uma descrição ortogonal, ordenada pela frequência, do objecto e das suas deformações naturais. Tais vectores são, por vezes, designados por vectores de forma para cada modo [5], pois descrevem como cada modo deforma o objecto por alteração das localizações originais dos dados; por exemplo: XXa i deformado =+f lq. MU KU R  mr lqlq += determinação das matrizes de massa e de ri g idez p ara o modelo finito KM iii fw f lq lq =2 resolução do problema de valores/vectores p ró p rios g eneralizado MU KU R  mr lqlq += determinação das matrizes de massa e de ri g idez p ara o modelo finito KM iii fw f lq lq = 2 resolução do problema de valores/vectores p ró p rios g eneralizado emparelhar os modos f lq i não rigidos de baixa ordem de ambos os modelos S aída: correspondência entre dados E ntrada: dados (pixels, nós do modelo) considerados como nodos de um modelo de elementos f initos Determinação dos modos próprios Construção do modelo físico utilizar os modos f lq i emparelhados como sistema de coordenadas Figura 1 - Diagrama da metodologia adoptada. 1 Desde a primeira utilização do método dos elementos finitos por Pentland em 1989 [4], no domínio da visão por computador, este tem vindo a generalizar-se às suas diferentes áreas, nomeadamente na análise de movimento rígido e não rígido, na obtenção de estruturas, na análise de faces, na análise de objectos deformáveis, na representação de imagens, em correspondência de imagens com modelos, e na descrição de objectos. DETERMINAÇÃO DE CORRESPONDÊNCIAS ENTRE IMAGENS DE PEDOBAROGRAFIA DINÂMICA 2 Em problemas bidimensionais os três primeiros modos são os modos de corpo rígido da translação e da rotação (em problemas tridimensionais são os seis primeiros modos); os restantes são os modos não rígidos [5, 6]. No geral, modos de baixa frequência descrevem deformações globais, enquanto modos de mais elevada frequência descrevem essencialmente as deformações localizadas. Este ordenamento do global para o local é bastante útil na comparação e no emparelhamento de objectos. Os modos próprios também formam um sistema de coordenadas ortogonal e centrado no objecto para descrição da localização dos dados pontuais. Isto é, a localização de cada dado pontual pode ser descrita de forma única, em termos de como se move segundo cada modo próprio. A transformação entre as localizações no sistema cartesiano e no sistema modal é conseguida pela utilização dos vectores próprios do modelo finito como uma base coordenada. Dois grupos de dados, correspondentes, por exemplo, a imagens sucessivas de um objecto em deformação, são comparados neste espaço próprio. A ideia principal é que os modos de baixa ordem para dois objectos similares irão ser bastante próximos mesmo na presença de deformações afins, de deformações não rígidas, de perturbações locais da forma ou de ruído. Utilizando esta propriedade, a correspondência entre dados é determinada por emparelhamento modal. Assim a correspondência entre dois objectos pode ser determinada por comparação das suas trajectórias no espaço modal. Dados cujo emparelhamento apresente um elevado grau de confiança são obtidos por este processo; os deslocamentos dos restantes dados serão estimados pela utilização do modelo físico como uma restrição de suavização, procedimento idêntico ao utilizado no domínio dos contornos activos [1, 7]. Finalmente determinada a correspondência entre muitos dos dados pontuais que constituem os dois objectos pode-se medir as suas diferenças de forma. Como o processo modal decompõe as deformações num conjunto ortogonal pode-se medir selectivamente as diferenças de corpo rígido, ou as deformações do tipo projectivo de baixa ordem, ou as deformações que são principalmente locais. Consequentemente pode-se reconhecer objectos duma maneira flexível e geral. Alternativamente, dadas as correspondências, pode-se alinhar ou distorcer um objecto num outro. Tal alinhamento é útil na fusão de dados obtidos por sensores diferentes, ou para a comparação de dados obtidos em instantes de tempo diferentes ou sob condições diferentes. Também é útil em computação gráfica, em que a referida distorção de um objecto num outro é designada por morphing. Em resumo, podemos afirmar que a técnica modal utilizada oferece três vantagens sobre outras técnicas existentes: primeiro, pode ser utilizada automaticamente para identificar e etiquetar dados correspondentes entre dois objectos, permitindo alinhar, comparar e realizar morphing entre os dois; segundo, a representação modal obtida permite a separação de diferentes tipos de deformação; por último, os parâmetros de deformação correspondem qualitativamente aos que, comumente, se aceita serem utilizados pelos humanos e, desta forma, podem ser utilizados para animação e para busca em bases de dados [1]. Além do mais, deve-se ter em conta que a representação modal é suportada pelas teorias defendidas por biólogos, envolvidos no estudo da morfologia dos esqueletos e das formas dos animais, segundo as quais as formas de espécies diferentes estão relacionadas entre si por deformações [1]. Estudos recentes também utilizam as deformações modais para a descrição do crescimento de órgãos de animais e para a correspondência entre órgãos do mesmo tipo [8, 9, 10]. Quando o número de dados a ter em conta é muito elevado, a obtenção dos modos próprios pode ser um processo bastante custoso em termos computacionais; tal pode-se traduzir numa desvantagem do método apresentado para aplicações em tempo real. Para resolver este problema pode-se utilizar modelos multi-resolução [1, 2, 3]; contudo, para uma classe particular de objectos similares os modos podem ser predeterminados e generalizados [11]. Em alguns casos, para topologias do tipo tubo e esfera, Nastar, em [12], demonstra que os modos de deformação podem DETERMINAÇÃO DE CORRESPONDÊNCIAS ENTRE IMAGENS DE PEDOBAROGRAFIA DINÂMICA 3 ser determinados analiticamente. Esta apresentação está organizada do seguinte modo: em primeiro lugar, é feita uma introdução à pedobarografia dinâmica; no ponto seguinte são apresentadas as modelizações pontuais por nós utilizadas para os objectos em cada imagem; após esta descrição, são apresentados alguns resultados experimentais obtidos; por último, são apresentadas algumas conclusões finais e perspectivas de desenvolvimentos futuros. 2Pedobarografia Dinâmica A pedobarografia é um método de medir e visualizar a distribuição de pressões sob a planta do pé. O registo de impressões pedobarográficas ao longo do tempo de uma passada em marcha normal permite a análise dinâmica do comportamento do pé; a introdução da dimensão temporal amplia o potencial deste tipo de exame como auxiliar de diagnóstico e de planeamento terapêutico [13]. O sistema básico de pedobarografia consiste numa placa de vidro ou acrílico, transiluminada pelos seus bordos polidos, de tal modo que a luz se reflecte internamente; a placa é coberta na sua face de topo por uma fina camada simples ou dupla de plástico, sobre a qual são aplicadas as pressões, Figura 2. Quando observada a face inferior da placa; destacam-se áreas de brilho nas zonas correspondentes à aplicação de pressão, devido à alteração localizada da relação de índices de refracção produzida pelo esvaziamento da interface de ar entre a placa e a camada plástica. A relação entre a intensidade do brilho e a pressão aplicada é de quase proporcionalidade, com uma selecção adequada de materiais e uma conveniente calibração do sistema de aquisição de imagem. luz reflectida vidro pressão camada opaca lâmpada lâmpada camada transparente Figura 2 - Sistema básico de pedobarografia. As imagens captadas, numa sequência temporal, utilizando um setup prático idêntico ao da Figura 3,são muito densas e ricas em informação sobre a interacção da planta do pé com a superfície plana da placa; nas Figura 4 ... Figura 9 é possível observar algumas das imagens de uma sequência exemplo. 3 - Os Modelos Pontuais Utilizados Na primeira fase do nosso trabalho optamos por considerar os contornos presentes em cada imagem e tentar obter o emparelhamento entre os pixels que os constituem. Apesar dos resultados encorajadores obtidos na utilização da abordagem descrita no ponto anterior, o primeiro problema com que nos deparamos prendia-se com a possibilidade, facilmente verificada ao analisar-se as Figura 4 ... Figura 9, da existência de mais do que um contorno em cada imagem. Este problema poderia ser facilmente resolvido utilizando um outro qualquer processo que identifica-se, previamente, quais os contornos a emparelhar em cada uma das imagens. Uma solução possível para este problema seria a utilização de filtragem de Kalman2, que estimasse em 2 Ver, por exemplo, [14]. DETERMINAÇÃO DE CORRESPONDÊNCIAS ENTRE IMAGENS DE PEDOBAROGRAFIA DINÂMICA 4 cada uma das imagens qual a localização do centroide do contorno em questão; outra solução, que nos pareceu da mesma forma viável, seria a utilização da energia de deformação necessária para alinhar cada conjunto de dois contornos e seleccionar o emparelhamento entre os dois que apresentassem um menor valor. mesa de pedobarografia câmara computador es p elho vidro + camada de contacto Figura 3 - Setup de um sistema de pedobarografia. Figura 4 - Imagem 4 de uma sequência exemplo. Figura 5 - Imagem 5 de uma sequência exemplo. Figura 6 - Imagem 6 de uma sequência exemplo. Figura 7 - Imagem 7 de uma sequência exemplo. Figura 8 - Imagem 8 de uma sequência exemplo. Figura 9 - Imagem 10 de uma sequência exemplo. No entanto, mesmo com a existência de mais do que uma solução para resolver este primeiro problema, deparamo-nos com um outro: a possibilidade de existir a fusão ou a divisão de alguns dos contornos presentes nas imagens ao longo da sequência. Este segundo problema, de resolução mais complexa do que o anterior, foi resolvido da seguinte forma: como, para este tipo de imagens, o brilho dos pixels está fortemente correlacionado com o nível de pressão utilizou-se uma modelação idêntica à já adoptada em problemas similares, nomeadamente na análise e reconhecimento de faces [15, 16, 17, 18] cujas as imagens são obtidas em ambientes controlados, considerando o nível de brilho de cada pixel como a sua terceira coordenada. Com esta modelação evolui-se para elementos superficiais o que nos permitiu resolver os dois problemas iniciais: cada imagem passou a ser DETERMINAÇÃO DE CORRESPONDÊNCIAS ENTRE IMAGENS DE PEDOBAROGRAFIA DINÂMICA 5 constituída por um único modelo superficial do tipo casca. Com a utilização de modelos superfícies, torna-se possível a extracção de contornos isobáricos de forma bastante simples; como tem especial interesse na análise de imagens de sequências em pedobarografia dinâmica [13] obter-se os emparelhamentos entre contornos isobáricos em imagens diferentes ou entre contornos de diferentes “pressões” na mesma imagem também optou-se por aplicar a metodologia adoptada a este tipo de objectos. Nos pontos seguintes serão descritos os modelos utilizados, para objectos do tipo contorno, superficial e do tipo contorno isobárico, e a construção de cada um. 3.1 - Para Contornos Para determinar as correspondências e a energia de deformação entre dois contornos em imagens distintas foram utilizadas dois tipos de modelização: • No primeiro, é utilizado um único elemento finito isoparamétrico 2D de Sclaroff para modelizar cada um dos contornos. Na construção deste tipo de elemento não é necessária a prévia existência de ordem nos nodos e são utilizadas funções de forma de base Gaussianas. Em [1, 2, 3] está descrito como são determinadas as matrizes de massa e de rigidez para este tipo de elemento 2D. • No segundo, foram utilizados elementos finitos 2D do tipo axial e linear de forma a construir cada um dos contornos, Figura 10. Obviamente que neste tipo de discretização torna-se necessária a prévia existência de ordem nos nodos que constituem cada contorno. Em [19, 20] está descrito como são definidas as matrizes de massa e de rigidez de cada um dos elementos axiais utilizados na modelização e do sistema global resultante. 3 e1e2 e3 e4 e5 e6 e7 e81 2 4 5 6 7 8 Figura 10 - Modelização de um contorno por intermédio de um conjunto ei de elementos finitos do tipo axial. Na determinação dos pixels que constituem cada contorno são utilizadas técnicas standard de análise e processamento de imagem; nomeadamente: binarização, detectores de orlas, detecção e seguimento de linhas com histerese [14], etc. A título de exemplo, é possível observar-se na Figura 12 e na Figura 13 a determinação dos contornos existentes na Figura 11. 3.2 - Para Superfícies Para determinar as correspondências e a energia de deformação entre duas superfícies distintas foram também utilizadas dois tipos de modelização: DETERMINAÇÃO DE CORRESPONDÊNCIAS ENTRE IMAGENS DE PEDOBAROGRAFIA DINÂMICA 6 Figura 11 - Imagem (negada) na qual se pretende determinar os contornos. Figura 12 - Imagem resultante (negada) da aplicação de um detector de orlas. Figura 13 - Contornos obtidos após aplicação de um algoritmo de detecção e seguimento de linhas com histerese. • No primeiro, é utilizado um único elemento finito isoparamétrico 3D de Sclaroff para modelizar cada uma das superfícies. Mais uma vez, deve-se notar que na construção deste tipo de elemento não é necessária a prévia existência de ordem nos nodos. Em [1, 3] está descrito como são determinadas as matrizes de massa e de rigidez para este tipo de elemento isoparamétrico 3D. • No segundo, foram utilizados elementos finitos 3D do tipo axial e linear de forma a construir cada uma das superfícies, Figura 14. Obviamente que neste tipo de discretização torna-se necessária a existência de ordem nos nodos que constituem cada uma das superfícies. Em [19, 20] está descrito como são definidas as matrizes de massa e de rigidez de cada um dos elementos axiais 3D utilizados na modelização e do sistema global resultante. Figura 14 - Modelização de uma superfície por intermédio de um conjunto de elementos finitos 3D do tipo axial. Cada nodo está ligado aos seus vizinhos por intermédio de elementos axiais. A abordagem utilizada para a determinação em cada imagem dos nodos que constituem cada superfície pode ser descrita do seguinte modo: 1. “removem-se” os pixels considerados como ruído e aplica-se um filtro Gaussiano de forma a suavizar a imagem, Figura 15; 2. determina-se o rectângulo que circunscreve o objecto a modelizar e realiza-se uma amostragem desse rectângulo, Figura 16; 3. realiza-se a triangulação dos pontos amostrados através do algoritmo 2D de Delaunay3 e considera-se o nível de brilho de cada ponto como a terceira coordenada do mesmo; 4. realiza-se uma simplificação da malha triangular utilizando-se um algoritmo de decimação3, diminuindo-se assim o número de nodos a considerar e reduzindo-se os custos computacionais; 3 Ver, por exemplo, [21, 22]. DETERMINAÇÃO DE CORRESPONDÊNCIAS ENTRE IMAGENS DE PEDOBAROGRAFIA DINÂMICA 7 5. realiza-se uma suavização da malha, utilizando-se um algoritmo que ajusta a posição dos nodos através de uma suavização Laplaciana3, reduzindo-se assim o ruído associado às altas frequências; 6. realiza-se uma mudança da escala utilizada na terceira coordenada de forma a existir uma distribuição semelhante nas três coordenadas, Figura 17. Figura 15 - Imagem (negada) após remoção do ruído e aplicação de um filtro Gaussiano. Figura 16 - Amostragem do objecto (imagem negada). Figura 17 - Superfície resultante. 3.3 - Para Contornos Isobáricos Para determinar as correspondências e a energia de deformação entre contornos isobáricos foram utilizadas dois tipos de modelização 2D e 3D: • No primeiro, é utilizado um único elemento finito isoparamétrico 2D ou 3D de Sclaroff para modelizar cada um dos contornos. • No segundo, foram utilizados elementos finitos 2D ou 3D do tipo axial e linear de forma a construir cada um dos contornos. Após a obtenção da superfície para a imagem em questão, através da metodologia apresentada no ponto anterior, os contornos isobáricos são extraídos, Figura 18. Figura 18 - Dez contornos isobáricos extraídos da superfície representada na Figura 17. 4 - Resultados Experimentais A metodologia apresentada nesta comunicação foi por nós implementada em Microsoft Visual C++, em plataforma Microsoft Windows 95/98/NT, tendo-se integrado no sistema para o cálculo matricial a biblioteca em C++ Newmat [23] e para a visualização 3D, triangulação, simplificação e suavização das malhas e extracção de contornos isobáricos, o VTK - The Visualization Toolkit - [21, 22] em C++. Neste ponto serão apresentados alguns resultados experimentais obtidos com modelos de contorno, de superfície e de contornos isobáricos em imagens de pedobarografia dinâmica. Outros