Clasificación geométrica y semántica de modelos digitales de artefactos religiosos: de morfologías a tecnologías constructivas

 4º Congresso Internacional de Hi stória da Construção Luso- Brasileira  ͶǦͶ×Ǧ ͻͲͻ CLASIFICACIÓN GEOMÉTRICA Y SEMÁNTICA DE MODELOS DIGITALES DE ARTEFACTOS RELIGIOSOS: DE MORFOLOGÍAS A TECNOLOGÍAS CONSTRUCTIVAS Nieto-Julián, Enrique1*, Bruno, Silvana2**, Moyano, Juan3* [email protected], [email protected], [email protected] * Universidad de Sevilla, Escuela Técnica Superior de Ingeniería de Edificación, TEP970 Innovación Tecnológica, Sistemas de Modelado 3D y Diagnosis en Patrimonio y Edificación ** Polytechnic University of Bari - DICATECh Palavras-chave: HBIM, Segmentación semántica, Scan to BIM, Patrimonio Arquitectónico Abstract: El documento pretende exponer una metodología innovadora para ejecutar una segmentación semántica de los sistemas arquitectónicos-constructivos de un edificio con altos valores histórico, e incorporarlo en el flujo de trabajo de Scan-to-BIM. Para el estudio se lleva a cabo un levantamiento, por TLS y fotogrametría, del Duomo de Molfetta (Italia), arquitectura singular románico-apuliana. Un proceso semiautomático asistido por algoritmos ha permitido clasificar la información no estructurada proporcionada por escáneo. El procedimiento ha permitido incorporar y organizar la información en un entorno BIM, optimizando las tareas de análisis, identificación, clasificación, auscultación y finalmente facilitar el modelado paramétrico. Los resultados han demostrado una gran efectividad en los procesos de caracterización del Patrimonio arquitectónico y artístico, lo que conlleva flexibilizar los trabajos en un proyecto Heritage-BIM. Aún existen dificultades para la interpretación de los datos de nube de puntos 3D, relacionada con sistemas específicos de la arquitectura histórica. La interpretación humana sigue siendo un pilar fundamental para conseguir resultados precisos. Pero el procedimiento ha sido muy efectivo para la clasificación y cuantificación de deformaciones estructurales de las columnas.  ǦǡǢǡǢǡ  ͻͳͲ ͶȂͶ×Ǧ 1 INTRODUCCION Los principios de la forma de expresión de obras artísticas son conocidas como semiótica y semántica de la arquitectura. La disciplina del levantamiento arquitectónico, acompañada de una metodología científica y técnica, guía el conocimiento científico de las obras, como su forma y contexto [1]. El estudio de patrimonio se refiere al pasado en su contexto de herencia recibida, y la tecnología contribuir a un futuro prometedor. En este marco, el modelado 3D tiene el objetivo de contener y reflejar la singularidad de la geometría, considerando las deformaciones estructurales y las propiedades constructivas que adquieren a lo largo de su ciclo de vida. La geometría del Patrimonio Cultural (CH) es captada por procedimientos diversificados de tecnología e ingeniería geomáticas, convertido en una práctica común, como la tecnología Structure from Motion (SfM) y Terrestral Láser Scanning (TLS) por la reconstrucción digital 3D [2]. Pero la actual agenda de la investigación sugiere la necesidad de una interpretación semántica del conjunto de puntos 3D, con el objetivo de identificación y cuantificación de patrones de elementos a partir de la descomposición de los elementos, buscando funcionalidad, semántica y topología [3]. Aunque el gran desafío está como gestionar toda esa información y cómo procesarla, para que tenga una funcionalidad básica, no solo en los modelos de reconstrucción digital 3D, sino en la aplicabilidad en el entorno del modelo de información del edificio histórico (HBIM) [4].Toda esa campaña de estudio pasa por un conocimiento en la segmentación semántica de la nube de puntos y su procesamiento eficiente. En este trabajo se desarrolla un método de segmentación semántica utilizado mediante algoritmos que se encuentra en la misma plataforma de procesamiento de la nube de puntos y por tanto sin tener que recurrir a software o plataformas exteriores de procesamiento. Para el estudio se lleva a cabo un escaneado del Duomo di San Corraso, Molfetta (Italia), ejemplo de arquitectura románica de Apulia. Se aplica un proceso semiautomático asistido por algoritmos que permite clasificar y segmentar la información no estructurada que proporciona el escáner TLS como apoyo al proyecto HBIM. Al final se realiza una evaluación del modelo resultante determinando la precisión del algoritmo aplicado. 2 REVISIÓN DE LA LITERATURA Los grandes avances en los algoritmos de correspondencia de imágenes están cambiando el panorama de la reconstrucción arquitectónica y arqueológica en 3D. Además, con la llegada de nuevos equipos de tecnología geomática como es el escáner láser móvil personal (PLS), se simplifica la captura de datos en las mediciones de los espacios arquitectónicos [5]. Y una nueva novedad en la integración y combinación de los equipos TLS con los Light Detection and Ranging (LDR) los escáneres LiDAR a bordo de drones, son uno de los sistemas más rentables que pueden proporcionar datos espaciales. Los más destacados son UAV DJI Matrice 300 RTK Zenmuse L1 utilizado en estudios forestales [6] y Leica BLK2GO que captura imágenes en movimiento [7]. Cada técnica de las mencionada va asociada al espacio de registro que se pretende obtener. Pero una vez obtenido el registro y efectuar el procesamiento de esos datos se obtiene un conjunto de puntos que no está clasificado. Por tanto, en la actualidad el gran reto de la comunidad científica es contar con procedimientos de clasificación de elementos complejos en la arquitectura y la arqueología. Esta clasificación está pensada para procesar los datos en las actuales metodologías BIM que permiten la colaboración interdisciplinariedad y la combinación de herramientas de verificación de cumplimiento ǦǡǢǡǢǡ   ͶǦͶ×Ǧ ͻͳͳ y análisis. En este sentido, la segmentación es un proceso de clasificación de nube de puntos para la identificación de áreas homogéneas o entidades de los atributos de la nube de puntos que guarden características similares. La mayoría de los estudios de segmentación utilizan software externo a los propios que se utiliza para procesar. Es el caso de que se utiliza un algoritmo de ajuste de plano basado en RANSAC para agregar una capa adicional de abstracción [8]. O bien, la investigación que desarrolla una clasificación basada en ajustes de modelos a través de la determinación de primitivas geométricas, en ella RANSAC y la transformada de Hough son los dos procesos de clasificación más utilizados. Dong et al., 2018 [9] realizó una clasificación de segmentación basada en cuatro puntos esenciales. Los métodos basados en el crecimiento de la región, que extraen planos 3D mediante la fusión progresiva de puntos adyacentes o vóxeles con características similares [10] entre otros. Métodos basados en ajuste de modelos, que son los más utilizados para la segmentación del plano (RANSAC) y la transformada de Hough. Estos algoritmos han demostrado con éxito formas en 2D y 3D. Posteriormente se encuentran los métodos basados en agrupamiento de funciones, que caracterizan las nubes de puntos en primitivos en función de determinadas propiedades de superficie pre-calculadas [11]. A este gran conjunto de estudios sobre segmentación hay que proponer la utilidad y la funcionalidad de los procedimientos de clasificación. Muchos de los estudios están dedicados a la clasificación de regiones urbanas, otros a espacios interiores, selección de objetos, eliminación de ruidos en la nube de puntos, clasificación de mobiliario urbano, o también la creación de gemelos digitales en el ámbito del CH y la segmentación semántica morfológica [12]. La identificación de la caracterización geométrica en un proyecto Heritage BIM (HBIM) es crucial para los operadores que se encuentran modelando morfológicamente los elementos arquitectónicos. El proceso desde los Sistemas MDCS (tecnología de adquisición de datos masivos) a la construcción de modelos 3D con objetos paramétricos se denomina Scan-to-BIM. El problema del Scan-to-BIM, que ya lo planteó Tzeda and Tamara, 2013 [13] era resolver los errores de modelos BIM conforme a una obra escaneada. Esto se plantea como el desafío de la construcción del modelo ideal y por otra parte las deformaciones que surge en la obra, admisibles por los equipos técnicos de ejecución del proyecto. En patrimonio esa diferencia entre el modelo ideal y el modelo real se hace cada vez más acusada conforme pasa el tiempo en el ciclo de vida de las construcciones antiguas. Por ello, el gran reto y la discusión científica se centra en la posición automática de capturar las deformaciones estructurales que se presenta en un proyecto HBIM. La revisión de la captura de la información hacia un modelo BIM figura en los siguientes documentos [14, 15], de todos ellos no se plantea la disyuntiva en la que encuentran los operadores de BIM de realizar geometrías complejas. Sí, que se plantea la problemática de que el proceso manual de construir la geometría de un edificio histórico a partir de la nube de puntos es un proceso que requiere mucho tiempo. También es necesario estructurar la nube de puntos en partes y hacer una clasificación de los datos [16] y eliminar aquellos innecesarios, conforme a los criterios del rehabilitador-operador. Otro aspecto importante es la cantidad de información que se gestiona, pues la nube de puntos tiene un peso importante que las plataformas deben superar y gestionar de una forma eficiente. El desafío de esta investigación es hacer una clasificación y segmentación semántica de la nube de puntos en el entorno BIM, facilitando el modelado y la gestión del proyecto HBIM en el proceso de conservación.  ǦǡǢǡǢǡ  ͻͳʹ ͶȂͶ×Ǧ 3 PROCESO METODOLÓGICO Para el estudio se lleva a cabo un levantamiento, por técnicas de escaneado laser terrestre y fotogrametría de rango cercano, del Duomo de Molfetta (Italia). Construido entre 1150 y finales del siglo XIII, el edificio es un ejemplo singular de la arquitectura románico-apuliana (Figura 1). Con respecto a la configuración espacial de su construcción, es de planta basilical asimétrica, dividida en tres naves por pilares cruciformes con columnas inclinadas. La nave central presenta tres cúpulas, apoyadas sobre tambor hexagonal. De los grandes volúmenes sobresale las cubiertas que cubren las citadas bóvedas y las dos torres campanarios que flanquean la fachada principal. Figura 1: El Duomo de Mofetta (1875) mostrándose como una fortaleza frente al mar (izquierda). Nube de puntos del interior del Duomo y fachada exterior de acceso -Oeste, ambas escaneadas (TLS) (derecha). En este caso de estudio, suelen existir elementos arquitectónicos y formas que son recurrentes para una clasificación semántica. Los perfiles arquitectónicos y formas de sistemas constructivos son los relacionados con el estilo de la época y la región de la Puglia (Italia), que se replicaban en otras iglesias, con proporciones símiles y detalles ornamentales propios y muy característicos de la época. El interior del Duomo ha sido escaneado en su integridad por un equipo escáner Láser Terrestre CAM2 FARO Focus 3D 120, con una precisión de ± 2 mm y un alcance 0,6 m a 120 metros, una velocidad de registro de 976.000 puntos/segundo y un campo de visión desde el plano vertical y horizontal de 305º a 260º, mediante 56 posicionamientos realizados por los investigadores del Laboratorio de Modelado Arquitectónico y Urbano (MAULab), Politecnico di Bari (Italia). En el proceso de registro de la fotogrametría de corto alcance, trabajo desarrollado en la parte exterior, se empleó una Cámara Reflex Canon E650D de 18 megapíxeles, con un CMOS (APS-C 14 × 22,3 mm 2) y estabilizador de imagen óptico. Al levantamiento interior por el sistema TLS, que incluye las tres naves principales, las capillas perimetrales, el presbiterio y el altar orientado al este, se le añade del exterior del Duomo la fachada orientada al oeste, la cual ha sido esencial al aportar información muy válida para el escalado de la fotogrametría aplicada en el exterior, acoplándose adecuadamente las nubes de puntos de ambos procesos y evitar errores de descompensación. Para el caso de estudio se ha empleado Agisoft Metashape en el procesado de la fotogrametría, Cyclone Register 360 en el registro de los escaneos TLS, Cyclone 3DR para el acople y gestión de las diferentes nubes de puntos, así como los procesos de segmentación semántica semiautomática empleando algoritmos de análisis y clasificación. Finalmente, el proyecto HBIM es sustentado en la plataforma ArchiCAD ǦǡǢǡǢǡ   ͶǦͶ×Ǧ ͻͳ͵ de Graphisoft, donde se gestiona toda la información bien estructurada procedente del post-procesado -TLS & SfM -Structure from Motion. Aunque es imprescindible utilizar varias técnicas integradas, como es el uso de Unmanned Aerial Vehicles (UAV), en este caso el enfoque está centrado especialmente en el interior, por lo que no se hace uso de este trabajo por el momento. Para el postprocesado se utiliza el software Cyclone Register 360 de Leica Geosystems, y se complementa con Cyclone 3DR para acoplar las nubes de puntos de las fachadas exteriores, procedente de los procesos fotogramétricos, con la nube de puntos (TLS) de la fachada Oeste. En una primera fase desarrollada en el software Cyclone 3DR, se emplearon cajas de visualización, cajas de sección en 3D, para una limitación y visualización efectiva, pero no siempre correcta y precisa, por la segmentación de molduras decorativas de formas libres, cornisas y remates arquitectónicos (románica), con ciertas complejidades en la intersección de sistemas estructurales: encuentro de muros con pilastras, arcos de descargas bajo las bóvedas de cañón e intersecciones de las cúpulas semiesféricas con la bóveda central. En una fase posterior se incorporó la nube de puntos en el proyecto HBIM (ArchiCAD), dividida en cuatro bloques. De este modo no se tuvo que reducir el número de puntos procedentes del post-procesado (limite: 250 mill.), antes ser convertidos en objetos paramétricos. Todas las porciones del archivo original (suministrado. rcp) fueron abiertos y gestionado previamente desde Recap Autodesk para proceder a su adecuada orientación, georreferenciación y sectorización. La última salida de datos ha sido la exportación de todos los conjuntos de datos (formato. e57) al entorno BIM de ArchiCAD. Para permitir una mejor visualización y operatividad los conjuntos de datos se gestionan en distintas capas en función de su ubicación (nube de puntos interiores, exteriores), o por categorías una vez segmentadas (columnas, muros, bóvedas, etc.), lo que también permite un mejor rendimiento de la tarjeta gráfica del computador. La información que se genere sobre el proyecto HBIM tiene que ser coordinada, estructurada y clasificada para que todos los agentes y actores colaboran en un proyecto HBIM utilizando lo mismo idioma. Un proyecto BIM debe incorporar un sistema de clasificación según las exigencias del cliente u organismo responsable de su gestión. De la misma manera, uno de los objetivos de emplear la clasificación en un proyecto Heritage BIM es proporcionar al sector del patrimonio una terminología y semántica estandarizada, lo que permitirá estructurar el modelo con bases conocidas para ser compartidas por todos los colaboradores. El proyecto será compartido en formato estandarizado IFC, el cuál contendrá una clasificación semántica adecuada y consensuada. Con lo cual cualquier persona fuera del ámbito de ser operador BIM puede visualizar el modelo y ser capaz de operar e identificar elementos independientes. Pensando en un sistema propio de elementos estructurales y dada la similitud de la clasificación con el trabajo Moyano et al., 2022 [17] se puede clasificar una columna -Column- siguiendo una ordenación en base a su composición arquitectónica, donde todas las partes quedan identificadas. La clasificación permite estructurar el modelo con bases de datos estandarizadas para definir los atributos de cada elemento. Antes de aplicar la segmentación a un elemento o sistema constructivo, es importante estructurar adecuadamente un proyecto HBIM, como un proceso de catalogación, en el que se gestiona e incluyen datos semánticos y se organizan según una clasificación estándar.  ǦǡǢǡǢǡ  ͻͳͶ ͶȂͶ×Ǧ 4 APPLICACION DEL PROCESO DE SEGMENTACIÓN SEMÁNTICA 4.1 Estructuración del proyecto HBIM Para estructurar un proyecto HBIM desde la base de una buena georreferenciación es importante establecer un origen del proyecto en los distintos softwares empleados en el proceso colaborativo, y de este modo inter-operacionalizar datos de modo eficiente. Este procedimiento garantiza que las condiciones de geolocalización de todos los elementos van a ser coincidentes y el flujo de trabajo e interoperabilidad entre distintos softwares garantiza la posición exacta del proyecto, incluidas nuevas incorporaciones o sustituciones posteriores en la segmentación semántica de elementos. Figura 2 muestra la nube de puntos en el proyecto HBIM de ArchiCAD, la red de ejes X,Y del proyecto (coincidente con el SCP de Cyclone 3DR). Figura 2: Planta de la Nube de puntos del Duomo de Molfetta y posición de la Column-X4Y2. Sección 3D a la nube de puntos interior y selección del objeto Column-X4Y2, insertado en formato. e57 en el proyecto HBIM. La porción es convertida en objeto de biblioteca ArchiCAD (.gsm /.lcf). 4.2 Sectorización de las nubes de puntos en elementos y sistemas constructivos Una vez que la nube de puntos se encuentra georreferenciada por un ajuste de paquete, y se ha comprobado que el sistema de flujo de trabajo es el correcto, se procede a la adecuada segmentación de la pilastra. En el caso de las pilastras centrales, se ha aplicado la segmentación a un nivel de desarrollo y conocimiento (LOD-LOK) que las segmentas en elementos basa, fuste y capitel (Figura 3). En una segunda salida de datos hay que descartar las porciones de muros o arcos que invaden la caja de sectorización. ¾Column -X4Y2 umn ǦǡǢǡǢǡ   ͶǦͶ×Ǧ ͻͳͷ Figura 3: Imagen de la Column-XnYn, y sectorización por caja de la nube de puntos para diferenciar basa, fustes y capiteles de las pilastras centrales del Duomo di Molfetta. 4.3 Clasificación de nubes de puntos La clasificación de los datos masivos que representan la superficie de todas las formas es necesario utilizar algoritmos de segmentación que discriminen elementos de interés. Cyclone 3DR dispone de algoritmos de sistemas constructivos habituales, destacando el de clasificación de paredes, suelos y techos, por una discriminación en conjuntos de puntos para aplicar la semántica adecuada con la opción de clasificación “Paredes y suelos” (Figura 4). Se debe aplicar los parámetros de tolerancia adecuados para que la selección sea efectiva y lógica: una tolerancia angular para paredes, otra tolerancia para suelos and techos y ajustar el “Local normal smoothing” para el proceso de clasificación, que variará entre extremos agudo o suavizado. Figura 4: Clasificación de la Column-X4Y2: Paredes (marrón); Suelos (cian); Techos (verde); Otros (en gris). Las irregularidades del fuste son clasificadas como Otros, así como la decoración tallada del capitel.  ǦǡǢǡǢǡ  ͻͳ͸ ͶȂͶ×Ǧ El proceso en el caso de estudio parte con una primera clasificación de puntos a las Pilastras o columnas del Duomo. Debido a las irregularidades de paredes, suelos y techos, la tolerancia se lleva al máximo (10º) y se le activa la clasificación para todos los tipos anteriores y otros. Las grandes irregularidades en los paramentos, sea en vertical o horizontal, son descartados dentro del grupo de planos tipo pared (marrón), suelo (cian) y techo (verde). En el caso de la columna que apoya sobre un pedestal, algunos puntos superiores de este son clasificados también como suelo, aunque un gran número los incorpora en pared, caso de aquellos puntos identificados como ruido y que parecen cuando el láser del escáner no proyecta bien en el plano por su inclinación (horizontal); estos elementos se encuentran a una altura superior al equipo escáner, como es el caso del poyete-pedestal de la columna, los capiteles, las cornisas o fajas salientes muy elevadas. Las pruebas realizadas a las pilastras o columnas han aportado datos muy significativos, ya que los remates de las bases de columnas y capiteles son clasificados en otros debido a que su inclinación está fuera del rango de la tolerancia angular para paredes u suelos (10º). Debido también a las irregularidades en el fuste de la columna, muchos puntos han sido clasificados como otros “Others” (color gris), incluida la talla o hendiduras de la decoración del capitel. Si el operador cree necesario afinar el proceso de segmentación, se repite el proceso porque el sistema lo permite, aunque se puede dar el caso de que sean filtrados automáticamente un mayor número de puntos para ser clasificados como “others”. Por tanto, es muy importante aplicar las tolerancias adecuadas. Y si los resultados no son muy lógicos, se debe descartar la aplicabilidad de dichos algoritmos para la clasificación que se busca. Finalmente, para el proceso de clasificación de la Column-X4Y2 se aplica una: a. Segmentación de la columna en tres partes fundamentales: basa, fuste y capitel. El fuste contiene muchas ondulaciones por desgaste y perdida de material, por lo que interesa que el algoritmo detecte otros (que difieren de paredes y suelos) y se aplique solo a las deformaciones. De este modo se descartaría también el capitel y la basa al ser grupos fuera del tipo pared y suelo. b. Elección de los parámetros de tolerancia para la clasificación: un ángulo de suelo mínimo del 1º (pendiente mínima), una tolerancia angular para las paredes (ángulo máximo con línea nadir-cenital) con un ángulo alto del 9º (1ºmin-10ºmax) pues la columna tiene desplome hacia atrás del 0.744º (Figura 5). c. Se aplica el control deslizante para el suavizado normal local. Este control deslizante le permite aumentar o disminuir el radio de la zona de influencia en una nube, para tener en cuenta una parte más grande de la nube. Se elige un intermedio de 0.013 m. ǦǡǢǡǢǡ   ͶǦͶ×Ǧ ͻͳ͹ Figura 5: Imagen de la Column-X4Y2, una vez realiza la última fase de clasificación de puntos: 1.742.768 – 89% (Paredes/Walls, en marrón) y 208.711- 11% (Other, en gris). Los resultados finales obtenidos son lógicos pues la zona en grís se aplica en las deformaciones que son más pronunciadas (Figura 8), aportando los siguientes conjuntos de puntos: 1.742.768 – 89% (Paredes/Walls) y 208.711- 11% (Other) sobre el total analizado (1.951.479 puntos). 4.4 Análisis de las deformaciones de la columna Las plataformas BIM tienen un potencial de comparación de formas complejas, en la arquitectura histórica, con primitivas de origen; comparaciones que determinarán en muchos casos y a los ojos de expertos las transformaciones. Y es aquí donde se pone el acento en esta investigación, puesto que al exportar cada uno de los modelos segmentados como porciónes de nube de puntos se puede comparar las deformaciones a una escala milimétrica. En el caso de la columna referenciada a los ejes X4Y2 (Column-X4Y2), se ha podido comparar el desplome en ambas caras con la posición ideal del fuste (Figura 6). Para el caso de estudio expuesto, se desarrolla un modelo 3D sólo del fuste, empleando la herramienta “pilar/column” de ArchiCAD y asociándole un perfil teórico constante en todo su altura; el modelo 3D bien ajustado a los desplomes de la porción de nube de puntos y a la malla 3D, pues se dispone de los elementos dentro del proyecto HBIM. Sin embargo, otra operación de comparación se realiza en el software Cyclone 3DR. Especialmente, el análisis de las geometrías se realiza comparando modelos entre tipos: i) malla 3D con malla 3D, ii) nube de puntos con malla 3D, iii) geometría 3D BIM con nube de puntos o iv) malla 3D con BIM, y extraer informes de desviaciones de cada uno de los planos. Por eso, el modelo BIM de la comumna es exportado en formato IFC, desde ArchiCAD, para después ser incorporado en el entorno de Cyclone 3DR. Una vez que las porciones de puntos de las columnas son segmentadas, se convierten en Malla 3D en Cyclone 3DR. En el caso de la Column-X4Y2, se dispone de tres mallas 3D que se corresponden con la basa, fuste y capitel.