Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori

TREBALL FINAL DE GRAU TÍTOL: Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori AUTORS: ROMERA GONZÁLEZ, ADRIÁN DATA DE PRESENTACIÓ: Febrer, 2025 COGNOMS: Romera González NOM: Adrián TITULACIÓ: Grau en Enginyeria Informàtica PLA: 2018 DIRECTOR: Vidal Ferré, Rafael CODIRECTOR: Guasch Murillo, Daniel DEPARTAMENT: Departament d’Enginyeria Telemàtica QUALIFICACIÓ DEL TFG DATA DE LECTURA: Aquest Projecte té en compte aspectes mediambientals: ✓ Sí  No TRIBUNAL PRESIDENT SECRETARI VOCAL RESUM Aquest projecte té com a objectiu desenvolupar una eina per al tractament i la visualització de les dades d'accés del repositori UPCommons, responent als reptes associats al creixement constant del volum de dades. L’eina ha estat optimitzada per garantir l’eficiència en l’emmagatzematge i processament de logs, així com la qualitat i fiabilitat de les estadístiques generades, gràcies a la implementació d’estàndards internacionals com les mètriques COUNTER. Entre les millores introduïdes, destaca la substitució d’InfluxDB per Grafana Loki, que ha permès simplificar la gestió dels logs i reduir-ne el cost de manteniment, així com la implementació de filtres avançats per eliminar accessos no vàlids i duplicats. L’adopció de tècniques modernes, com el tractament directe de fitxers comprimits i l’automatització del processament, ha contribuït a un ús més eficient dels recursos i a una anàlisi més fiable del comportament dels usuaris. Per reduir la complexitat i millorar el rendiment, s’han limitat les sèries temporals analitzades a períodes d’un any, mantenint la qualitat i la profunditat de l’anàlisi. Tot i els avenços assolits, s’han identificat limitacions com la impossibilitat de paral·lelitzar completament el processament dels logs, fet que obre noves oportunitats per a futures investigacions. Aquest treball representa una contribució significativa a la gestió de dades en repositoris acadèmics, establint una base sòlida per a millores futures i inspirant solucions similars en altres institucions acadèmiques. Paraules clau (màxim 10): Logs Grafana Loki Enriquiment de dades Optimització del rendiment UPCommons MongoDB Robots i aranyes Python Mètriques COUNTER Processament de dades RESUMEN Este proyecto tiene como objetivo desarrollar una herramienta para el tratamiento y la visualización de los datos de acceso del repositorio UPCommons, respondiendo a los retos asociados al crecimiento constante del volumen de datos. La herramienta ha sido optimizada para garantizar la eficiencia en el almacenamiento y procesamiento de logs, así como la calidad y fiabilidad de las estadísticas generadas, gracias a la implementación de estándares internacionales como las métricas COUNTER. Entre las mejoras introducidas, destaca la sustitución de InfluxDB por Grafana Loki, lo que ha permitido simplificar la gestión de los logs y reducir su coste de mantenimiento, así como la implementación de filtros avanzados para eliminar accesos no válidos y duplicados. La adopción de técnicas modernas, como el tratamiento directo de archivos comprimidos y la automatización del procesamiento, ha contribuido a un uso más eficiente de los recursos y a un análisis más fiable del comportamiento de los usuarios. Para reducir la complejidad y mejorar el rendimiento, se han limitado las series temporales analizadas a períodos de un año, manteniendo la calidad y la profundidad del análisis. A pesar de los avances logrados, se han identificado limitaciones como la imposibilidad de paralelizar completamente el procesamiento de los logs, lo que abre nuevas oportunidades para futuras investigaciones. Este trabajo representa una contribución significativa a la gestión de datos en repositorios académicos, estableciendo una base sólida para mejoras futuras e inspirando soluciones similares en otras instituciones académicas. Palabras clave (máximo 10): Logs Grafana Loki Enriquecimiento de datos Optimización del rendimiento UPCommons MongoDB Robots y arañas Python Métricas COUNTER Procesamiento de datos ABSTRACT This project aims to develop a tool for processing and visualizing access data from the UPCommons repository, addressing the challenges associated with the continuous growth of data volume. The tool has been optimized to ensure efficiency in log storage and processing, as well as the quality and reliability of the generated statistics, thanks to the implementation of international standards such as COUNTER metrics. Among the introduced improvements, the replacement of InfluxDB with Grafana Loki stands out, simplifying log management and reducing maintenance costs, as well as implementing advanced filters to remove invalid and duplicate accesses. The adoption of modern techniques, such as direct processing of compressed files and automation of workflows, has contributed to more efficient resource usage and a more reliable analysis of user behaviour. To reduce complexity and improve performance, the analysed time series have been limited to one-year periods while maintaining analysis quality and depth. Despite the achieved progress, limitations such as the inability to fully parallelize log processing have been identified, opening new opportunities for future research. This work represents a significant contribution to data management in academic repositories, establishing a solid foundation for future improvements and inspiring similar solutions in other academic institutions. Keywords (10 maximum): Logs Grafana Loki Data enrichment Performance optimization UPCommons MongoDB Robots and crawlers Python COUNTER Metrics Data processing SUMARI INTRODUCCIÓ 12 1. REVISIÓ CRÍTICA DEL DISSENY I DE LA IMPLEMENTACIÓ ORIGINAL 13 1.1 PUNT DE PARTIDA 14 1.2 POSSIBLES OPTIMITZACIONS 15 1.2.1 LOGS 15 1.2.2 METADADES 25 2. DISSENY TÈCNIC I IMPLEMENTACIÓ 29 2.1 DISSENY TÈCNIC 30 2.1.1 ARQUITECTURA DEL SISTEMA 30 2.1.2 COMPONENTS PRINCIPALS 31 2.2 IMPLEMENTACIÓ 32 2.2.1 FILTRATGE 32 2.2.2 TRANSFORMACIÓ 33 2.2.3 PROCÉS D’ABOCAMENT DELS LOGS 34 2.2.4 PROCÉS D’ABOCAMENT DE LES METADADES 39 3. MILLORES DE SEGURETAT 40 3.1 SERVIDOR D’OSTIA 41 3.1.1 PROTECCIÓ DELS PORTS 41 3.2 ENTORN DE VIRTUALITZACIÓ 42 3.2.1 SERVIDOR INTERMEDIARI INVERS 42 3.2.2 CERTIFICAT SSL 43 3.3 GRAFANA 44 3.3.1 GESTIÓ DE L'ACCÉS I LA SEGMENTACIÓ D'USUARIS 44 4. ANÀLISI I VISUALITZACIÓ DE LES DADES 47 4.1 RESULTATS OBTINGUTS DURANT EL PROCÉS D’ABOCAMENT DE DADES 48 4.1.1 EVOLUCIÓ DEL VOLUM DE LOGS PER TIPUS 48 4.1.2 DISTRIBUCIÓ DELS LOGS DESCARTATS SEGONS EL TIPUS DE FILTRE 49 4.1.3 PERCENTATGE ANUAL DE LOGS DESCARTATS 50 4.1.4 IMPACTE DE MOTORS DE CERCA I BOTS GENÈRICS 51 4.1.5 COMPARACIÓ ENTRE LOGS D’USUARIS I ROBOTS 52 4.1.6 RELACIÓ ENTRE LOGS PROCESSATS I DESCARTATS 53 4.1.7 RESPECTE A LES DIRECTRIUS DE NO INDEXACIÓ PER PART DELS ROBOTS 54 4.1.8 INTERACCIONS D’OPENAI AMB EL REPOSITORI 56 4.2 RESULTATS OBTINGUTS A PARTIR DELS LOGS ENRIQUITS 57 4.2.1 PÀGINES PRINCIPALS QUE REFEREIXEN A UPCOMMONS 57 4.2.2 TRÀNSIT PROCEDENT DE LA UPC AGRUPAT PELS PRINCIPALS DOMINIS 64 4.2.3 TRÀNSIT PROCEDENT DELS PRINCIPALS MOTORS DE RECERCA 66 4.2.4 TRÀNSIT PROCEDENT DE MOTORS DE CERCA ACADÈMICS, XARXES ACADÈMIQUES I ENCICLOPÈDIES 68 4.2.5 TRÀNSIT AGRUPAT PER COL·LECCIÓ 71 4.2.6 TRÀNSIT AGRUPAT PER IDIOMA 74 ANÀLISI DE SOSTENIBILITAT I IMPLICACIONS ÈTIQUES 76 CONCLUSIONS 77 AGRAÏMENTS 78 BIBLIOGRAFIA 79 ANNEX 81 SUMARI DE FIGURES FIGURA 1. EXEMPLE DEL CONTINGUT D’UN LOG (FONT: UPCOMMONS) 15 FIGURA 2. DISSENY TÈCNIC DEL PROCESSAMENT DELS LOGS (FONT: ELABORACIÓ PRÒPIA) 31 FIGURA 3. IMPLEMENTACIÓ DEL PROCESSAMENT DELS LOGS (FONT: ELABORACIÓ PRÒPIA) 33 FIGURA 4. RESULTAT DE L'ESCANEIG NMAP QUE MOSTRA ELS PORTS FILTRATS (FONT: ELABORACIÓ PRÒPIA) 41 FIGURA 5. ESCANEIG NMAP QUE EVIDENCIA ELS PORTS OBERTS I FILTRATS, INCLOENT-HI L’HTTP DE NGINX (FONT: ELABORACIÓ PRÒPIA) 42 FIGURA 6. ESCANEIG NMAP QUE EVIDENCIA ELS PORTS OBERTS I FILTRATS, INCLOENT-HI L’HTTPS DE NGINX (FONT: ELABORACIÓ PRÒPIA) 43 FIGURA 7. EVOLUCIÓ DEL VOLUM DE LOGS PER TIPUS (FONT: ELABORACIÓ PRÒPIA) 48 FIGURA 8. DISTRIBUCIÓ DELS LOGS DESCARTATS SEGONS EL TIPUS DE FILTRE (FONT: ELABORACIÓ PRÒPIA) 49 FIGURA 9. PERCENTATGE ANUAL DE LOGS DESCARTATS (FONT: ELABORACIÓ PRÒPIA) 50 FIGURA 10. IMPACTE DE MOTORS DE CERCA I BOTS GENÈRICS (FONT: ELABORACIÓ PRÒPIA) 51 FIGURA 11. COMPARACIÓ ENTRE LOGS D’USUARIS I ROBOTS (FONT: ELABORACIÓ PRÒPIA) 52 FIGURA 12. RELACIÓ ENTRE LOGS PROCESSATS I DESCARTATS (FONT: ELABORACIÓ PRÒPIA) 53 FIGURA 13. RESPECTE A LES DIRECTRIUS DE NO INDEXACIÓ PER PART DELS ROBOTS EL DESEMBRE DEL 2023 (FONT: ELABORACIÓ PRÒPIA) 55 FIGURA 14. INTERACCIONS D’OPENAI AMB EL REPOSITORI AL LLARG DEL 2023 (FONT: ELABORACIÓ PRÒPIA) 56 FIGURA 15. DISTRIBUCIÓ DEL TRÀNSIT CAP A L’UPCOMMONS DURANT EL DESEMBRE DEL 2023 (FONT: ELABORACIÓ PRÒPIA) 58 FIGURA 16. DISTRIBUCIÓ DEL TRÀNSIT CAP A L’UPCOMMONS, EXCLOENT EL TRÀNSIT DIRECTE, DURANT EL DESEMBRE DEL 2023 (FONT: ELABORACIÓ PRÒPIA) 60 FIGURA 17. DISTRIBUCIÓ DEL TRÀNSIT EXTERN CAP A UPCOMMONS DURANT EL DESEMBRE DEL 2023 (FONT: ELABORACIÓ PRÒPIA) 62 FIGURA 18. DISTRIBUCIÓ DEL TRÀNSIT PROCEDENT DE LA UPC AGRUPAT PELS PRINCIPALS DOMINIS AL LLARG DEL 2023 (FONT: ELABORACIÓ PRÒPIA) 64 FIGURA 19. EVOLUCIÓ DEL TRÀNSIT PROCEDENT DE LA UPC AGRUPAT PER DOMINI AL LLARG DEL 2023 (FONT: ELABORACIÓ PRÒPIA) 65 FIGURA 20. DISTRIBUCIÓ DEL TRÀNSIT PROCEDENT DELS PRINCIPALS MOTORS DE RECERCA AL LLARG DEL 2023 (FONT: ELABORACIÓ PRÒPIA) 66 FIGURA 21. DISTRIBUCIÓ DEL TRÀNSIT PROCEDENT DE MOTORS DE CERCA ACADÈMICS, XARXES ACADÈMIQUES I ENCICLOPÈDIES AL LLARG DEL 2023 (FONT: ELABORACIÓ PRÒPIA) 69 FIGURA 22. DISTRIBUCIÓ DEL TRÀNSIT AGRUPAT PER COL·LECCIÓ AL LLARG DEL 2023 (FONT: ELABORACIÓ PRÒPIA) 71 FIGURA 23. EVOLUCIÓ DEL TRÀNSIT AGRUPAT PER COL·LECCIÓ AL LLARG DEL 2023 (FONT: ELABORACIÓ PRÒPIA) 72 FIGURA 24. DISTRIBUCIÓ DEL TRÀNSIT AGRUPAT PER IDIOMA AL LLARG DEL 2023 (FONT: ELABORACIÓ PRÒPIA) 74 FIGURA 25. EVOLUCIÓ DEL TRÀNSIT AGRUPAT PER IDIOMA AL LLARG DEL 2023 (FONT: ELABORACIÓ PRÒPIA) 75 SUMARI DE TAULES TAULA 1. RESUM ANUAL DEL VOLUM DE LOGS PROCESSATS (FONT: ELABORACIÓ PRÒPIA) 35 TAULA 2. DISTRIBUCIÓ ANUAL DE LOGS DESCARTATS SEGONS EL TIPUS DE FILTRE DE COUNTER METRICS APLICAT (FONT: ELABORACIÓ PRÒPIA) 36 TAULA 3. LOGS GENERATS PER ROBOTS I ARANYES CLASSIFICATS PER MOTOR DE CERCA (FONT: ELABORACIÓ PRÒPIA) 37 TAULA 4. RESULTAT DE L’ABOCAMENT DE LES METADADES A MONGODB (FONT: ELABORACIÓ PRÒPIA) 39 TAULA 5. TAULA DE PERMISOS PER ROL (FONT: GRAFANA) 45 TAULA 6. RESUM MENSUAL DEL VOLUM DE LOGS PROCESSATS EL 2006 (FONT: ELABORACIÓ PRÒPIA) 84 TAULA 7. DISTRIBUCIÓ MENSUAL DE LOGS DESCARTATS SEGONS EL TIPUS DE FILTRE DE COUNTER METRICS APLICAT EL 2006 (FONT: ELABORACIÓ PRÒPIA) 84 TAULA 8. LOGS GENERATS PER ROBOTS I ARANYES CLASSIFICATS PER MOTOR DE CERCA EL 2006 (FONT: ELABORACIÓ PRÒPIA) 85 TAULA 9. RESUM MENSUAL DEL VOLUM DE LOGS PROCESSATS EL 2007 (FONT: ELABORACIÓ PRÒPIA) 86 TAULA 10. DISTRIBUCIÓ MENSUAL DE LOGS DESCARTATS SEGONS EL TIPUS DE FILTRE DE COUNTER METRICS APLICAT EL 2007 (FONT: ELABORACIÓ PRÒPIA) 86 TAULA 11. LOGS GENERATS PER ROBOTS I ARANYES CLASSIFICATS PER MOTOR DE CERCA EL 2007 (FONT: ELABORACIÓ PRÒPIA) 87 TAULA 12. RESUM MENSUAL DEL VOLUM DE LOGS PROCESSATS EL 2008 (FONT: ELABORACIÓ PRÒPIA) 88 TAULA 13. DISTRIBUCIÓ MENSUAL DE LOGS DESCARTATS SEGONS EL TIPUS DE FILTRE DE COUNTER METRICS APLICAT EL 2008 (FONT: ELABORACIÓ PRÒPIA) 88 TAULA 14. LOGS GENERATS PER ROBOTS I ARANYES CLASSIFICATS PER MOTOR DE CERCA EL 2008 (FONT: ELABORACIÓ PRÒPIA) 89 TAULA 15. RESUM MENSUAL DEL VOLUM DE LOGS PROCESSATS EL 2009 (FONT: ELABORACIÓ PRÒPIA) 90 TAULA 16. DISTRIBUCIÓ MENSUAL DE LOGS DESCARTATS SEGONS EL TIPUS DE FILTRE DE COUNTER METRICS APLICAT EL 2009 (FONT: ELABORACIÓ PRÒPIA) 90 TAULA 17. LOGS GENERATS PER ROBOTS I ARANYES CLASSIFICATS PER MOTOR DE CERCA EL 2009 (FONT: ELABORACIÓ PRÒPIA) 91 TAULA 18. RESUM MENSUAL DEL VOLUM DE LOGS PROCESSATS EL 2010 (FONT: ELABORACIÓ PRÒPIA) 92 TAULA 19. DISTRIBUCIÓ MENSUAL DE LOGS DESCARTATS SEGONS EL TIPUS DE FILTRE DE COUNTER METRICS APLICAT EL 2010 (FONT: ELABORACIÓ PRÒPIA) 92 TAULA 20. LOGS GENERATS PER ROBOTS I ARANYES CLASSIFICATS PER MOTOR DE CERCA EL 2010 (FONT: ELABORACIÓ PRÒPIA) 93 TAULA 21. RESUM MENSUAL DEL VOLUM DE LOGS PROCESSATS EL 2011 (FONT: ELABORACIÓ PRÒPIA) 94 TAULA 22. DISTRIBUCIÓ MENSUAL DE LOGS DESCARTATS SEGONS EL TIPUS DE FILTRE DE COUNTER METRICS APLICAT EL 2011 (FONT: ELABORACIÓ PRÒPIA) 94 TAULA 23. LOGS GENERATS PER ROBOTS I ARANYES CLASSIFICATS PER MOTOR DE CERCA EL 2011 (FONT: ELABORACIÓ PRÒPIA) 95 TAULA 24. RESUM MENSUAL DEL VOLUM DE LOGS PROCESSATS EL 2012 (FONT: ELABORACIÓ PRÒPIA) 96 Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 14 1.1 PUNT DE PARTIDA En el seu projecte, es va desenvolupar una eina de codi obert capaç d'analitzar i emmagatzemar els registres d'accés de la plataforma UPCommons, utilitzant InfluxDB com a base de dades de sèries temporals i MongoDB per gestionar les metadades dels recursos del repositori. Aquesta eina incloïa la capacitat de representar visualment els resultats a través de Grafana, creant una base sòlida per a l’anàlisi de logs en grans volums. El seu treball va abordar tres aspectes clau: 1. Processament dels logs: es va establir un flux per transformar els registres en dades significatives, aplicant filtres i estructurant la informació per a la seva anàlisi posterior. 2. Emmagatzematge de dades: Va optar per una combinació d'InfluxDB per als logs i MongoDB per a les metadades, destacant la compatibilitat d'aquestes bases de dades amb les eines utilitzades. 3. Visualització i anàlisi: L'eina desenvolupada permetia definir casos d'ús específics, com ara identificar els recursos més consultats o detectar accessos maliciosos. Aquest primer projecte es va desplegar en el servidor OSTIA, ubicat al Centre de Processament de Dades (CPD) de l’Escola Politècnica Superior d’Enginyeria de Vilanova i la Geltrú (EPSEVG) de la Universitat Politècnica de Catalunya (UPC). OSTIA és un servidor virtual que compta amb: • CPU: 4 nuclis (quad core) • Memòria RAM: 8 GB • Emmagatzematge: 272 GB totals en disc • Sistema operatiu: Debian GNU/Linux 12 (Bookworm), amb nucli Linux 6.1 Gràcies a aquestes característiques, ja aprofitades en el projecte anterior, OSTIA ofereix prou capacitat de càlcul i emmagatzematge per dur a terme l’anàlisi i el processament de grans volums de logs, i permet integrar diferents serveis sense necessitat d’adquirir ni mantenir infraestructura addicional. Aquest projecte es proposa optimitzar i ampliar les funcionalitats de l’eina, adaptant-la a nous estàndards, com les mètriques COUNTER, i millorant aspectes tècnics clau com l’eficiència en l’emmagatzematge i processament de logs. Una de les millores més rellevants ha estat l’adopció de sèries temporals més curtes, limitades a períodes d’un any. Aquesta decisió permet gestionar millor grans volums de dades, reduint la càrrega computacional i mantenint alhora la qualitat de les estadístiques generades. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 15 1.2 POSSIBLES OPTIMITZACIONS 1.2.1 LOGS Els logs d’UPCommons són registres d'activitat que documenten les peticions realitzades a la plataforma per part dels usuaris o sistemes automàtics. Aquests registres segueixen un format estructurat i contenen informació clau per analitzar l'accés als recursos i el comportament dels usuaris. El format més comú dels logs és el de Common Log Format (CLF), que inclou camps com: (1) • Adreça IP: Identifica l'origen de la petició. • Timestamp: Registra la data i hora de l'accés. • Mètode HTTP: Indica l'acció realitzada (GET, POST, etc.). • Ruta del recurs: Especifica el camí o URL del recurs sol·licitat. • Codi d’estat HTTP: Informa sobre el resultat de la petició (ex. 200, 404). • Referer: Mostra la pàgina d'origen de la petició, si n'hi ha. • Agent d’usuari (User-Agent): Identifica el navegador o sistema que ha generat la petició. Aquestes dades són essencials per entendre l'ús de la plataforma i identificar patrons d'accés, incloent-hi accés legítim d’usuaris, comportament d’aranyes web (web crawlers) o robots, i anomalies com intents d’accés malintencionats (vegeu la Figura 1). EXEMPLE D’UN LOG TÍPIC D’UPCOMMONS 108.81.199.149 - - [01/Jan/2023:00:03:15 +0100] "GET /handle/2099/8587 HTTP/1.1" 200 30039 "https://www.google.com/" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36" Figura 1. Exemple del contingut d’un log (Font: UPCommons) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 16 DESCRIPCIÓ DELS CAMPS 1. 108.81.199.149: Adreça IP del client. 2. [01/Jan/2023:00:03:15 +0100]: Hora i data en format CLF. 3. GET: Mètode HTTP utilitzat. 4. /handle/2099/8587: Ruta del recurs accedit. 5. HTTP/1.1: Protocol usat. 6. 200: Codi d’estat que indica un accés correcte. 7. 30039: Mida de la resposta en bytes. 8. https://www.google.com/: Referer que indica la pàgina des d’on es va accedir al recurs. 9. Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36: Agent d’usuari que identifica el sistema i navegador utilitzat. SUBSTITUCIÓ D’INFLUXDB PER GRAFANA LOKI Una de les primeres millores explorades en aquest projecte ha estat substituir InfluxDB per Grafana Loki com a sistema d’emmagatzematge de logs. Grafana Loki és un sistema d’agregació de logs de codi obert basat en Prometheus, que destaca per la seva escalabilitat i flexibilitat. Les seves característiques principals són: • Escalabilitat: Loki ofereix diversos modes de desplegament que permeten adaptar-se a diferents requisits. • Integració: És compatible amb múltiples implementacions i llibreries de tercers. • Compatibilitat amb Grafana: Inclou una integració nativa amb Grafana, facilitant l’observabilitat. • Eficiència en l’emmagatzematge: Només indexa les metadades (timestamp i labels) dels logs, mentre que el contingut no s’indexa, reduint significativament l’espai de disc necessari. Aquesta última característica és especialment útil si els labels contenen informació clau, ja que optimitzen el procés de cerca. En el treball inicial, Grafana Loki no es va implementar a causa de problemes amb el paràmetre que defineix el temps màxim d’anterioritat per cercar logs. Aquest inconvenient va fer que es descartés temporalment, però en aquesta nova proposta s’ha decidit reprendre’n la configuració i integració per aprofitar els seus avantatges. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 17 COMPARATIVA ENTRE PROMTAIL I EL FORWARDER EN PYTHON Per implementar Grafana Loki com a sistema d’ingesta i processament de logs, s’han considerat dues opcions principals: l’ús de Promtail com a agent natiu i el desenvolupament d’un forwarder personalitzat en Python. A continuació es presenten les característiques, avantatges i limitacions de cadascuna. PROMTAIL Promtail és un agent natiu dissenyat específicament per treballar amb Loki. Ofereix les següents funcionalitats: (2) • Lectura de logs: Compatible amb fonts com fitxers, syslog o journal. • Etiquetatge amb metadades (labels): Configura etiquetes estàtiques o dinàmiques per facilitar la cerca i l’organització. • Enviament directe a Loki: Transmet els logs processats sense necessitat de components intermedis. LIMITACIONS Tot i la seva simplicitat i integració nativa, Promtail presenta les següents mancances que el fan insuficient per a aquest projecte: • No permet personalitzacions avançades com: o Filtratge de duplicats consecutius. o Identificació i eliminació d’accessos generats per bots. o Enriquiment de logs amb metadades externes. • No compleix amb els requisits dels estàndards COUNTER, que exigeixen una lògica de processament més complexa. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 18 FORWARDER EN PYTHON El desenvolupament d’un forwarder en Python permet una personalització completa, aprofitant llibreries específiques (3) i l’API HTTP de Loki (4). Aquest enfocament ofereix: • Flexibilitat total: Capacitat per implementar funcionalitats avançades com: o Filtratge de bots i aranyes mitjançant el camp user-agent. o Eliminació de duplicats consecutius comparant registres successius. • Reutilització del codi existent: Es basa en l’estructura del projecte inicial desenvolupat en Python, facilitant la transició. • Opcions de personalització: Inclou diverses alternatives per implementar el forwarder: 1. Script push-to-loki.py: (5) Serveix com a base funcional per enviar logs mitjançant l’API HTTP de Loki. 2. Llibreria python-logging-loki: (6) Proporciona un handler senzill per enviar logs, però no és suficient per a personalitzacions complexes. 3. Llibreria nextlog: (7) Ofereix una gestió asíncrona amb suport per Redis, però pot ser excessiva. 4. Loki HTTP API: (4) Ofereix la màxima flexibilitat per personalitzar l’enviament de logs, sent l’opció escollida per aquest projecte. DECISIÓ FINAL S’ha optat per utilitzar directament l’API HTTP de Loki basant-se en l’exemple de pushto-loki.py. Aquesta elecció es fonamenta en: • Compliment dels estàndards COUNTER: o Filtratge d’accessos generats per robots i aranyes mitjançant el camp user-agent. o Eliminació de duplicats consecutius dins d’un interval de temps específic. • Personalització total: o Permet enriquir els logs amb metadades externes i configurar etiquetes (labels) rellevants per a les consultes. • Reutilització de codi existent: o Facilita la transició des del projecte inicial, aprofitant l’estructura ja implementada. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 19 CARACTERÍSTIQUES DEL FORWARDER EN PYTHON El forwarder desenvolupat s’ha adaptat al model d’indexació de Grafana Loki, seguint les millors pràctiques per optimitzar el rendiment i l’ús de recursos. GESTIÓ DE LABELS EN GRAFANA LOKI • Etiquetes (labels): Els camps content, method, status_code, type i referer s’han configurat com etiquetes, cosa que permet consultes eficients. • Limitació de la cardinalitat: S’han etiquetat només camps amb un nombre reduït de valors únics (low cardinality), evitant problemes de rendiment. (8) IMPLEMENTACIÓ DEL MODEL D’INDEXACIÓ 1. Indexació com a labels: Els camps clau es mantenen com etiquetes, seguint les millors pràctiques. (9) 2. Gestió del text del registre: Els camps amb alta variabilitat, com el log en format brut i el recurs, s’han inclòs al text principal del registre (log line), evitant sobrecàrregues. 3. Enviament en lots: Els registres es processen i s’envien en lots (batches) de 500 elements, millorant l’eficiència i reduint la latència. AVANTATGES DEL FORWARDER EN PYTHON • Indexació eficient: Els camps clau es mantenen com etiquetes per a consultes habituals. • Optimització del rendiment: Evita etiquetar camps amb alta variabilitat, reduint la càrrega sobre Loki. • Escalabilitat i simplicitat: L’enviament en lots millora la gestió dels recursos i garanteix un rendiment consistent. • Adaptació fluida: Transició efectiva des d’InfluxDB cap a Grafana Loki. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 20 APLICACIÓ DE LES MÈTRIQUES COUNTER Per tal que el projecte compleixi amb les exigències de les mètriques COUNTER, (10) s’han implementat un seguit de filtres que permeten filtrar i eliminar els registres que no compleixen el codi de pràctiques definit en la versió 5.1 de COUNTER, que va entrar en vigor l’1 de gener de 2025. Aquests filtres s’han dissenyat seguint els estàndards establerts i cobreixen els següents aspectes clau: FILTRES IMPLEMENTATS CODI D'ESTAT HTTP Segons les mètriques COUNTER, només s’han de considerar vàlids els registres amb codis d’estat HTTP específics. S’han exclòs aquells que indiquen errors del client o del servidor, així com peticions que no representen un accés vàlid. (11) • Acceptats: Codis 200 (èxit) i 304 (no modificat), que reflecteixen un accés correcte o una resposta en cau. • Exclosos: Codis com 404 (no trobat), 403 (prohibit), 500 (error intern del servidor) i similars, ja que no representen accions significatives per a les mètriques. Aquest filtre garanteix que només es considerin interaccions vàlides en les estadístiques. FILTRATGE DE DOBLE CLIC Aquest filtre elimina els registres duplicats generats pel mateix usuari accedint al mateix recurs dins d’un període de temps curt, definit com un interval de 30 segons. (12) • Definició d’usuari: S’identifica per la combinació d’adreça IP i user-agent. • Regles de filtratge: Si un mateix usuari accedeix repetidament al mateix URL dins de l’interval definit, només es manté el registre corresponent al darrer accés. Aquest enfocament assegura que només es comptabilitzin interaccions significatives, evitant inflacions en les estadístiques per accessos repetitius accidentals. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 21 FILTRES PER ROBOTS I ARANYES Es filtren i eliminen els registres generats per bots i aranyes, que no representen accions humanes vàlides. (13) • Identificació de robots: Es basa en el camp user-agent dels registres, comparant-lo amb una llista de noms de bots i aranyes coneguts. • Regles d’exclusió: Registres amb user-agent que coincideixin amb qualsevol nom identificat com a robot són descartats automàticament. Aquest filtre evita que les estadístiques incloguin accessos generats per sistemes automàtics, assegurant que només es comptabilitzin accions d’usuaris reals. IMPACTE DELS FILTRES EN EL PROJECTE Els filtres implementats garanteixen que el sistema compleixi els estàndards definits per COUNTER Metrics, millorant la qualitat i la precisió de les estadístiques generades. A més, aquests ajustos asseguren que el projecte s’alineï amb les bones pràctiques internacionals per a la mesura de l’ús de recursos digitals, assegurant la validesa i la consistència de les dades reportades. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 22 PROCESSAMENT DE FITXERS COMPRIMITS Una millora que s'ha explorat en la nova implementació és la possibilitat de processar els logs directament en format comprimit (.gz). A diferència de l’enfocament inicial, on els fitxers de logs s’havien de descomprimir abans de ser processats, aquest nou enfocament redueix la necessitat d’espai addicional per als fitxers descomprimits i elimina el temps de descompressió. Això permet optimitzar tant l’ús de recursos com la velocitat de processament. Aquesta funcionalitat es gestiona mitjançant la llibreria gzip, que permet llegir i processar els fitxers directament en el seu format comprimit. (14) AVANTATGES DE LLEGIR DIRECTAMENT AMB GZIP 1. Menor ús d’espai al disc • No cal descomprimir prèviament els fitxers al disc, fet que estalvia espai significatiu, especialment amb grans volums de dades. 2. Reducció d’operacions intermèdies • S’evita el pas intermedi de descomprimir, simplificant el flux general i reduint el temps total si la descompressió i el processament es realitzen simultàniament. 3. Gestió dinàmica • Els logs es processen en format comprimit, evitant descompressions prèvies. 4. Automatització més completa • Tot el flux, des de la lectura fins al processament, es gestiona en un únic script, reduint el nombre d’eines, scripts i comandaments necessaris per completar la tasca. Aquest enfocament representa un pas important cap a una gestió més eficient dels logs, cosa que permet optimitzar el rendiment del sistema sense comprometre els recursos disponibles. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 23 PARAL·LELITZACIÓ Amb l’objectiu de reduir el temps d’execució del procés d’abocament de dades, s’ha explorat la possibilitat de paral·lelitzar el codi mitjançant el mòdul Ray. (15) Aquest enfocament permetria distribuir les tasques d’abocament en múltiples processos, aprofitant millor els recursos disponibles del sistema. ESTRATÈGIES DE PARAL·LELITZACIÓ EXPLORADES S’han considerat diverses estratègies per dividir el treball en blocs més petits i executarlos simultàniament: • Paral·lelització per mesos: Processar en paral·lel els logs agrupats per mesos dins d’un mateix any. • Paral·lelització per dies: Processar els logs en l'àmbit diari en un mes específic. Tot i la viabilitat tècnica d’aquestes estratègies, no ha estat possible portar-les a terme a causa de les limitacions inherents al sistema d’emmagatzematge de Grafana Loki, basat en el sistema TSDB (Time Series Database). EL SISTEMA TSDB A GRAFANA LOKI Grafana Loki utilitza un sistema TSDB per emmagatzemar i organitzar les dades de logs. Aquest sistema està optimitzat per gestionar sèries temporals de dades de manera escalable i eficient, seguint un model que prioritza la consistència temporal dels registres. (16) 1. Fragmentació per intervals temporals • TSDB divideix les dades en blocs d’intervals temporals definits (normalment de 2 hores per defecte). • Cada bloc conté un conjunt de dades comprimit i indexat que cobreix un rang de temps específic. 2. Estructura jeràrquica • Els blocs s’organitzen jeràrquicament en un sistema d’arxius o d’objectes, depenent de la configuració d’emmagatzematge. • Cada bloc inclou fitxers d’índex que permeten accedir ràpidament a les etiquetes (labels) i als registres associats. 3. Requisits d’estructura temporal • Quan es realitza un abocament massiu, el sistema TSDB requereix que els registres s’ingereixin en ordre cronològic. Això garanteix que els blocs es creen i indexen correctament. • L’abocament desordenat de registres pot generar errors o resultats inconsistents, especialment en entorns paral·lels. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 30 2.1 DISSENY TÈCNIC El sistema parteix del treball inicial i s'ha dissenyat com una eina modular i escalable, capaç de processar grans volums de logs, enriquir-los amb metadades quan sigui necessari, i enviar-los a Grafana Loki per a la seva visualització i anàlisi. Aquesta estructura permet flexibilitat, mantenibilitat i ampliacions futures. 2.1.1 ARQUITECTURA DEL SISTEMA L'arquitectura està composta per les següents capes funcionals (vegeu la Figura 2): 1. Processament de logs • Es gestionen els logs des de la ingesta inicial fins a la seva transformació en dades enriquides i estructurades. • Els components clau són: o Filtres (filter): Implementen regles específiques per processar només els registres rellevants, com ara eliminar accessos de bots o registrar només peticions HTTP vàlides. o Transformadors (transformer): Encarregats d'afegir etiquetes, metadades o modificar els registres segons les necessitats del sistema. o Utilitats (utils): Inclou eines per convertir logs en JSON o gestionar patrons regex. 2. Enriquiment amb metadades • Quan els logs són de tipus "recurs" o "recurs-bitstream", el sistema consulta MongoDB per obtenir camps addicionals, com: o Language: Idioma associat al recurs. o Type-recurs: Tipologia del recurs (article, tesi, etc.). o Access: Nivell d'accés (públic o restringit). • Aquestes dades són afegides al log com etiquetes (labels) o com text per optimitzar el seu ús a Grafana Loki. 3. Emmagatzematge i visualització • Els logs processats s'envien a Grafana Loki mitjançant un sistema de forwarders. Les dues principals categories són: o Forwarders per logs: Inclouen el Loki Forwarder, responsable de l'enviament dels registres a Loki. o Forwarders per metadades: Gestionen les interaccions amb MongoDB o altres sistemes d'emmagatzematge. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 31 Figura 2. Disseny tècnic del processament dels logs (Font: Elaboració pròpia) 2.1.2 COMPONENTS PRINCIPALS 1. Estructura de directoris: La modularitat del projecte es reflecteix en la seva estructura, que separa clarament els diferents components per funcionalitats: • logs/: Conté tot el relacionat amb el processament dels registres. o filter/: Filtres per diferents tipus de registres, com ara web_resource o search_resource. o transformer/: Modifica els registres, per exemple, afegint etiquetes o eliminant adreces IP. o forwarder/: Gestiona l'enviament dels logs processats a Loki. • metadata/: Inclou mòduls per gestionar metadades. o filter/: Filtra les metadades segons criteris específics. o forwarder/: Gestiona la comunicació amb MongoDB o el sistema de fitxers. • utils/: Eines d'ajuda, com patrons regex i constants globals. 2. Flux de treball del sistema: 1. Lectura dels logs des de fitxers comprimits. 2. Aplicació de filtres per descartar registres innecessaris. 3. Transformació i enriquiment dels logs amb etiquetes i metadades de MongoDB. 4. Enviament en lots (batches) de 500 registres a Grafana Loki. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 32 2.2 IMPLEMENTACIÓ La implementació del sistema s’ha centrat a desenvolupar mòduls que assegurin el tractament eficient, enriquiment i enviament dels logs a Grafana Loki, seguint els criteris establerts al disseny tècnic. Cada component s’ha implementat com a part d’un conjunt modular, aprofitant estructures i interfícies definides per facilitar la integració i extensibilitat. 2.2.1 FILTRATGE Els filtres són funcions específiques que actuen com a primera línia de processament dels logs. Cada filtre es basa en una interfície comuna amb la funció filtre(log)-> bool, la qual determina si un registre compleix els criteris per ser processat. Els filtres implementats inclouen: • WithoutIpAddress: Detecta registres que no contenen cap adreça IP. • WithIPv6Address: Identifica registres amb adreces IPv6. • StatusCode: Exclou registres amb codis HTTP que no estan dins dels límits establerts (200 i 304). • DoubleClick: Filtra accessos duplicats d’un mateix usuari (definit per la combinació IP + user-agent) dins d’un interval de 30 segons, mantenint només l’últim registre. • RobotsCrawlers: Elimina registres generats per bots o aranyes web, basant-se en el camp user-agent. • AccessResource: Detecta registres on el recurs accedit és un identificador d’UPCommons amb format handle. Corresponen a l’accés a la pàgina d’un recurs, on es mostren les seves metadades. • AccessResourceBitstream: Identifica registres associats a recursos d’UPCommons amb identificadors de tipus bitstream. S’utilitzen habitualment per accedir al text complet o als arxius del recurs, generalment corresponent a la descàrrega del fitxer. • AccessBitstream: Similar a AccessResourceBitstream, però optimitzat per identificar directament recursos de tipus bitstream amb el UUID, com ara la visualització de la miniatura d’un recurs. • WebResource: Detecta si el recurs accedit és un recurs web, com ara crides complementàries a fitxers dels següents tipus: js, woff, jpg, css, png, ico, txt o gif. • SearchResource: Identifica si el registre correspon a una cerca d’un recurs. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 33 2.2.2 TRANSFORMACIÓ Els transformadors actuen sobre els registres seleccionats pels filtres, aplicant canvis estructurals o afegint metadades. Les funcions implementades són: • AddDefaultIpAddress: Assigna una IP predeterminada als registres que no en tenen. • RemoveIPv6Address: Elimina les adreces IPv6, deixant només les IPv4. • ToJSON: Converteix el registre a un format JSON estructurat. • AddTimestamp: Afegeix un camp de marca temporal en format UNIX. • AddLabel: Afegeix parells clau-valor com etiquetes (labels) per a la indexació a Loki. • AddLogMetadata: Enriquiment amb dades externes, com la consulta a MongoDB per als camps language, type-resource i access. • AddResourceIdLabel: Identifica el recurs accedit pel registre i afegeix el seu identificador com a etiqueta (label). • AddBitstreamResourceIdLabel: Identifica i etiqueta recursos d’accés bitstream. Un cop definides les funcions individualment, el procés global per processar els logs es descriu amb el diagrama (vegeu la Figura 3). Figura 3. Implementació del processament dels logs (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 34 2.2.3 PROCÉS D’ABOCAMENT DELS LOGS El procés d’abocament dels logs té com a objectiu migrar els registres emmagatzemats en un sistema d’arxius a Grafana Loki. Els logs es trobaven inicialment en el directori /mnt/working/logsanon, organitzats en fitxers comprimits (.gz), on cada fitxer representava els registres d’un dia específic. CONFIGURACIÓ AMB VARIABLES D’ENTORN Per tal de facilitar la gestió i fragmentar l’abocament dels registres, s’han definit variables d’entorn que permeten especificar els mesos, els anys i els dies dels logs que es volen processar. El següent exemple il·lustra l’ús de variables d’entorn per definir el període temporal dels registres que es volen abocar: START_YEAR=2023 END_YEAR=2023 START_MONTH=1 END_MONTH=12 START_DAY=1 END_DAY=31 En aquest exemple s’ha establert que es volen abocar les dades de 2023. Per a més detalls sobre el procés d’instal·lació, configuració de Docker i inici de Grafana, vegeu l’Annex 1. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 35 ESTADÍSTIQUES Les dades presenten una anàlisi del volum de logs processats entre 2006 i 2023, amb una classificació en funció de diferents criteris, com tipus d'accés, logs descartats segons filtres de COUNTER Metrics, i activitat generada per robots i aranyes. Les taules detallades de dades anuals es poden consultar a l'Annex 2. DADES GENERALS Aquests són els resultats generals (vegeu la Taula 1): • Total de logs processats: 1.927.074.300 • Mitjana anual de logs: 107.059.683 • Anys amb més volum de logs: o 2022 (194.546.173 logs) o 2021 (192.986.484 logs) • Anys amb menys volum de logs: o 2006 (1.553.613 logs) o 2007 (15.052.731 logs) Any Nombre total de logs Accés a la pàgina del recurs Descàrrega del recurs Visualitzaci ó de la miniatura Accés a un recurs web descartat Cerca a la plataforma Altres tipus de logs Error de procesa ment COUNTER Metrics descartats Duració de l’abocament (minuts) 2006 1.553.613 17.694 0 0 205.261 22.811 91.482 155 1.216.365 1,68 2007 15.052.731 417.667 0 0 3.908.687 308.448 1.798.813 0 8.619.116 19,68 2008 30.747.030 1.104.616 0 0 8.599.936 752.091 4.413.295 12 15.877.092 50,99 2009 37.399.830 1.354.785 0 0 9.899.853 936.803 5.662.433 0 19.545.956 99,98 2010 76.099.842 1.730.175 0 0 8849.172 1.664.641 6.959.693 57 56.896.161 267,27 2011 109.822.312 2.288.026 0 0 10.570.288 1.747.610 9.785.753 548 85.430.635 452,54 2012 109.646.493 2.161.892 0 0 12.750.573 2.907.359 11.440.222 43 80.386.447 428,85 2013 70.229.968 2.082.166 8 0 16.017.691 2.745.317 8.390.982 204 40.993.804 148,80 2014 68.059.573 1.931.247 106.446 846 19.534.913 1.840.918 8.406.800 36 36.238.403 124,08 2015 146.599.524 7.595.552 5.805.188 1.421.110 21.887.261 3.584.956 6.862.639 59 99.442.818 306,79 2016 139.559.788 9.945.702 13.157.888 5.011.514 22.776.897 2.414.068 7.755.376 229 78.498.343 331,97 2017 133.645.365 7.679.170 14.174.335 5.643.054 27.242.929 1.653.391 10.529.241 36 66.723.245 355,48 2018 140.353.394 6.464.513 16.687.955 6.239.849 29.476.458 1.075.197 4.192.697 2 76.216.725 379,21 2019 127.218.126 4.479.075 16.233.562 6.416.426 30.214.133 801.065 3.141.629 0 65.932.236 341,84 2020 166.038.130 6.891.267 21.709.728 7.647.996 42.668.610 1.227.367 3.839.444 0 82.053.718 470,15 2021 192.986.484 8.049.012 26.373.129 7.150.932 46.617.163 951.513 3.497.521 0 100.347.214 548,36 2022 194.546.173 11.663.184 20.904.240 7.597.398 37.484.750 1.257.237 4.176.616 2 111.462.748 548,08 2023 167.515.924 9.670.564 17.109.376 8.173.095 30.770.496 1.160.840 5.229.081 1 95.402.472 475,58 Total 1.927.074.300 85.526.307 152.261.855 55.302.220 379.475.071 27.051.632 106.173.717 1.384 1.121.283.498 5.351,33 Taula 1. Resum anual del volum de logs processats (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 36 LOGS DESCARTATS Aquests són els resultats dels logs descartats (vegeu la Taula 2): • Percentatge de logs descartats respecte al total: ~58% (1.121.283.498 de 1.927.074.300) • Principals motius de descart: o Robots i aranyes: 819.288.866 logs o Codi d'estat: 229.558.458 logs o Doble clic: 72.436.174 logs Els filtres de robots i aranyes són responsables del 73% dels logs descartats, mentre que els descartats per codi d'estat representen el 20,5%, i els per doble clic, el 6,5%. Any Nombre total de logs Descartats pel codi d'estat Descartats pel doble click Descartats per ser robots i aranyes Total de COUNTER Metrics descartats 2006 1.553.613 37.119 115.351 1.063.895 1.216.365 2007 15.052.731 97.559 5.236.868 3.284.689 8.619.116 2008 30.747.030 265.060 4.164.957 11.447.075 15.877.092 2009 37.399.830 999.292 4.281.802 14.264.862 19.545.956 2010 76.099.842 1.381.773 4.765.246 5.0749.142 56.896.161 2011 109.822.312 1.148.843 4.660.732 79.621.060 85.430.635 2012 109.646.493 1.801.507 5.143.889 73.441.051 80.386.447 2013 70.229.968 2.592.750 2.049.124 36.351.930 40.993.804 2014 68.059.573 6.866.363 2.144.374 27.227.666 36.238.403 2015 146.599.524 27.977.586 4.640.048 66.825.184 99.442.818 2016 139.559.788 28.658.175 2.803.157 47.037.011 78.498.343 2017 133.645.365 19.018.903 3.297.237 44.407.105 66.723.245 2018 140.353.394 17.296.816 4.631.893 54.288.016 76.216.725 2019 127.218.126 15.449.194 3.050.371 47.432.671 65.932.236 2020 166.038.130 20.632.205 8.298.945 53.122.568 82.053.718 2021 192.986.484 30.730.799 4.479.636 65.136.779 100.347.214 2022 194.546.173 27.190.437 4.402.301 79.870.010 111.462.748 2023 167.515.924 27.414.077 4.270.243 63.718.152 95.402.472 Total 1.927.074.300 229.558.458 72.436.174 819.288.866 1.121.283.498 Taula 2. Distribució anual de logs descartats segons el tipus de filtre de COUNTER Metrics aplicat (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 37 ROBOTS I ARANYES Aquests són els resultats dels logs de robots i aranyes (vegeu la Taula 3): • Total logs generats per robots i aranyes: 819.288.866 • Principals motors de cerca implicats: o Google: 234.755.026 logs (28,7%) o Bing: 151.049.508 logs (18,4%) o Baidu: 45.155.460 logs (5,5%) • Anys amb més activitat de robots i aranyes: o 2022 (79.870.010 logs) o 2011 (79.621.060 logs) Any Nombre total de logs Google Bing Baidu Yahoo Yandex Total descartats per ser robots i aranyes 2006 1.553.613 872.449 0 0 36.958 0 1.063.895 2007 15.052.731 2.436.462 0 13 231.913 0 3.284.689 2008 30.747.030 7.890.384 0 1.067 643.843 80 11.447.075 2009 37.399.830 3.310.580 0 8.461 934.386 11.581 14.264.862 2010 76.099.842 19.695.910 201.518 28.477 2.757.000 290.337 5.0749.142 2011 109.822.312 26.707.706 1.204.030 118.402 2.799.509 980.744 79.621.060 2012 109.646.493 19.261.647 2.176.120 363.693 114.597 1.273.401 73.441.051 2013 70.229.968 18.037.181 4.320.134 4.519.804 27.821 642.069 36.351.930 2014 68.059.573 9.875.859 6.577.480 2.085.626 1.469.909 996.025 27.227.666 2015 146.599.524 27.992.166 8.893.621 8.643.853 14.839.516 1.588.121 66.825.184 2016 139.559.788 13.382.971 11.500.087 4.072.174 7.675.603 2.572.713 47.037.011 2017 133.645.365 12.686.790 16.151.458 91.837 3.007.986 3.687.102 44.407.105 2018 140.353.394 17.018.665 18.316.774 1.661.585 627.862 5.631.864 54.288.016 2019 127.218.126 9.109.236 16.522.478 1.292.272 1.847 1.222.341 47.432.671 2020 166.038.130 9.210.169 10.578.359 2.929.478 17.021 1.180.680 53.122.568 2021 192.986.484 11.562.066 21.116.839 9.634.715 6.196 2.001.042 65.136.779 2022 194.546.173 11.210.549 19.981.209 6.919.669 9.338 2.464.989 79.870.010 2023 167.515.924 14.494.236 13.509.401 2.784.334 107.675 3.510.569 63.718.152 Total 1.927.074.300 234.755.026 151.049.508 45.155.460 35.308.980 28.053.658 819.288.866 Taula 3. Logs generats per robots i aranyes classificats per motor de cerca (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 38 DURACIÓ DE L’ABOCAMENT • Duració total: 5.351,33 minuts (~89 hores) • Mitjana per any: ~297 minuts • Els anys amb més durada són aquells amb més volum de logs processats: 2022 (548,08 minuts) i 2021 (548,36 minuts). El temps total d’abocament ha augmentat de 1.977 minuts (33 hores) en el projecte inicial a 5.351 minuts (89 hores). Aquest increment és conseqüència de les millores implementades, com l’aplicació de filtres rigorosos de COUNTER Metrics, que afegeixen complexitat en la detecció de robots, doble clic i codis d’estat específics, així com l’enriquiment dels logs amb metadades mitjançant MongoDB. Aquest increment en el temps de processament constitueix el cost necessari per disposar d’un sistema que ofereix dades més fiables, compleix estàndards internacionals i permet una anàlisi més detallada. Això assegura que el projecte assoleixi els seus objectius de qualitat i valor afegit, malgrat el temps més gran de processament. En el Capítol 4 es presenta una anàlisi més exhaustiva d’aquestes dades, destacant els beneficis i implicacions d’aquestes millores en el processament i la qualitat dels resultats obtinguts. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 39 2.2.4 PROCÉS D’ABOCAMENT DE LES METADADES El procés d’abocament de les metadades té com a objectiu migrar la informació emmagatzemada en un sistema d’arxius a MongoDB. Aquest pas és fonamental per assegurar que, en el procés posterior d’abocament dels logs, aquests es puguin enriquir amb les metadades necessàries per a la seva anàlisi i consulta a Grafana Loki. Les metadades es trobaven inicialment al directori /mnt/working/metadata, organitzades en fitxers JSON (.json). Cada fitxer contenia un lot (batch) amb les metadades de fins a 1.000 recursos, agrupats per facilitar el processament i minimitzar la sobrecàrrega en el sistema d’emmagatzematge. ESTADÍSTIQUES La Taula 4 mostra els resultats de l’abocament de les metadades al sistema de bases de dades MongoDB. En total, s’han processat 242.555 registres de metadades, amb una durada total del procés de 13,24 segons (vegeu la Taula 4). /mnt/working/metadata → MongoDB Nombre total de metadades Duració de l’abocament (segons) Total 242.555 13.24 Taula 4. Resultat de l’abocament de les metadades a MongoDB (Font: Elaboració pròpia) Les optimitzacions implementades han permès reduir significativament el temps d’execució. Comparant els resultats amb la versió inicial, s’observa una millora substancial: la durada del procés ha passat de 38,21 segons en la versió inicial a 13,24 segons en la versió optimitzada. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 46 USUARIS DEFINITS Per garantir una gestió eficient dels recursos, s'han creat els següents usuaris amb rols específics: • Usuari predeterminat (admin): Aquest usuari té el rol Organization administrator per defecte. Té accés complet a tots els recursos, incloent-hi dashboards, usuaris i configuracions globals. És obligatori canviar la contrasenya predeterminada durant el primer inici de sessió per motius de seguretat. • Usuari 1 (usuari1): Assignat al rol Editor. Aquest usuari pot: o Afegir, editar i eliminar dashboards i carpetes. o Crear i gestionar playlists i panels de biblioteca. o Veure i gestionar anotacions i explorar dades amb Explore. • Usuari 2 (usuari2): Assignat al rol Viewer. Aquest usuari pot: o Veure dashboards, playlists i anotacions. o Consultar fonts de dades directament, però no modificar-ne la configuració. OBSERVACIONS La combinació de la desactivació de l'accés anònim i la segmentació d'usuaris garanteix un entorn ben protegit i organitzat. Només els usuaris amb els permisos adequats poden realitzar accions específiques, com la configuració de fonts de dades o la gestió d'usuaris i equips, mentre que altres rols es limiten a la visualització o edició de recursos segons el seu nivell d'accés. Aquesta estructura assegura la seguretat dels recursos i facilita la gestió dels mateixos dins de Grafana. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 47 4. ANÀLISI I VISUALITZACIÓ DE LES DADES Un cop finalitzats els processos d’emmagatzematge de les dades, es procedeix a la seva anàlisi, interpretació i representació visual. Aquesta etapa és essencial per extreure conclusions útils i comprensibles a partir de les dades processades i constitueix una de les funcionalitats principals de l’eina desenvolupada. Per demostrar les capacitats de l’eina, s’han dissenyat diversos casos d’ús representatius que serveixen com a exemples pràctics d’aplicació del sistema. Aquests casos d’ús aborden escenaris d’interès específics relacionats amb l’accés i l’ús dels recursos d’UPCommons, posant en evidència el potencial analític i visual de la solució implementada. La informació per a l’anàlisi es basa en dues fonts principals: 1. Un conjunt de dades (dataset) en format JSON, que conté els resultats obtinguts durant el procés d’abocament de dades. 2. Loki, que emmagatzema els logs enriquits amb metadades associades als recursos de la plataforma UPCommons. Pel que fa a la representació gràfica dels resultats dels casos d’ús, així com a la presentació de les conclusions obtingudes, s’han utilitzat diferents eines depenent de la font: • Per al dataset JSON, s’han desenvolupat scripts específics amb Python per generar gràfics personalitzats, ajustats a les necessitats dels casos d’ús. • Per a Loki, s’ha fet ús de l’entorn de visualització Grafana, que permet crear taulers interactius i visualitzacions personalitzades, millorant l’exploració de les dades i permetent identificar patrons rellevants de manera eficient. Aquest enfocament combinat assegura que cada font de dades es tracti amb les eines més adequades, maximitzant l’eficiència i la claredat en la presentació dels resultats. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 48 4.1 RESULTATS OBTINGUTS DURANT EL PROCÉS D’ABOCAMENT DE DADES Aquests gràfics s’han generat a partir del dataset JSON representat a les taules del Capítol 2. A partir d’aquestes dades, s’ha realitzat una selecció dels elements més rellevants per a l’anàlisi, amb l’objectiu de reflectir tendències i comportaments significatius. 4.1.1 EVOLUCIÓ DEL VOLUM DE LOGS PER TIPUS Aquest gràfic analitza l’evolució temporal dels logs processats, descartats i generats per robots (vegeu la Figura 7). Figura 7. Evolució del volum de logs per tipus (Font: Elaboració pròpia) ANÀLISI • El volum total de logs processats ha augmentat de forma significativa entre el 2006 i el 2023, amb algunes caigudes (especialment el 2013-2014). • Els logs descartats (taronja i blau) i aquells per robots (blau) segueixen tendències semblants al volum total, però també mostren fluctuacions significatives. • Les caigudes (2013-2014) poden indicar una millora en les eines de filtratge o un canvi en les estratègies per gestionar trànsit robotitzat. • L’increment des del 2017 pot correspondre a un creixement en l’ús de serveis digitals i consultes automatitzades (IA, bots). Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 49 4.1.2 DISTRIBUCIÓ DELS LOGS DESCARTATS SEGONS EL TIPUS DE FILTRE El gràfic de sectors detalla la proporció de logs descartats per cada tipus de filtre de COUNTER Metrics (vegeu la Figura 8). Figura 8. Distribució dels logs descartats segons el tipus de filtre (Font: Elaboració pròpia) ANÀLISI • Els robots i aranyes representen el 73% dels logs descartats, sent la causa principal d’eliminació. • Els errors de codi d’estat (20,5%) indiquen una altra font significativa de descart. • Els dobles clics només representen un 6,5%, sent aquesta la categoria que té menor impacte. • L’alt volum de robots i aranyes és degut a motors de cerca indexant el contingut del lloc web. • Els errors de codi d’estat poden ser indicadors de problemes en l’estructura del web o de peticions mal configurades. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 50 4.1.3 PERCENTATGE ANUAL DE LOGS DESCARTATS Aquest gràfic mostra el percentatge descartat de logs amb els filtres de COUNTER Metrics (vegeu la Figura 9). Figura 9. Percentatge anual de logs descartats (Font: Elaboració pròpia) ANÀLISI • El percentatge de logs descartats varia entre un mínim del 50% i un màxim del 80%, amb fluctuacions al llarg dels anys. • Els pics del 2006, 2010 i 2015 mostren moments en què els filtres van descartar una major proporció de trànsit. • El pic del 2015 coincideix amb una actualització important a UPCommons. Aquesta actualització pot haver comportat millores en el sistema que van afavorir una reducció posterior del trànsit no rellevant. • Les variacions pot ser atribuït també a augments puntuals de trànsit no rellevant. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 51 4.1.4 IMPACTE DE MOTORS DE CERCA I BOTS GENÈRICS El gràfic de barres destaca el paper predominant dels motors de cerca en la generació de logs (vegeu la Figura 10). Figura 10. Impacte de motors de cerca i bots genèrics (Font: Elaboració pròpia) ANÀLISI • Google i Bing genèrics tenen l’impacte més gran, amb 250 i 150 milions de logs, respectivament. • Motors com Baidu tenen un impacte menor però encara significatiu. • Yahoo i Yandex, tot i ser menys rellevants, representen volums substancials en comparació amb altres motors. • Google lidera l’activitat automatitzada, destacant la seva presència en la indexació de contingut. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 52 4.1.5 COMPARACIÓ ENTRE LOGS D’USUARIS I ROBOTS Aquest gràfic compara el volum de logs generats per usuaris humans amb els atribuïts a robots (vegeu la Figura 11). Figura 11. Comparació entre logs d’usuaris i robots (Font: Elaboració pròpia) ANÀLISI • Els logs generats per robots han superat consistentment els logs d’usuaris durant la majoria d’anys. • Tot i que en termes absoluts els logs de robots mostren un augment significatiu en alguns anys (com el 2022), a partir del 2019 hi ha una disminució proporcional del volum de logs de robots en relació amb el total de logs. • Aquesta disminució proporcional pot ser deguda a la implementació de mesures de seguretat més eficients, que redueixen la proporció d’accés per part de robots en comparació amb els usuaris humans. • El creixement dels logs d’usuaris és més estable i pot reflectir un ús més gran dels serveis per part de la comunitat. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 53 4.1.6 RELACIÓ ENTRE LOGS PROCESSATS I DESCARTATS La gràfica de dispersió mostra una correlació positiva entre els logs processats i els descartats amb els filtres de COUNTER Metrics (vegeu la Figura 12). Figura 12. Relació entre logs processats i descartats (Font: Elaboració pròpia) ANÀLISI • Hi ha una correlació positiva clara entre l’augment dels logs processats i els descartats. • Aquesta relació lineal mostra que el trànsit no legítim augmenta proporcionalment al trànsit total. • Un increment del trànsit, encara que positiu, podria implicar un augment proporcional en el consum de recursos per gestionar trànsit no útil. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 54 4.1.7 RESPECTE A LES DIRECTRIUS DE NO INDEXACIÓ PER PART DELS ROBOTS El fitxer robots.txt d’UPCommons defineix explícitament una llista de robots que tenen prohibit accedir al sistema per evitar activitats no desitjades o potencialment perjudicials. A continuació, es presenta la llista completa de robots bloquejats segons el fitxer: • AhrefsBot • DataForSeoBot • DOC • Download Ninja • fast • Fetch • grub-client • HTTrack • k2spider • larbin • libwww • linko • Mediapartners-Google* • Microsoft.URL.Control • MSIECrawler • NPBot • Offline Explorer • PetalBot • sitecheck.internetseer.com • SiteSnagger • Teleport • TeleportPro • UbiCrawler • WebCopier • WebReaper • WebStripper • WebZIP • Xenu • Zao • Zealbot • ZyBORG Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 55 Figura 13. Respecte a les directrius de no indexació per part dels robots el desembre del 2023 (Font: Elaboració pròpia) ANÀLISI Malgrat el bloqueig establert al fitxer robots.txt, diversos robots continuen accedint al sistema. A continuació, es detalla el comportament observat durant el mes de desembre de 2023 (vegeu la Figura 13): • Fetch: 31.041 • libwww: 5.301 • DOC: 1.559 • PetalBot: 409 • fast: 25 • AhrefsBot: 22 • HTTrack: 15 • Xenu: 4 • Mediapartners-Google: 3 • DataForSeoBot: 2 • grub-client: 2 • WebCopier: 2 • WebZIP: 2 • MSIECrawler: 1 Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 62 PRINCIPALS REFERIDORS EXTERNS Figura 17. Distribució del trànsit extern cap a UPCommons durant el desembre del 2023 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 63 ANÀLISI Si finalment excloem tant els accessos sense referidor com tot el trànsit intern, els resultats posen en relleu els principals dominis de fora del mateix UPCommons (vegeu la Figura 17): • Google (61%) Continua sent la font externa predominant, fet que reforça la rellevància de les cerques orgàniques i la importància d’un bon SEO. • Altres portals UPC (11% i 9%) o apren.upc.edu (11%) o futur.upc.edu (9%) Ambdós consoliden la implicació dels diferents entorns institucionals de la Universitat Politècnica de Catalunya en la derivació de trànsit cap al repositori. • Google Scholar (4%) scholar.google.com i scholar.google.es confirmen la visibilitat acadèmica a l’àmbit internacional i regional. • Resta de referidors (fins al 2–3%) Apareixen cercadors com Bing i plataformes de descobriment o indexació (discovery.upc.edu, hdl.handle.net). S’hi detecta també trànsit des de dominis de Google regionalitzats (com google.com.mx o google.es) i xarxes socials com Xiaohongshu (2%). Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 64 4.2.2 TRÀNSIT PROCEDENT DE LA UPC AGRUPAT PELS PRINCIPALS DOMINIS Aquest apartat se centra a identificar i analitzar la procedència del trànsit que arriba a UPCommons des de dominis de la Universitat Politècnica de Catalunya (UPC). L’objectiu és conèixer quines plataformes o portals institucionals generen més visites i com aquesta aportació de trànsit ha anat variant al llarg del temps, la qual cosa contribueix a entendre millor el grau d’implicació interna en l’ús d’UPCommons. CONSULTA Mitjançant la següent consulta, s’han obtingut les dades necessàries: sum by(referer) (count_over_time({referer=~".*upc.edu"} [$__auto])) Figura 18. Distribució del trànsit procedent de la UPC agrupat pels principals dominis al llarg del 2023 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 65 Figura 19. Evolució del trànsit procedent de la UPC agrupat per domini al llarg del 2023 (Font: Elaboració pròpia) ANÀLISI Els resultats permeten observar quines àrees de la UPC deriven més usuaris cap a UPCommons i com aquesta tendència varia al llarg de l’any. • Distribució per dominis (vegeu la Figura 18) o apren.upc.edu (55%): És la principal font de trànsit intern, perquè inclou cursos i materials que enllacen directament a continguts del repositori. o futur.upc.edu (32%): També genera un volum important de visites, associades a la consulta de treballs acadèmics i informes de recerca. o discovery.upc.edu (9%): La plataforma de descoberta bibliogràfica de la UPC canalitza una part rellevant de cerques i referències cap a UPCommons. o atenea.upc.edu (1%) i sso.upc.edu (1%): Tot i que representen percentatges menors, es tracta de portals clau per a l’accés a recursos formatius i l’autenticació dels usuaris. o bibliotecnica.upc.edu (1%) i drac.upc.edu (1%): Els serveis bibliotecaris i de recerca aporten un flux constant d’usuaris al repositori. o ebooks.upc.edu (0%): Tot i inactiva, va registrar 931 usuaris. • Evolució temporal (vegeu la Figura 19) o Al gràfic d’evolució s’observen pics puntuals de trànsit que coincideixen amb: ▪ Períodes d’exàmens, quan tant el professorat com l’alumnat consulten continguts, projectes o referències addicionals. o I d’altres que poden coincidir amb: ▪ Llançaments acadèmics (per exemple, publicació de nous materials, actes o informes en el repositori). ▪ Canvis en la configuració de les plataformes, que poden activar processos de reindexació o redireccions. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 66 4.2.3 TRÀNSIT PROCEDENT DELS PRINCIPALS MOTORS DE RECERCA En aquest apartat s’analitza, d’una banda, el volum de visites “reals” que arriben a UPCommons des dels principals motors de cerca al llarg del 2023 i, de l’altra, la càrrega de rastreig (aranyes web) que aquests mateixos cercadors generen. L’objectiu és entendre fins a quin punt el cost de recursos invertits en la indexació es tradueix en trànsit humà i, en conseqüència, avaluar la conveniència de mantenir o limitar l’accés a determinats bots. Aquesta anàlisi pot guiar la presa de decisions de cara a millorar la visibilitat d’UPCommons en l'àmbit global sense comprometre’n el rendiment. CONSULTA Mitjançant la següent consulta, s’han obtingut les dades necessàries: sum by (referer) (count_over_time({referer=~"(www.google.com|www.bing.com|yandex.com|www.baidu. com|www.petalsearch.com)"}[$__auto])) Figura 20. Distribució del trànsit procedent dels principals motors de recerca al llarg del 2023 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 67 ANÀLISI Les xifres de la gràfica mostren el volum de visites reals que reben els continguts d’UPCommons des dels principals motors de cerca al llarg de 2023 (vegeu la Figura 20): • Google (97%) Més de 6 milions de visites d’usuaris reals, fet que el consolida com a principal proveïdor de trànsit orgànic. • Bing (3%) Aproximadament 198.000 visites. Tot i ser clarament inferior a Google, no es pot menysprear, ja que constitueix la segona font de trànsit des de cercadors. • Yandex, Baidu i Petal Search (≤1%) Aquests cercadors mostren una presència testimonial en l’accés humà a UPCommons. Per contra, la càrrega de rastreig (aranyes web) dels mateixos motors al llarg de 2023 és la següent: • Google: 14.494.236 logs • Bing: 13.509.401 logs • Yandex: 3.510.569 logs • Baidu: 2.784.334 logs • Petal Search: 292.209 logs La diferència entre el trànsit humà i la càrrega de rastreig posa en relleu un aspecte clau: • Google consumeix molts recursos d’indexació, però també és el motor que més visitants reals aporta (97%). • Bing rastreja gairebé tant com Google, però només aporta un 3% de les visites. • Yandex, Baidu i Petal Search duen a terme un rastreig notable en comparació amb el poc trànsit humà que proporcionen. En aquest sentit, és rellevant avaluar si interessa mantenir un nivell de rastreig elevat per a cercadors que aporten un volum reduït de visitants. De tota manera, si el repositori vol millorar la visibilitat en mercats concrets (p. ex., Rússia o la Xina), pot ser estratègic permetre un accés ampli als bots de Yandex o Baidu, encara que de moment suposin una quota mínima de trànsit orgànic. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 68 4.2.4 TRÀNSIT PROCEDENT DE MOTORS DE CERCA ACADÈMICS, XARXES ACADÈMIQUES I ENCICLOPÈDIES En aquest apartat s’avalua l’abast i la visibilitat d’UPCommons en l’àmbit de la recerca acadèmica i la difusió del coneixement. L’anàlisi se centra en plataformes com Google Scholar, xarxes acadèmiques de gran difusió (ResearchGate, Academia.edu), enciclopèdies en línia (Wikipedia en diverses llengües) i repositoris d’accés obert (CORE, OpenAIRE, Recolecta). Aquests canals constitueixen punts estratègics per donar a conèixer els continguts d’UPCommons, ja sigui en l’àmbit investigador, docent o divulgatiu. CONSULTA Mitjançant la següent consulta, s’han obtingut les dades necessàries: sum by (referer) (count_over_time({service_name="logupcommons",referer=~"(scholar.google.com|scholar.google.es|www.researchgate.net| www.academia.edu|es.wikipedia.org|ca.wikipedia.org|en.wikipedia.org|recolecta.fecyt.e s|explore.openaire.eu|core.ac.uk)"}[$__auto])) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 69 Figura 21. Distribució del trànsit procedent de motors de cerca acadèmics, xarxes acadèmiques i enciclopèdies al llarg del 2023 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 70 ANÀLISI Els resultats mostren que Google Scholar (en les seves versions .es i .com) aporta pràcticament tot el trànsit provinent d’aquest grup de referidors (vegeu la Figura 21): • scholar.google.es (58%) Amb gairebé 492.000 visites, es consolida com la principal font d’accés acadèmic a UPCommons. • scholar.google.com (41%) S’hi aproxima força, amb 348.000 visites, confirmant la importància de Google Scholar a escala global. La resta de referidors tenen un pes testimonial en el còmput global, però resulten rellevants per entendre la visibilitat d’UPCommons en altres entorns acadèmics (vegeu la Figura 21): • Xarxes acadèmiques ResearchGate (1.981 visites) i Academia.edu (183 visites). Tot i que la seva aportació és minsa, ajuden a difondre publicacions a públics especialitzats. • Enciclopèdies Wikipedia en les seves diferents versions lingüístiques (es, ca, en) suma pocs centenars de visites (entre 1.200 i 1.600 cadascuna). Malgrat això, qualsevol article que citi UPCommons contribueix a una major difusió dels continguts del repositori. • Repositoris i iniciatives d’accés obert CORE (237 visites), OpenAIRE (101 visites) i Recolecta (7 visites). Si bé el seu volum és baix, són plataformes centrades en la difusió de recerca en obert, cosa que reforça la dimensió acadèmica i internacional d’UPCommons. En conjunt, l’anàlisi confirma el paper fonamental de Google Scholar en la projecció d’UPCommons dins la comunitat investigadora, així com la necessitat de mantenir una bona presència en altres xarxes acadèmiques i enciclopèdies per tal de garantir la màxima visibilitat i impacte dels continguts del repositori. Tot i la seva contribució modesta, aquestes plataformes poden continuar creixent en importància si es fomenta la presència i la referenciació d’UPCommons en els seus entorns. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 71 4.2.5 TRÀNSIT AGRUPAT PER COL·LECCIÓ En aquest apartat s’examina com es distribueix el trànsit a UPCommons en funció del tipus de recurs consultat. Conèixer quines col·leccions atreuen més visites al llarg del 2023 és clau per entendre els interessos principals de la comunitat universitària i detectar oportunitats de millora quant a l’organització i la publicació de nous materials. A més, aquesta anàlisi facilita la planificació d’estratègies enfocades a incrementar la visibilitat dels recursos que mostren un major potencial d’impacte. CONSULTA Mitjançant la següent consulta, s’han obtingut les dades necessàries: sum by (type_recurs) (count_over_time({service_name="log-upcommons"}[$__auto])) Figura 22. Distribució del trànsit agrupat per col·lecció al llarg del 2023 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 78 AGRAÏMENTS En primer lloc, vull expressar el meu agraïment al meu director, Rafael Vidal Ferré, i al meu codirector, Daniel Guasch Murillo, per la seva constant ajuda, guia i assessorament durant el desenvolupament d'aquest projecte. La seva experiència i suport han estat fonamentals per assolir els objectius proposats. També vull agrair sincerament a Toni Prieto i Jordi Prats Prat els valuosos suggeriments i idees que han aportat, contribuint significativament a millorar diversos aspectes del projecte. La seva col·laboració ha estat essencial per enriquir aquest treball. Finalment, voldria agrair a totes aquelles persones que, d'una manera o altra, han col·laborat o han donat suport durant aquest camí, fent possible que aquest projecte esdevingui una realitat. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 79 BIBLIOGRAFIA 1. Common Log Format - Wikipedia. [En línia] https://en.wikipedia.org/wiki/Common_Log_Format. 2. Promtail agent | Grafana Loki documentation. [En línia] https://grafana.com/docs/loki/latest/send-data/promtail/. 3. Send log data to Loki | Grafana Loki documentation. [En línia] https://grafana.com/docs/loki/latest/send-data/. 4. Loki HTTP API | Grafana Loki documentation. [En línia] https://grafana.com/docs/loki/latest/reference/loki-http-api/. 5. devops-kb/python/push-to-loki.py at master · sleleko/devops-kb. [En línia] https://github.com/sleleko/devops-kb/blob/master/python/push-to-loki.py. 6. python-logging-loki · PyPI. [En línia] https://pypi.org/project/python-logging-loki/. 7. nextlog · PyPI. [En línia] https://pypi.org/project/nextlog/. 8. Label best practices | Grafana Loki documentation. [En línia] https://grafana.com/docs/loki/latest/get-started/labels/bp-labels/. 9. Understand labels | Grafana Loki documentation. [En línia] https://grafana.com/docs/loki/latest/get-started/labels/. 10. Home - COUNTER Metrics. [En línia] https://www.countermetrics.org/. 11. 7.1 HTTP Status Codes — COUNTER Code of Practice Release 5 5.1 documentation. [En línia] https://cop5.countermetrics.org/en/5.1/07-processing/01-httpstatus-codes.html. 12. 7.2 Double-Click Filtering — COUNTER Code of Practice Release 5 5.1 documentation. [En línia] https://cop5.countermetrics.org/en/5.1/07-processing/02double-click-filtering.html. 13. 7.8 Internet Robots and Crawlers — COUNTER Code of Practice Release 5 5.1 documentation. [En línia] https://cop5.countermetrics.org/en/5.1/07-processing/08internet-robots-and-crawlers.html. 14. gzip — Support for gzip files — Python 3.13.1 documentation. [En línia] https://docs.python.org/3/library/gzip.html. 15. Productionizing and scaling Python ML workloads simply | Ray. [En línia] https://www.ray.io/. 16. Single Store TSDB (tsdb) | Grafana Loki documentation. [En línia] https://grafana.com/docs/loki/latest/operations/storage/tsdb/. 17. MongoDB plugin for Grafana | Grafana Labs. [En línia] https://grafana.com/grafana/plugins/grafana-mongodb-datasource/. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 80 18. JSON plugin for Grafana | Grafana Labs. [En línia] https://grafana.com/grafana/plugins/simpod-json-datasource/. 19. Connection Strings - MongoDB Manual v8.0. [En línia] https://www.mongodb.com/docs/manual/reference/connection-string/. 20. Indexes - MongoDB Manual v8.0. [En línia] https://www.mongodb.com/docs/manual/indexes/. 21. Bulk Write Operations - MongoDB Manual v8.0. [En línia] https://www.mongodb.com/docs/manual/core/bulk-write-operations/. 22. glob — Unix style pathname pattern expansion — Python 3.13.1 documentation. [En línia] https://docs.python.org/3/library/glob.html. 23. Run Grafana Docker image | Grafana documentation. [En línia] https://grafana.com/docs/grafana/latest/setup-grafana/installation/docker/. 24. Install Loki with Docker or Docker Compose | Grafana Loki documentation. [En línia] https://grafana.com/docs/loki/latest/setup/install/docker/. 25. Default MongoDB Port - MongoDB Manual v8.0. [En línia] https://www.mongodb.com/docs/manual/reference/default-mongodb-port/. 26. Networking | Docker Docs. [En línia] https://docs.docker.com/compose/howtos/networking/. 27. netfilter/iptables project homepage - The netfilter.org "nftables" project. [En línia] https://netfilter.org/projects/nftables/. 28. Welcome to F5 NGINX. [En línia] https://www.f5.com/go/product/welcome-to-nginx. 29. Run Grafana behind a reverse proxy | Grafana Labs. [En línia] https://grafana.com/tutorials/run-grafana-behind-a-proxy/. 30. Configuring HTTPS servers. [En línia] https://nginx.org/en/docs/http/configuring_https_servers.html. 31. Roles and permissions | Grafana documentation. [En línia] https://grafana.com/docs/grafana/latest/administration/roles-and-permissions/. 32. Overview of OpenAI Crawlers - OpenAI API. [En línia] https://platform.openai.com/docs/bots. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 81 ANNEX Els annexos d’aquest document proporcionen informació detallada sobre els resultats del processament i l’anàlisi dels registres d’accés al repositori UPCommons. Aquesta informació complementa l’anàlisi presentada en els capítols anteriors, i ofereix dades completes i estructurades que permeten una visió més profunda del comportament del sistema i dels usuaris. • Annex 1. Codi font, posada en funcionament d’OSTIA i configuració de Grafana Inclou l’URL del repositori GitHub on es troba el codi font utilitzat, així com una guia per executar-lo i posar en marxa el servidor. També descriu el procés d’instal·lació i configuració de Grafana, detallant-ne els requeriments i els passos necessaris per monitorar i analitzar les dades de manera òptima. • Annex 2. Resultat de l’abocament dels logs Presenta taules detallades amb el volum de registres processats anualment entre 2006 i 2023, classificades per diversos criteris (tipus d’accés, registres descartats segons les mètriques COUNTER i activitat generada per bots i aranyes). Això permet aprofundir en la qualitat dels registres i en l’evolució de l’ús del repositori al llarg dels anys. • Annex 3. Anàlisi de trànsit agrupat per domini, col·lecció i idioma Mostra les dades completes de trànsit generades durant el 2023, organitzades en tres categories: domini, col·lecció i idioma. Aquest annex permet identificar patrons i comportaments específics en l’accés als recursos d’UPCommons, contribuint a una anàlisi més detallada de l’activitat del repositori. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 82 ANNEX 1. CODI FONT, POSADA EN FUNCIONAMENT D’OSTIA I CONFIGURACIÓ DE GRAFANA A continuació s’explica el procés per accedir al codi font d’OSTIA, posar en marxa el servidor i configurar l’entorn necessari, incloent-hi la integració amb Grafana. REPOSITORI DEL CODI FONT El codi font d’OSTIA es troba disponible a GitHub sota llicència MIT: https://github.com/adrianrome/OSTIA Les instruccions de posada en funcionament es troben també al fitxer README del mateix repositori. REQUISITS DEL SISTEMA • Màquina Linux amb Docker instal·lat. • Python (versió 3.x) amb suport per a entorns virtuals (venv). • Docker Compose per gestionar els contenidors. GUIA DE POSADA EN FUNCIONAMENT Per posar en marxa OSTIA, segueix els passos següents: 1. Descarregueu el codi font • Cloneu el repositori git clone https://github.com/adrianrome/OSTIA • Accediu al directori docs (on s’ubiquen les instruccions i fitxers de configuració principals): cd OSTIA/docs 2. Creeu i activeu l’entorn virtual de Python • Creeu un entorn virtual python3 -m venv ./venv • Activeu l’entorn virtual source venv/bin/activate 3. Instal·leu les dependències • Un cop dins l’entorn virtual: pip install -r requirements.txt 4. Definiu les variables d’entorn generals • Assegureu-vos que encara esteu dins la carpeta docs. • Editeu el fitxer docs/.env_example, afegiu-hi les variables d’entorn (claus d’accés, configuracions de base de dades, etc.). • Elimineu els comentaris i reanomeneu el fitxer a.env. • Carregueu les variables: export $(xargs < .env) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 83 5. Definiu les variables de MongoDB • Desplaceu-vos al directori config: cd ../config • Editeu el fitxer config/mongo/mongo.env_example, afegiu-hi les variables d’entorn (claus d’accés) i elimineu els comentaris. • Reanomeneu el fitxer a mongo.env. 6. Poseu en marxa els serveis amb Docker Compose • Des del directori config, inicieu els serveis (incloent-hi Grafana): docker-compose up -d • Retorneu al directori principal: cd .. 7. Executeu els mòduls principals • Un cop els serveis estiguin en funcionament: python3 src/metadata/main.py python3 src/logs/main.py CONFIGURACIÓ DE GRAFANA Com que el fitxer docker-compose.yml inclou Grafana, aquest s’executarà automàticament juntament amb la resta de serveis. Per configurar-lo: 1. Accediu a Grafana • Per defecte, Grafana està configurat al port 3000 (http://localhost:3000). 2. Primera configuració • Inicieu sessió amb les credencials predeterminades (usuari: admin, contrasenya: admin). • Canvieu la contrasenya per defecte per motius de seguretat. 3. Obriu el menú de taulers (dashboards) • Feu clic a la icona de taulers al menú esquerre (apareix com a “Dashboards”). 4. Importeu el dashboard • Premeu el botó “Import” (apareix a la part superior dreta en el submenú de “New”). • Carregueu el fitxer .json directament: premeu el botó “Upload dashboard JSON file” i localitzeu els fitxers a src/dashboards. • Feu clic a “Import” per finalitzar el procés. Amb aquests passos, hauríeu de poder tenir OSTIA en marxa, monitorat i gestionat correctament a través de Grafana. Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 84 ANNEX 2. RESULTAT DE L’ABOCAMENT DELS LOGS Aquest annex mostra les taules amb el volum anual de registres processats (20062023), classificats pel tipus d’accés (pàgines de recurs, descàrregues, miniatures, etc.), els registres descartats segons les mètriques COUNTER i l’activitat de bots i aranyes (vegeu Taula 6 - Taula 59). Això ofereix una visió completa de l’abocament i del comportament del sistema. 2006 Nombre total de logs Accés a la pàgina del recurs Descàrrega del recurs Visualitzaci ó de la miniatura Accés a un recurs web descartat Cerca a la plataforma Altres tipus de logs Error de procesame nt COUNTER Metrics descartats Duració de l’abocament (minuts) 1 0 0 0 0 0 0 0 145 0 0,00 2 6.151 157 0 0 1.399 103 520 10 3.972 0,02 3 41.887 742 0 0 8.601 719 4.722 0 27.103 0,05 4 39.651 1.040 0 0 12.693 1.587 4.336 0 19.995 0,05 5 107.636 1.247 0 0 30.159 2.300 8.726 0 65.204 0,12 6 162.937 2.515 0 0 23.078 2.414 12.620 0 122.310 0,19 7 245.119 1.498 0 0 18.942 2.825 9.020 0 212.834 0,26 8 140.823 2.438 0 0 14.348 2.281 10.514 0 111.242 0,15 9 134.719 2.573 0 0 22.384 2.968 12.136 0 94.658 0,15 10 148.504 1.974 0 0 23.570 2.494 9.464 0 111.002 0,16 11 235.709 2.147 0 0 27.082 2.892 9.873 0 193.715 0,24 12 290.477 1.363 0 0 23.005 2.228 9.551 0 254.330 0,29 Total 1.553.613 17.694 0 0 205.261 22.811 91.482 155 1.216.365 1,68 Taula 6. Resum mensual del volum de logs processats el 2006 (Font: Elaboració pròpia) 2006 Nombre total de logs Descartats pel codi d'estat Descartats pel doble click Descartats per ser robots i aranyes Total de COUNTER Metrics descartats 1 0 0 0 0 0 2 6.151 69 3.189 714 3.972 3 41.887 1.411 5.818 19.874 27.103 4 39.651 469 9.041 10.485 19.995 5 107.636 1.032 22.057 42.115 65.204 6 162.937 1.371 14.210 106.729 122.310 7 245.119 6.322 10.679 195.833 212.834 8 140.823 6.820 5.851 98.571 111.242 9 134.719 5.086 10.416 79.156 94.658 10 148.504 5.400 10.373 95.229 111.002 11 235.709 4.594 12.708 176.413 193.715 12 290.477 4.545 11.009 238.776 254.330 Total 1.553.613 37.119 115.351 1.063.895 1.216.365 Taula 7. Distribució mensual de logs descartats segons el tipus de filtre de COUNTER Metrics aplicat el 2006 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 85 2006 Nombre total de logs Google Sogou FAST Yahoo Teoma Total descartats per ser robots i aranyes 1 0 0 0 0 0 0 0 2 6.151 704 0 0 10 0 714 3 41.887 19.654 0 2 79 1 19.874 4 39.651 8.607 0 0 55 0 10.485 5 107.636 33.197 5.845 0 239 0 42.115 6 162.937 10.0163 0 0 380 0 106.729 7 245.119 189.014 0 2 5.204 0 195.833 8 140.823 91.346 0 5 5.407 0 98.571 9 134.719 53.225 0 0 5.757 0 79.156 10 148.504 60.136 25.253 1 6.898 0 95.229 11 235.709 122.600 20.204 22.576 4.845 0 176.413 12 290.477 193.803 17.719 18.385 8.084 0 238.776 Total 1.553.613 872.449 69.021 40.971 36.958 1 1.063.895 Taula 8. Logs generats per robots i aranyes classificats per motor de cerca el 2006 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 86 2007 Nombre total de logs Accés a la pàgina del recurs Descàrrega del recurs Visualitzaci ó de la miniatura Accés a un recurs web descartat Cerca a la plataforma Altres tipus de logs Error de procesame nt COUNTER Metrics descartats Duració de l’abocament (minuts) 1 314.593 1.795 0 0 33.188 2.984 14.301 0 262.325 0,34 2 182.049 1.920 0 0 33.373 3.715 16.290 0 126.751 0,21 3 264.262 2.423 0 0 39.611 4.733 20.089 0 197.406 0,29 4 558.605 7.811 0 0 112.992 6.886 70.886 0 360.030 0,70 5 899.409 20.605 0 0 212.760 16.695 157.736 0 491.611 1,23 6 1.559.917 49.972 0 0 424.189 36.128 173.102 0 876.526 2,01 7 1.660.375 47.978 0 0 393.770 34.289 173.982 0 1.010.356 2,07 8 1.204.616 32.250 0 0 281.453 22.609 141.104 0 727.120 1,51 9 1.579.829 51.414 0 0 456.675 33.999 210.587 0 827.154 2,11 10 2.188.879 74.302 0 0 645.850 50.604 302.790 0 1.115.333 3,01 11 2.463.837 72.839 0 0 725.540 51.896 303.219 0 1.310.343 3,37 12 2.176.360 54.358 0 0 549.286 43.910 214.727 0 1.314.079 2,83 Total 15.052.731 417.667 0 0 3.908.687 308.448 1.798.813 0 8.619.116 19,68 Taula 9. Resum mensual del volum de logs processats el 2007 (Font: Elaboració pròpia) 2007 Nombre total de logs Descartats pel codi d'estat Descartats pel doble click Descartats per ser robots i aranyes Total de COUNTER Metrics descartats 1 314.593 4.715 16.014 241.596 262.325 2 182.049 3.098 18.082 105.571 126.751 3 264.262 3.010 19.453 174.943 197.406 4 558.605 4.049 52.656 303.325 360.030 5 899.409 8.417 179.959 303.237 491.611 6 1.559.917 11.180 520.755 344.591 876.526 7 1.660.375 8.986 642.009 359.361 1.010.356 8 1.204.616 6.114 432.200 288.886 727.120 9 1.579.829 8.465 624.663 194.026 827.154 10 2.188.879 11.028 912.933 191.372 1.115.333 11 2.463.837 15.249 985.752 309.342 1.310.343 12 2.176.360 13.248 832.392 468.439 1.314.079 Total 15.052.731 97.559 5.236.868 3.284.689 8.619.116 Taula 10. Distribució mensual de logs descartats segons el tipus de filtre de COUNTER Metrics aplicat el 2007 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 87 2007 Nombre total de logs Google Yahoo FAST Sogou Baidu Total descartats per ser robots i aranyes 1 314.593 192.445 4.169 20.546 12.493 3 241.596 2 182.049 71.041 2.660 5.113 17.195 0 105.571 3 264.262 107.772 2.438 15.930 37.560 0 174.943 4 558.605 229.516 11.913 17.827 15 0 303.325 5 899.409 221.456 19.823 3 0 0 303.237 6 1.559.917 236.212 39.275 16.750 0 0 344.591 7 1.660.375 282.999 44.755 9.667 0 0 359.361 8 1.204.616 159.593 29.753 2 1 0 288.886 9 1.579.829 141.430 17.071 17.085 0 10 194.026 10 2.188.879 145.720 16.289 4 0 0 191.372 11 2.463.837 260.069 19.737 1.179 3 0 309.342 12 2.176.360 388.209 24.031 4.908 69 0 468.439 Total 15.052.731 2.436.462 231.913 109.014 67.336 13 3.284.689 Taula 11. Logs generats per robots i aranyes classificats per motor de cerca el 2007 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 94 2011 Nombre total de logs Accés a la pàgina del recurs Descàrrega del recurs Visualitzaci ó de la miniatura Accés a un recurs web descartat Cerca a la plataforma Altres tipus de logs Error de procesame nt COUNTER Metrics descartats Duració de l’abocament (minuts) 1 8.963.177 214.079 0 0 730.862 140.063 580.417 0 7.297.756 43,95 2 9.152.164 204.115 0 0 874.192 143.179 686.392 0 7.244.286 34,65 3 9.853.979 216.776 0 0 1.029.900 188.172 798.089 0 7.621.042 34,70 4 7.686.950 267.850 0 0 891.506 153.311 774.265 0 5.600.018 28,68 5 7.728.985 407.406 0 0 1.054.184 164.288 938.455 0 5.164.652 25,44 6 7.898.194 131.516 0 0 830.554 133.394 787.950 0 6.014.780 29,97 7 9.493.800 119.193 0 0 684.407 118.063 632.618 98 7.939.519 41,30 8 8.811.476 87.302 0 0 574.603 95.714 640.354 130 7.413.503 38,28 9 9.258.791 151.506 0 0 932.610 138.933 893.141 154 7.142.601 34,14 10 10.933.899 158.882 0 0 1.101.247 160.437 1.070.915 164 8.442.418 45,55 11 10.283.359 178.774 0 0 1.071.988 175.267 1.153.066 2 7.704.264 49,38 12 9.757.538 150.627 0 0 794.235 136.789 830.091 0 7.845.796 46,50 Total 109.822.312 2.288.026 0 0 10.570.288 1.747.610 9.785.753 548 85.430.635 452,54 Taula 21. Resum mensual del volum de logs processats el 2011 (Font: Elaboració pròpia) 2011 Nombre total de logs Descartats pel codi d'estat Descartats pel doble click Descartats per ser robots i aranyes Total de COUNTER Metrics descartats 1 8.963.177 71.134 322.084 6.904.538 7.297.756 2 9.152.164 65.160 410.122 6.769.004 7.244.286 3 9.853.979 95.953 451.761 7.073.328 7.621.042 4 7.686.950 89.854 394.908 5.115.256 5.600.018 5 7.728.985 126.615 431.796 4.606.241 5.164.652 6 7.898.194 70.269 385.134 5.559.377 6.014.780 7 9.493.800 54.096 281.573 7.603.850 7.939.519 8 8.811.476 53.730 227.152 7.132.621 7.413.503 9 9.258.791 154.575 363.608 6.624.418 7.142.601 10 10.933.899 196.342 428.660 7.817.416 8.442.418 11 10.283.359 107.925 503.183 7.093.156 7.704.264 12 9.757.538 63.190 460.751 7.321.855 7.845.796 Total 109.822.312 1.148.843 4.660.732 79.621.060 85.430.635 Taula 22. Distribució mensual de logs descartats segons el tipus de filtre de COUNTER Metrics aplicat el 2011 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 95 2011 Nombre total de logs Google Yahoo Bing Yandex FAST Total descartats per ser robots i aranyes 1 8.963.177 1.971.515 269.271 136.478 76.220 34.235 6.904.538 2 9.152.164 2.590.212 262.316 120.265 83.885 9.525 6.769.004 3 9.853.979 3.100.715 295.338 148.766 97.801 1.623 7.073.328 4 7.686.950 2.133.131 289.113 97.256 121.111 10.148 5.115.256 5 7.728.985 1.574.706 286.214 51.702 95.883 10.358 4.606.241 6 7.898.194 1.999.538 276.462 122.206 78.758 6.896 5.559.377 7 9.493.800 2.538.551 298.507 96.898 101.840 37.028 7.603.850 8 8.811.476 2.240.131 283.558 70.816 46.714 31.237 7.132.621 9 9.258.791 1.946.098 271.146 60.098 48.947 21.019 6.624.418 10 10.933.899 2.281.128 243.198 100.431 46.700 2.604 7.817.416 11 10.283.359 2.248.834 10.494 89.815 117.900 2.395 7.093.156 12 9.757.538 2.083.147 13.892 146.594 64.985 18.392 7.321.855 Total 109.822.312 26.707.706 2.799.509 1.204.030 980.744 185.460 79.621.060 Taula 23. Logs generats per robots i aranyes classificats per motor de cerca el 2011 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 96 2012 Nombre total de logs Accés a la pàgina del recurs Descàrrega del recurs Visualitzaci ó de la miniatura Accés a un recurs web descartat Cerca a la plataforma Altres tipus de logs Error de procesame nt COUNTER Metrics descartats Duració de l’abocament (minuts) 1 10.789.498 171.474 0 0 873.235 164.478 909.396 1 8.670.915 51,79 2 8.901.057 198.104 0 0 998.756 179.586 1.020.684 16 6.503.927 36,82 3 10.603.453 273.619 0 0 1.049.180 199.738 1.162.239 24 7.918.677 41,07 4 9.107.910 196.745 0 0 940.179 161.140 1.026.902 0 6.782.944 36,43 5 9.770.557 192.473 0 0 1.123.551 241.647 1.213.843 0 6.999.043 33,12 6 9.217.403 156.643 0 0 1.014.576 251.269 979.973 0 6.814.942 35,02 7 6.642.985 135.976 0 0 947.707 242.622 739.857 0 4.576.823 23,52 8 8.015.445 107.994 0 0 777.821 177.183 715.753 0 6.236.694 32,60 9 8.107.355 144.375 0 0 1.133.674 224.833 856.006 0 5.748.467 27,72 10 10.390.175 209.575 0 0 1.436.805 437.355 1.099.346 2 7.207.094 37,11 11 9.483.438 189.281 0 0 1.401.882 430.741 1.039.943 0 6.421.591 35,90 12 8.617.217 185.633 0 0 1.053.207 196.767 676.280 0 6.505.330 37,75 Total 109.646.493 2.161.892 0 0 12.750.573 2.907.359 11.440.222 43 80.386.447 428,85 Taula 24. Resum mensual del volum de logs processats el 2012 (Font: Elaboració pròpia) 2011 Nombre total de logs Descartats pel codi d'estat Descartats pel doble click Descartats per ser robots i aranyes Total de COUNTER Metrics descartats 1 10.789.498 72.805 1.177.805 7.420.305 8.670.915 2 8.901.057 70.142 475.497 5.958.288 6.503.927 3 10.603.453 100.329 474.589 7.343.759 7.918.677 4 9.107.910 100.928 384.748 6.297.268 6.782.944 5 9.770.557 87.931 530.378 6.380.734 6.999.043 6 9.217.403 99.484 457.277 6.258.181 6.814.942 7 6.642.985 69.688 169.176 4.337.959 4.576.823 8 8.015.445 152.710 245.324 5.838.660 6.236.694 9 8.107.355 222.155 478.765 5.047.547 5.748.467 10 10.390.175 349.593 263.301 6.594.200 7.207.094 11 9.483.438 274.607 297.574 5.849.410 6.421.591 12 8.617.217 201.135 189.455 6.114.740 6.505.330 Total 109.646.493 1.801.507 5.143.889 73.441.051 80.386.447 Taula 25. Distribució mensual de logs descartats segons el tipus de filtre de COUNTER Metrics aplicat el 2012 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 97 2011 Nombre total de logs Google Bing Yandex FAST Baidu Total descartats per ser robots i aranyes 1 10.789.498 2.047.996 140.365 108.337 13.178 6.152 7.420.305 2 8.901.057 1.262.002 140.528 62.114 11.837 6.018 5.958.288 3 10.603.453 1.941.452 143.157 164.691 43.944 7.110 7.343.759 4 9.107.910 2.001.370 168.501 156.920 62.077 5.972 6.297.268 5 9.770.557 2.089.804 175.010 201.820 24.045 7.248 6.380.734 6 9.217.403 1.873.447 130.503 70.095 11.980 6.838 6.258.181 7 6.642.985 375.635 171.296 64.045 44.493 5.960 4.337.959 8 8.015.445 1.707.220 147.914 57.370 51.921 7.034 5.838.660 9 8.107.355 1.115.033 247.746 70.172 33.062 9.139 5.047.547 10 10.390.175 1.762.047 309.437 89.810 61.254 28.159 6.594.200 11 9.483.438 1.324.351 258.448 164.679 50.709 44.869 5.849.410 12 8.617.217 1.761.290 143.215 63.348 62.794 229.194 6.114.740 Total 109.646.493 19.261.647 2.176.120 1.273.401 471.294 363.693 73.441.051 Taula 26. Logs generats per robots i aranyes classificats per motor de cerca el 2012 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 98 2013 Nombre total de logs Accés a la pàgina del recurs Descàrrega del recurs Visualitzaci ó de la miniatura Accés a un recurs web descartat Cerca a la plataforma Altres tipus de logs Error de procesame nt COUNTER Metrics descartats Duració de l’abocament (minuts) 1 7.628.626 253.911 0 0 1.101.562 608.231 749.847 0 4.915.075 22,83 2 5.842.544 265.157 0 0 1.194.618 571.976 781.183 0 3.029.610 18,44 3 5.261.939 196.287 0 0 1.255.614 159.805 772.056 0 2.878.177 10,20 4 7.355.476 175.812 0 0 1.406.772 158.021 790.908 0 4.823.963 14,36 5 7.395.479 208.490 0 0 1.433.166 227.395 886.716 0 4.639.712 14,75 6 4.206.214 165.142 0 0 1.109.681 136.615 714.270 129 2.080.506 8,31 7 5.556.295 123.973 0 0 967.012 102.138 539.842 54 3.823.330 9,27 8 5.130.336 111.314 0 0 912.743 238.368 439.903 3 3.428.008 9,30 9 4.877.675 126.807 8 0 1.344.240 112.069 602.284 2 2.692.267 8,76 10 5.759.132 160.833 0 0 1.988.681 141.660 776.299 3 2.691.659 11,25 11 5.474.052 151.484 0 0 1.932.622 137.187 758.796 13 2.493.963 10,85 12 5.742.200 142.956 0 0 1.370.980 151.852 578.878 0 3.497.534 10,57 Total 70.229.968 2.082.166 8 0 16.017.691 2.745.317 8.390.982 204 40.993.804 148,80 Taula 27. Resum mensual del volum de logs processats el 2013 (Font: Elaboració pròpia) 2013 Nombre total de logs Descartats pel codi d'estat Descartats pel doble click Descartats per ser robots i aranyes Total de COUNTER Metrics descartats 1 7.628.626 130.125 191.079 4.593.871 4.915.075 2 5.842.544 95.142 211.793 2.722.675 3.029.610 3 5.261.939 133.250 208.036 2.536.891 2.878.177 4 7.355.476 114.789 198.741 4.510.433 4.823.963 5 7.395.479 140.948 258.758 4.240.006 4.639.712 6 4.206.214 133.345 204.347 1.742.814 2.080.506 7 5.556.295 644.027 152.015 3.027.288 3.823.330 8 5.130.336 162.912 76.404 3.188.692 3.428.008 9 4.877.675 434.347 133.552 2.124.368 2.692.267 10 5.759.132 222.450 159.756 2.309.453 2.691.659 11 5.474.052 190.474 156.207 2.147.282 2.493.963 12 5.742.200 190.941 98.436 3.208.157 3.497.534 Total 70.229.968 2.592.750 2.049.124 36.351.930 40.993.804 Taula 28. Distribució mensual de logs descartats segons el tipus de filtre de COUNTER Metrics aplicat el 2013 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 99 2013 Nombre total de logs Google Baidu Bing Yandex Blekko Total descartats per ser robots i aranyes 1 7.628.626 1.550.339 247.254 133.262 95.427 107.673 4.593.871 2 5.842.544 1.362.285 206.709 133.014 30.636 67.260 2.722.675 3 5.261.939 1.979.753 165.720 145.703 49.311 39.455 2.536.891 4 7.355.476 3.068.958 503.334 260.663 49.618 47.095 4.510.433 5 7.395.479 2.657.673 638.718 346.412 18.974 37.552 4.240.006 6 4.206.214 309.944 372.476 478.843 10.069 16.347 1.742.814 7 5.556.295 1.042.836 798.052 551.097 19.713 27.971 3.027.288 8 5.130.336 1.822.564 420.758 411.166 81.140 11.527 3.188.692 9 4.877.675 768.738 375.679 401.733 74.617 22.632 2.124.368 10 5.759.132 1.037.378 355.015 451.571 80.468 25.298 2.309.453 11 5.474.052 920.789 203.687 536.786 42.583 23.918 2.147.282 12 5.742.200 1.515.924 232.402 469.884 89.513 22.146 3.208.157 Total 70.229.968 18.037.181 4.519.804 4.320.134 642.069 448.874 36.351.930 Taula 29. Logs generats per robots i aranyes classificats per motor de cerca el 2013 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 100 2014 Nombre total de logs Accés a la pàgina del recurs Descàrrega del recurs Visualitzaci ó de la miniatura Accés a un recurs web descartat Cerca a la plataforma Altres tipus de logs Error de procesame nt COUNTER Metrics descartats Duració de l’abocament (minuts) 1 4.907.489 164.318 0 0 1.428.081 117.327 598.623 4 2.599.140 9,29 2 4.932.322 145.485 0 0 1.608.545 143.389 662.111 3 2.372.792 9,38 3 5.530.778 154.716 0 135 1.839.691 168.339 757.647 3 2.610.250 10,65 4 6.218.186 169.809 0 48 1.736.410 156.912 766.344 2 3.388.663 10,30 5 6.676.078 167.472 1.866 101 2.007.778 160.640 895.204 3 3.443.017 10,63 6 6.697.001 131.969 10.294 101 1.506.427 116.232 650.514 10 4.281.464 9,72 7 4.609.550 186.406 6.874 41 1.149.461 150.976 535.051 3 2.580.741 9,35 8 3.560.781 100.563 5.309 15 867.023 125.211 443.104 0 2.019.556 6,53 9 5.446.317 179.833 21.172 98 1.763.543 160.126 716.568 1 2.604.977 10,69 10 6.750.282 204.513 26.786 111 2.152.079 205.139 923.716 1 3.237.938 13,50 11 6.751.661 179.357 19.260 120 1.993.836 180.561 842.438 4 3.536.089 13,57 12 5.979.128 146.806 14.885 76 1.482.039 156.066 615.480 2 3.563.776 10,77 Total 68.059.573 1.931.247 106.446 846 19.534.913 1.840.918 8.406.800 36 36.238.403 124,08 Taula 30. Resum mensual del volum de logs processats el 2014 (Font: Elaboració pròpia) 2014 Nombre total de logs Descartats pel codi d'estat Descartats pel doble click Descartats per ser robots i aranyes Total de COUNTER Metrics descartats 1 4.907.489 177.842 133.215 2.288.083 2.599.140 2 4.932.322 183.817 154.253 2.034.722 2.372.792 3 5.530.778 232.276 162.860 2.215.114 2.610.250 4 6.218.186 1.106.464 304.907 1.977.292 3.388.663 5 6.676.078 1.739.901 148.307 1.554.809 3.443.017 6 6.697.001 2.051.175 106.433 2.123.856 4.281.464 7 4.609.550 179.155 83.496 2.318.090 2.580.741 8 3.560.781 191.449 94.494 1.733.613 2.019.556 9 5.446.317 222.197 257.380 2.125.400 2.604.977 10 6.750.282 266.706 178.612 2.792.620 3.237.938 11 6.751.661 283.901 158.635 3.093.553 3.536.089 12 5.979.128 231.480 361.782 2.970.514 3.563.776 Total 68.059.573 6.866.363 2.144.374 27.227.666 36.238.403 Taula 31. Distribució mensual de logs descartats segons el tipus de filtre de COUNTER Metrics aplicat el 2014 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 101 2014 Nombre total de logs Google Bing Baidu Yahoo Yandex Total descartats per ser robots i aranyes 1 4.907.489 1251.031 404.645 112.287 417 69.585 2.288.083 2 4.932.322 1029.547 436.872 92.344 5.325 57.045 2.034.722 3 5.530.778 666.100 612.059 134.763 12.037 55.484 2.215.114 4 6.218.186 500.878 641.992 100.617 34.685 48.001 1.977.292 5 6.676.078 292.009 656.038 104.451 47.127 98.567 1.554.809 6 6.697.001 984.260 536.435 55.284 38.426 46.648 2.123.856 7 4.609.550 921.060 623.192 61.562 35.280 99.692 2.318.090 8 3.560.781 748.210 496.869 48.720 59.520 58.022 1.733.613 9 5.446.317 680.398 468.015 161.528 194.779 45.428 2.125.400 10 6.750.282 779.199 556.707 324.752 172.845 159.297 2.792.620 11 6.751.661 1.153.361 518.206 382.907 398.712 77.493 3.093.553 12 5.979.128 869.806 626.450 506.411 470.756 180.763 2.970.514 Total 68.059.573 9.875.859 6.577.480 2.085.626 1.469.909 996.025 27.227.666 Taula 32. Logs generats per robots i aranyes classificats per motor de cerca el 2014 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 102 2015 Nombre total de logs Accés a la pàgina del recurs Descàrrega del recurs Visualitzaci ó de la miniatura Accés a un recurs web descartat Cerca a la plataforma Altres tipus de logs Error de procesame nt COUNTER Metrics descartats Duració de l’abocament (minuts) 1 5.606.793 182.951 18.260 55 1.554.202 169.520 628.940 1 3.052.865 10,84 2 5.836.570 243.585 26.381 125 1.785.382 318.246 747.965 1 2.714.886 12,33 3 9.064.064 1.846.422 25.203 325 2.217.659 985.444 968.064 6 3.020.947 31,82 4 8.130.822 1.440.091 19.767 513 2.133.558 537.676 884.288 0 3.114.929 25,71 5 9.341.830 256.531 20.200 494 2.559.992 783.824 1.020.853 16 4.699.936 19,59 6 8.143.958 200.807 18.557 411 2.613.745 277.087 968.420 7 4.064.931 16,24 7 10.260.049 311.699 407.231 123.643 1.349.146 116.972 498.270 5 7.453.088 16,42 8 16.434.571 585.672 856.556 193.973 996.686 74.596 151.009 8 13.576.079 25,42 9 15.456.867 561.530 1.140.853 275.295 1.578.326 55.144 205.689 4 11.640.030 28,30 10 16.911.081 331.513 1.217.262 307.117 1.936.104 57.832 310.304 1 12.750.949 32,72 11 20.376.733 744.783 1.131.432 278.903 1.859.818 91.607 250.020 4 16.020.170 42,55 12 21.036.186 889.968 923.486 240.256 1.302.643 117.008 228.817 6 17.334.008 44,85 Total 146.599.524 7.595.552 5.805.188 1.421.110 21.887.261 3.584.956 6.862.639 59 99.442.818 306,79 Taula 33. Resum mensual del volum de logs processats el 2015 (Font: Elaboració pròpia) 2015 Nombre total de logs Descartats pel codi d'estat Descartats pel doble click Descartats per ser robots i aranyes Total de COUNTER Metrics descartats 1 5.606.793 204.564 128.182 2.720.119 3.052.865 2 5.836.570 194.433 164.571 2.355.882 2.714.886 3 9.064.064 217.736 159.373 2.643.838 3.020.947 4 8.130.822 179.410 156.496 2.779.023 3.114.929 5 9.341.830 216.638 245.041 4.238.257 4.699.936 6 8.143.958 310.830 406.249 3.347.852 4.064.931 7 10.260.049 3.264.250 197.298 3.991.540 7.453.088 8 16.434.571 6.329.200 217.664 7.029.215 13.576.079 9 15.456.867 4.731.612 739.087 6.169.331 11.640.030 10 16.911.081 3.966.766 1.306.056 7.478.127 12.750.949 11 20.376.733 4.347.346 606.406 11.066.418 16.020.170 12 21.036.186 4.014.801 313.625 13.005.582 17.334.008 Total 146.599.524 27.977.586 4.640.048 66.825.184 99.442.818 Taula 34. Distribució mensual de logs descartats segons el tipus de filtre de COUNTER Metrics aplicat el 2015 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 103 2015 Nombre total de logs Google Yahoo Bing Baidu Yandex Total descartats per ser robots i aranyes 1 5.606.793 892.381 421.200 548.571 367.464 102.682 2.720.119 2 5.836.570 552.132 428.904 717.504 381.522 61.747 2.355.882 3 9.064.064 446.941 460.846 747.627 395.728 170.147 2.643.838 4 8.130.822 591.410 584.375 635.168 366.473 266.219 2.779.023 5 9.341.830 2.069.867 561.315 555.405 314.912 272.356 4.238.257 6 8.143.958 603.031 495.946 762.359 986.202 142.087 3.347.852 7 10.260.049 996.983 1.098.297 752.349 584.366 66.871 3.991.540 8 16.434.571 2.257.738 2.376.345 733.104 1.004.313 96.126 7.029.215 9 15.456.867 1.797.382 2.463.133 765.284 691.257 90.113 6.169.331 10 16.911.081 3.476.489 2.174.209 706.839 626.927 80.132 7.478.127 11 20.376.733 6.765.368 2.220.289 947.471 590.046 65.445 11.066.418 12 21.036.186 7.542.444 1.554.657 1.021.940 2.334.643 174.196 13.005.582 Total 146.599.524 27.992.166 14.839.516 8.893.621 8.643.853 1.588.121 66.825.184 Taula 35. Logs generats per robots i aranyes classificats per motor de cerca el 2015 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 110 2019 Nombre total de logs Accés a la pàgina del recurs Descàrrega del recurs Visualitzaci ó de la miniatura Accés a un recurs web descartat Cerca a la plataforma Altres tipus de logs Error de procesame nt COUNTER Metrics descartats Duració de l’abocament (minuts) 1 10.214.934 263.525 1.152.837 510.260 2.088.093 56.589 256.074 0 5.887.556 26,60 2 10.053.159 269.946 1.345.367 507.660 2.386.442 54.911 236.622 0 5.252.211 27,50 3 10.908.089 503.337 1.481.506 543.320 2.609.279 75.876 244.102 0 5.450.669 31,52 4 10.864.337 350.810 1.340.586 488.780 2.372.788 61.029 234.736 0 6.015.608 28,93 5 11.335.401 314.627 1.564.723 603.551 3.053.421 64.086 293.820 0 5.441.173 31,68 6 9.958.886 290.002 1.320.737 454.002 2.186.536 58.982 252.592 0 5.396.035 26,19 7 9.800.222 252.590 1.216.414 413.677 1.972.195 59.863 264.644 0 5.620.839 24,66 8 8.512.991 258.317 1.036.690 291.545 1.651.394 55.235 214.009 0 5.005.801 21,09 9 11.244.789 676.607 1.409.372 541.118 2.667.358 87.738 261.712 0 5.600.884 30,15 10 12.978.802 515.968 1.657.488 833.194 3.636.132 75.790 320.274 0 5.939.956 36,83 11 11.228.902 422.701 1.530.615 680.184 3.290.125 65.007 316.249 0 4.924.021 31,11 12 10.117.614 360.645 1.177.227 549.135 2.300.370 85.959 246.795 0 5.397.483 25,58 Total 127.218.126 4.479.075 16.233.562 6.416.426 30.214.133 801.065 3.141.629 0 65.932.236 341,84 Taula 45. Resum mensual del volum de logs processats el 2019 (Font: Elaboració pròpia) 2019 Nombre total de logs Descartats pel codi d'estat Descartats pel doble click Descartats per ser robots i aranyes Total de COUNTER Metrics descartats 1 10.214.934 1.256.695 241.883 4.388.978 5.887.556 2 10.053.159 1.289.459 256.502 3.706.250 5.252.211 3 10.908.089 1.228.395 275.973 3.946.301 5.450.669 4 10.864.337 1.336.943 256.042 4.422.623 6.015.608 5 11.335.401 1.365.010 263.972 3.812.191 5.441.173 6 9.958.886 1.309.513 210.490 3.876.032 5.396.035 7 9.800.222 1.290.872 184.642 4.145.325 5.620.839 8 8.512.991 1.041.043 143.638 3.821.120 5.005.801 9 11.244.789 1.372.674 280.005 3.948.205 5.600.884 10 12.978.802 1.390.570 358.300 4.191.086 5.939.956 11 11.228.902 1.343.342 314.993 3.265.686 4.924.021 12 10.117.614 1.224.678 263.931 3.908.874 5.397.483 Total 127.218.126 15.449.194 3.050.371 47.432.671 65.932.236 Taula 46. Distribució mensual de logs descartats segons el tipus de filtre de COUNTER Metrics aplicat el 2019 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 111 2019 Nombre total de logs Bing Google Baidu Yandex FAST Total descartats per ser robots i aranyes 1 10.214.934 1.698.691 801.950 111.971 84.611 5 4.388.978 2 10.053.159 1.558.358 690.801 93.080 50.173 0 3.706.250 3 10.908.089 1.346.564 555.148 106.990 60.589 2 3.946.301 4 10.864.337 1.391.110 900.718 99.109 147.335 2 4.422.623 5 11.335.401 1.533.441 656.469 115.509 76.976 980 3.812.191 6 9.958.886 1.356.204 900.094 124.274 58.772 21 3.876.032 7 9.800.222 1.596.842 580.132 139.505 66.782 1.671 4.145.325 8 8.512.991 1.638.020 555.490 104.997 129.828 4.161 3.821.120 9 11.244.789 1.483.820 931.958 116.852 134.090 1.128 3.948.205 10 12.978.802 1.044.031 939.706 100.840 150.459 1.627 4.191.086 11 11.228.902 978111 580.949 100.748 127.070 2.336 3.265.686 12 10.117.614 897.286 1.015.821 78.397 135.656 15.115 3.908.874 Total 127.218.126 16.522.478 9.109.236 1.292.272 1.222.341 27.048 47.432.671 Taula 47. Logs generats per robots i aranyes classificats per motor de cerca el 2019 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 112 2020 Nombre total de logs Accés a la pàgina del recurs Descàrrega del recurs Visualitzaci ó de la miniatura Accés a un recurs web descartat Cerca a la plataforma Altres tipus de logs Error de procesame nt COUNTER Metrics descartats Duració de l’abocament (minuts) 1 12.371.422 535.670 1.403.225 800.070 3.195.949 69.617 324.292 0 6.042.599 33,52 2 11.572.232 625.284 1.366.388 571.864 2.696.893 318.835 286.026 0 5.706.942 32,45 3 11.687.226 396.268 1.402.512 624.672 3.021.134 73.769 353.076 0 5.815.795 30,42 4 10.894.451 498.433 1.534.264 722.279 3.479.158 88.956 312.128 0 4.259.233 30,53 5 15.242.978 608.457 2.342.430 852.861 4.232.346 121.467 394.198 0 6.691.219 45,77 6 14.522.959 578.904 2.008.438 694.358 3.841.553 154.263 343.086 0 6.902.357 43,24 7 18.067.562 568.044 1.791.534 599.073 3.036.345 58.235 337.246 0 11.677.085 47,80 8 9.725.518 440.721 1.463.126 346.251 2.442.767 47.175 242.043 0 4.743.435 27,10 9 13.585.126 523.614 1.907.263 506.814 3.631.590 51.791 261.992 0 6.702.062 39,65 10 18.828.952 791.458 2.404.636 685.417 4.746.813 105.384 324.493 0 9.770.751 51,62 11 16.463.983 777.669 2.478.758 752.144 5.034.437 64.772 333.550 0 7.022.653 51,61 12 13.075.721 546.745 1.607.154 492.193 3.309.625 73.103 327.314 0 6.719.587 36,44 Total 166.038.130 6.891.267 21.709.728 7.647.996 42.668.610 1.227.367 3.839.444 0 82.053.718 470,15 Taula 48. Resum mensual del volum de logs processats el 2020 (Font: Elaboració pròpia) 2020 Nombre total de logs Descartats pel codi d'estat Descartats pel doble click Descartats per ser robots i aranyes Total de COUNTER Metrics descartats 1 12.371.422 1.439.155 489.683 4.113.761 6.042.599 2 11.572.232 1.296.070 348.880 4.061.992 5.706.942 3 11.687.226 1.386.904 506.206 3.922.685 5.815.795 4 10.894.451 1.249.720 356.659 2.652.854 4.259.233 5 15.242.978 1.611.922 929.734 4.149.563 6.691.219 6 14.522.959 1.558.808 432.506 4.911.043 6.902.357 7 18.067.562 1.767.312 3.383.341 6.526.432 11.677.085 8 9.725.518 1.149.520 251.742 3.342.173 4.743.435 9 13.585.126 1.422.867 307.281 4.971.914 6.702.062 10 18.828.952 4.147.648 469.317 5.153.786 9.770.751 11 16.463.983 1.889.080 487.132 4.646.441 7.022.653 12 13.075.721 1.713.199 336.464 4.669.924 6.719.587 Total 166.038.130 20.632.205 8.298.945 53.122.568 82.053.718 Taula 49. Distribució mensual de logs descartats segons el tipus de filtre de COUNTER Metrics aplicat el 2020 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 113 2020 Nombre total de logs Bing Google Petal Search Baidu Yandex Total descartats per ser robots i aranyes 1 12.371.422 705.777 667.195 0 79.628 79.346 4.113.761 2 11.572.232 697.611 826.280 0 67.196 91.136 4.061.992 3 11.687.226 723.679 561.429 0 75.930 84.228 3.922.685 4 10.894.451 676.267 589.858 0 109.672 54.836 2.652.854 5 15.242.978 846.038 810.499 290.242 114.962 81.218 4.149.563 6 14.522.959 856.664 649.413 479.651 128.809 114.262 4.911.043 7 18.067.562 1.145.588 870.157 675.884 184.762 115.581 6.526.432 8 9.725.518 577.119 838.843 527.552 246.921 83.102 3.342.173 9 13.585.126 691.601 809.446 1.092.508 491.699 97.581 4.971.914 10 18.828.952 863.638 976.303 925.591 565.468 224.276 5.153.786 11 16.463.983 1.194.498 814.180 257.662 443.768 117.035 4.646.441 12 13.075.721 1.599.879 796.566 151.350 420.663 38.079 4.669.924 Total 166.038.130 10.578.359 9.210.169 4.400.440 2.929.478 1.180.680 53.122.568 Taula 50. Logs generats per robots i aranyes classificats per motor de cerca el 2020 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 114 2021 Nombre total de logs Accés a la pàgina del recurs Descàrrega del recurs Visualitzaci ó de la miniatura Accés a un recurs web descartat Cerca a la plataforma Altres tipus de logs Error de procesame nt COUNTER Metrics descartats Duració de l’abocament (minuts) 1 14.001.913 713.275 1.671.157 681.194 3.922.355 59.228 301.426 0 6.653.278 42,04 2 13.880.250 655.437 1.844.336 611.307 3.603.271 66.913 305.285 0 6.793.701 42,94 3 15.921.471 855.871 2.309.816 691.058 4.308.144 76.787 315.616 0 7.364.179 49,23 4 16.728.515 714.540 2.022.803 647.055 4.465.816 76.314 289.537 0 8.512.450 49,72 5 15.895.189 620.620 2.026.257 632.809 4.484.919 74.270 296.562 0 7.759.752 46,71 6 15.641.994 742.120 1.846.863 681.802 4.387.012 79.080 290.721 0 7.614.396 45,93 7 13.153.166 511.881 1.675.250 477.253 3.020.460 71.377 283.566 0 7.113.379 36,48 8 12.452.016 372.138 1.391.384 335.106 2.576.441 50.133 203.937 0 7.522.877 31,33 9 15.611.645 600.857 2.016.942 596.013 4.103.549 54.584 268.497 0 7.971.203 44,16 10 22.567.686 861.764 3.855.203 715.035 4.363.579 149.362 329.919 0 12.292.824 61,00 11 19.861.107 784.185 3.151.227 609.147 4.272.700 97.356 339.273 0 10.607.219 55,27 12 17.271.532 616.324 2.561.891 473.153 3.108.917 96.109 273.182 0 10.141.956 43,55 Total 192.986.484 8.049.012 26.373.129 7.150.932 46.617.163 951.513 3.497.521 0 100.347.21 4 548,36 Taula 51. Resum mensual del volum de logs processats el 2021 (Font: Elaboració pròpia) 2021 Nombre total de logs Descartats pel codi d'estat Descartats pel doble click Descartats per ser robots i aranyes Total de COUNTER Metrics descartats 1 14.001.913 1.630.496 370.485 4.652.297 6.653.278 2 13.880.250 1.956.611 286.083 4.551.007 6.793.701 3 15.921.471 2.102.942 374.773 4.886.464 7.364.179 4 16.728.515 1.946.154 373.129 6.193.167 8.512.450 5 15.895.189 1.953.673 360.480 5.445.599 7.759.752 6 15.641.994 1.792.554 370.216 5.451.626 7.614.396 7 13.153.166 1.740.928 344.373 5.028.078 7.113.379 8 12.452.016 1.799.928 282.372 5.440.577 7.522.877 9 15.611.645 2.092.195 417.377 5.461.631 7.971.203 10 22.567.686 5.682.256 462.359 6.148.209 12.292.824 11 19.861.107 4.170.206 466.201 5.970.812 10.607.219 12 17.271.532 3.862.856 371.788 5.907.312 10.141.956 Total 192.986.484 30.730.799 4.479.636 65.136.779 100.347.214 Taula 52. Distribució mensual de logs descartats segons el tipus de filtre de COUNTER Metrics aplicat el 2021 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 115 2021 Nombre total de logs Bing Google Baidu Yandex Petal Search Total descartats per ser robots i aranyes 1 14.001.913 1.787.144 751.445 516.166 71.144 103.370 4.652.297 2 13.880.250 1.493.192 929.962 762.583 85.760 65.037 4.551.007 3 15.921.471 1.685.456 888.697 718.692 165.644 123.047 4.886.464 4 16.728.515 1.875.107 1.768.300 749.942 138.111 248.938 6.193.167 5 15.895.189 1.960.024 767.271 854.828 50.245 507.769 5.445.599 6 15.641.994 1.999.717 863.158 1.112.471 59.658 200.448 5.451.626 7 13.153.166 2.180.860 615.984 702.417 97.441 127.693 5.028.078 8 12.452.016 1.754.929 804.483 848.102 279.602 100.031 5.440.577 9 15.611.645 1.423.355 1.050.544 937.104 314.841 108.501 5.461.631 10 22.567.686 1.700.581 1.266.755 902.317 220.684 222.305 6.148.209 11 19.861.107 1.717.590 1.092.240 761.185 250.538 54.048 5.970.812 12 17.271.532 1.538.884 763.227 768.908 267.374 92.818 5.907.312 Total 192.986.484 21.116.839 11.562.066 9.634.715 2.001.042 1.954.005 65.136.779 Taula 53. Logs generats per robots i aranyes classificats per motor de cerca el 2021 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 116 2022 Nombre total de logs Accés a la pàgina del recurs Descàrrega del recurs Visualitzaci ó de la miniatura Accés a un recurs web descartat Cerca a la plataforma Altres tipus de logs Error de procesame nt COUNTER Metrics descartats Duració de l’abocament (minuts) 1 21.920.053 563.832 4.006.895 596.472 3.340.529 82.274 371.168 0 12.958.883 48,24 2 11.745.108 845.022 1.206.295 626.174 3.419.579 58.277 314.889 0 5.274.872 34,53 3 16.323.490 1.120.607 2.039.141 709.441 4.012.034 61.218 321.746 0 8.059.303 47,57 4 15.746.225 1.082.071 1.618.124 610.470 3.676.341 102.584 592.878 0 8.063.757 46,78 5 16.884.968 1.003.864 1.611.077 611.375 4.328.446 86.710 337.960 0 8.905.536 49,33 6 17.588.689 856.743 1.494.302 730.036 3.760.039 96.581 340.473 0 10.310.515 48,87 7 13.495.857 900.143 1.118.313 647.213 1.967.643 184.992 279.767 0 8.397.786 38,28 8 13.087.111 1.016.132 1.007.545 337.377 1.814.510 106.933 273.947 0 8.530.667 35,38 9 17.429.508 782.453 2.135.535 533.273 2.684.649 91.268 300.039 0 10.902.291 49,22 10 17.810.594 993.563 1.764.640 730.940 3.188.584 56.504 353.383 0 10.722.980 50,70 11 17.544.859 1.358.453 1.741.101 975.114 3.129.797 152.423 347.587 0 9.840.384 55,29 12 14.969.711 1.140.301 1.161.272 489.513 2.162.599 177.473 342.779 2 9.495.774 43,89 Total 194.546.173 11.663.184 20.904.240 7.597.398 37.484.750 1.257.237 4.176.616 2 111.462.748 548,08 Taula 54. Resum mensual del volum de logs processats el 2022 (Font: Elaboració pròpia) 2022 Nombre total de logs Descartats pel codi d'estat Descartats pel doble click Descartats per ser robots i aranyes Total de COUNTER Metrics descartats 1 21.920.053 7.270.410 399.731 5.288.742 12.958.883 2 11.745.108 1.192.663 287.971 3.794.238 5.274.872 3 16.323.490 2.272.628 348.865 5.437.810 8.059.303 4 15.746.225 1.966.446 372.701 5.724.610 8.063.757 5 16.884.968 1.677.552 445.970 6.782.014 8.905.536 6 17.588.689 1.916.789 416.296 7.977.430 10.310.515 7 13.495.857 1.253.606 310.672 6.833.508 8.397.786 8 13.087.111 1.121.265 249.590 7.159.812 8.530.667 9 17.429.508 2.488.946 392.758 8.020.587 10.902.291 10 17.810.594 2.393.634 427.874 7.901.472 10.722.980 11 17.544.859 1.873.923 435.379 7.531.082 9.840.384 12 14.969.711 1.762.575 314.494 7.418.705 9.495.774 Total 194.546.173 27.190.437 4.402.301 79.870.010 111.462.748 Taula 55. Distribució mensual de logs descartats segons el tipus de filtre de COUNTER Metrics aplicat el 2022 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 117 2022 Nombre total de logs Bing Google Baidu Yandex Petal Search Total descartats per ser robots i aranyes 1 21.920.053 1.333.458 788.629 689.132 314.291 3.170 5.288.742 2 11.745.108 942.324 808.388 579.605 220.145 36.804 3.794.238 3 16.323.490 1.064.277 956.083 787.239 212.906 1.220 5.437.810 4 15.746.225 1.255.443 959.064 489.012 205.656 8.212 5.724.610 5 16.884.968 1.747.699 1.061.782 685.944 146.544 70.971 6.782.014 6 17.588.689 1.850.289 911.263 621.682 236.422 12.894 7.977.430 7 13.495.857 1.877.305 818.615 406.250 141.370 3.112 6.833.508 8 13.087.111 1.877.064 733.499 387.044 158.328 71.772 7.159.812 9 17.429.508 2.176.503 1.023.925 453.164 187.243 300.721 8.020.587 10 17.810.594 2.011.195 807.253 571.922 227.585 111.231 7.901.472 11 17.544.859 2.156.967 1.079.556 801.301 193.189 221.741 7.531.082 12 14.969.711 1.688.685 1.262.492 447.374 221.310 175.250 7.418.705 Total 194.546.173 19.981.209 11.210.549 6.919.669 2.464.989 1.017.098 79.870.010 Taula 56. Logs generats per robots i aranyes classificats per motor de cerca el 2022 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 118 2023 Nombre total de logs Accés a la pàgina del recurs Descàrrega del recurs Visualitzaci ó de la miniatura Accés a un recurs web descartat Cerca a la plataforma Altres tipus de logs Error de procesame nt COUNTER Metrics descartats Duració de l’abocament (minuts) 1 16.389.047 1.141.035 1.687.886 715.502 2.523.131 225.475 383.271 0 9.712.747 46,50 2 11.556.178 626.721 1.242.069 740.666 2.423.244 52.987 280.996 0 6.189.495 32,38 3 12.405.263 868.017 1.388.712 709.524 2.780.125 55.540 461.381 0 6.141.964 35,65 4 11.130.422 543.218 1.267.767 697.488 2.657.404 46.589 455.095 0 5.462.861 30,65 5 13.980.988 614.076 1.492.556 707.490 2.934.281 75.057 506.800 1 7.650.728 41,78 6 14.754.668 504.236 1.515.953 722.017 2.756.575 53.263 512.594 0 8.690.030 41,41 7 13.455.037 402.200 1.462.843 569.546 1.901.804 43.898 444.706 0 8.630.040 37,62 8 13.048.112 732.393 1.164.803 411.050 1.715.391 34.602 305.090 0 8.684.783 33,94 9 12.406.922 503.281 1.336.538 571.666 2.536.060 47.309 450.740 0 6.961.328 35,38 10 16.590.789 807.344 1.768.354 864.061 3.291.888 60.497 559.220 0 9.239.425 48,59 11 17.330.215 890.016 1.577.361 715.949 3.128.221 96.489 486.245 0 10.435.934 49,76 12 14.468.283 2.038.027 1.204.534 748.136 2.122.372 369.134 382.943 0 7.603.137 41,92 Total 167.515.924 9.670.564 17.109.376 8.173.095 30.770.496 1.160.840 5.229.081 1 95.402.472 475,58 Taula 57. Resum mensual del volum de logs processats el 2023 (Font: Elaboració pròpia) 2023 Nombre total de logs Descartats pel codi d'estat Descartats pel doble click Descartats per ser robots i aranyes COUNTER Metrics descartats 1 16.389.047 3.150.869 379.698 6.182.180 9.712.747 2 11.556.178 1.501.054 276.518 4.411.923 6.189.495 3 12.405.263 1.984.021 317.950 3.839.993 6.141.964 4 11.130.422 1.534.713 301.363 3.626.785 5.462.861 5 13.980.988 2.016.079 364.935 5.269.714 7.650.728 6 14.754.668 2.055.814 355.533 6.278.683 8.690.030 7 13.455.037 1.724.840 247.575 6.657.625 8.630.040 8 13.048.112 3.039.194 227.940 5.417.649 8.684.783 9 12.406.922 1.383.066 374.388 5.203.874 6.961.328 10 16.590.789 2.672.373 415.144 6.151.908 9.239.425 11 17.330.215 3.059.040 671.553 6.705.341 10.435.934 12 14.468.283 3.293.014 337.646 3.972.477 7.603.137 Total 167.515.924 27.414.077 4.270.243 63.718.152 95.402.472 Taula 58. Distribució mensual de logs descartats segons el tipus de filtre de COUNTER Metrics aplicat el 2023 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 119 2023 Nombre total de logs Google Bing Yandex Baidu Petal Search Total descartats per ser robots i aranyes 1 16.389.047 1.251.684 1.308.774 376.832 3.728 110.006 6.182.180 2 11.556.178 933.064 954.129 208.105 2.261 176.317 4.411.923 3 12.405.263 1.025.860 995.449 252.570 28.117 1.193 3.839.993 4 11.130.422 1.224.675 1.163.898 205.620 37.691 494 3.626.785 5 13.980.988 1.359.009 1.481.228 383.598 27.598 650 5.269.714 6 14.754.668 1.148.075 1.409.064 372.476 237.937 442 6.278.683 7 13.455.037 2.458.098 1.267.259 367.199 351.121 350 6.657.625 8 13.048.112 1.075.823 1.296.454 268.942 456.743 362 5.417.649 9 12.406.922 1.002.576 886.337 344.010 366.484 930 5.203.874 10 16.590.789 920.193 886.312 235.541 592.062 569 6.151.908 11 17.330.215 1.274.334 918.125 266.240 601.596 487 6.705.341 12 14.468.283 820.845 942.372 229.436 78.996 409 3.972.477 Total 167.515.924 14.494.236 13.509.401 3.510.569 2.784.334 292.209 63.718.152 Taula 59. Logs generats per robots i aranyes classificats per motor de cerca el 2023 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 126 TRÀNSIT AGRUPAT PER COL·LECCIÓ S’hi inclou la distribució completa del trànsit generat al repositori UPCommons al llarg del 2023, agrupat per col·lecció (vegeu la Taula 61). Aquesta informació complementa l'anàlisi presentada en l'apartat corresponent, oferint dades detallades per facilitar consultes específiques. Col·lecció Valor Percentatge Exam 1.977.955 21% Bachelor thesis 1.487.013 16% Article 1.424.781 15% Doctoral thesis 1.408.362 15% Master thesis 909.784 10% Book 673.454 7% Conference report 534.976 6% Image 395.247 4% Lecture notes 319.049 3% Audiovisual 122.311 1% Conference lecture 122.287 1% External research report 82.115 1% Problem statement, exercise 72.261 1% Part of book or chapter of book 46.757 0% Master thesis (pre-Bologna period) 33.277 0% Poster 26.208 0% Coursework 25.955 0% Practice 21.328 0% Other 20.827 0% Memorandum 13.996 0% Subject guide 11.541 0% Internal report 9.565 0% Tutored research work 9.091 0% UPC Master thesis 8.261 0% Sound 8.065 0% Working paper 7.415 0% Dataset 6.132 0% Practical exercise 5.901 0% Journal 5.838 0% Course description 3.443 0% Lecture 3.334 0% ["Lecture notes", "Problem statement, exercise"] 3.299 0% Report 3.295 0% Diploma final work 3.087 0% Contribution to periodical 2.380 0% ["Article", "Article"] 1.758 0% File 1.665 0% Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 127 Map 1.469 0% other 1.292 0% Recognition of foreign diploma 1.287 0% Imatge 1.218 0% List of services 1.187 0% Postgraduate master thesis 651 0% Collaborative project 625 0% Guide 612 0% ["Software", "Dataset"] 596 0% Public budget 586 0% ["Lecture notes", "Practice"] 552 0% Guia docent 456 0% ["Doctoral thesis", "Doctoral thesis"] 427 0% Website 425 0% Institutional publication 409 0% Minor thesis 379 0% ["Lecture notes", "Practical exercise"] 367 0% Plan 353 0% Infografia 252 0% Syllabus 249 0% Review 185 0% Software 162 0% ["Image", "Coursework"] 146 0% ["Sound", "Dataset"] 111 0% Nautical chart 97 0% ["Conference report", "Conference lecture"] 93 0% ["Bachelor thesis", "Collaborative project"] 93 0% ["Problem statement, exercise", "Lecture notes"] 89 0% ["Conference lecture", "Conference report"] 85 0% Protocol 76 0% Projecte/Treball Final de Carrera 74 0% ["Part of book or chapter of book", "Nautical chart"] 69 0% Study 55 0% Altres 49 0% Manual 46 0% ["Lecture notes", "Coursework"] 39 0% ["Lecture notes", "Other"] 31 0% Agreement 27 0% ["Subject guide", "Subject guide"] 15 0% Taula 61. Distribució del trànsit agrupat per col·lecció al llarg del 2023 (Font: Elaboració pròpia) Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 128 TRÀNSIT AGRUPAT PER IDIOMA Aquí es presenta la distribució completa del trànsit generat al repositori UPCommons al llarg del 2023, agrupat per idioma (vegeu la Taula 62). Aquesta informació complementa l'anàlisi feta en l'apartat corresponent, proporcionant dades detallades per a consultes més específiques. Idioma Valor Percentatge spa 4.250.336 45% eng 2.887.312 31% cat 2.206.887 24% [\"cat\", \"spa\", \"eng\"] 16.400 0% [\"cat\", \"spa\"] 11.988 0% [\"spa\", \"eng\"] 11.255 0% por 27.648 0% fra 10.244 0% [\"cat\", \"eng\"] 4.413 0% [\"eng\", \"deu\"] 1.618 0% ita 9.552 0% eus 1.443 0% deu 1.336 0% ces 1.311 0% [\"eng\", \"zho\"] 895 0% [\"spa\", \"cat\"] 893 0% [\"eng\", \"ita\"] 785 0% [\"eng\", \"spa\"] 744 0% zxx 664 0% nld 488 0% lat 389 0% [\"eng\", \"nld\", \"zxx\"] 344 0% [\"cat\", \"fra\"] 263 0% [\"fra\", \"spa\"] 215 0% rus 208 0% [\"eng\", \"pol\"] 177 0% slv 172 0% hrv 147 0% [\"spa\", \"zxx\"] 144 0% swe 141 0% [\"eng\", \"zxx\"] 133 0% zho 128 0% [\"spa\", \"spa\", \"spa\"] 121 0% [\"eng\", \"cat\"] 89 0% slk 88 0% jpn 85 0% glg 72 0% Desenvolupament d'una eina per al tractament i visualització de les dades d'accés a un repositori Adrián Romera González 129 fas 68 0% [\"spa\", \"spa\"] 63 0% tur 47 0% [\"cat\", \"spa\", \"eng\", \"fra\"] 40 0% [\"cat\", \"cat\"] 32 0% [\"eng\", \"eng\"] 30 0% [\"eng\", \"rus\"] 26 0% [\"eng\", \"kor\"] 20 0% pol 19 0% ron 18 0% est 15 0% Taula 62. Distribució del trànsit agrupat per idioma al llarg del 2023 (Font: Elaboració pròpia)