Microservicio REST basado en Apache Spark para cruce-SQL de Fuentes de Datos Cassandra

ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA INFORMÁTICA G ado en Ingenie ía de Compu ado es Mic ose icio REST basado en Apache Spa k pa a c uce-SQL de Fuen es de Da os Cassand a REST Mic ose ice based on Apache Spa k o SQL-Join o Cassand a's Da a Sou ces Realizado po Juan An onio Aguila Jiménez Tu o izado po Ma ía del Ma Roldán Ga cía - An onio J. Neb o U baneja Depa amen o Lenguajes y Ciencias de la Compu ación UNIVERSIDAD DE MÁLAGA MÁLAGA, Junio 2018 Fecha de ensa: El Sec e a io del T ibunal Resumen: En es e abajo Fin de G ado (TFG) se ha desa ollado una he amien a gené ica, siguiendo una a qui ec u a de Mic ose icio REST, pa a implemen a ope aciones de c uce (join) en uen es de da os Cassand a de g an olumen con Apache Spa k. Además, la he amien a se ha aplicado a un caso de uso de la Web Semán ica, con el que se ha conseguido e alua consul as SPARQL en un eposi o io de da os Apache Cassand a que almacena una on ología OWL ma e ializada. Apache Cassand a es una base de da os NoSQL (No only SQL) dis ibuida o ien ada a columna, cuyo lenguaje de consul as, po azones de endimien o y de la p opia a qui ec u a de la base de da os, no pe mi e hace ope aciones de ipo join en e ablas. La he amien a gené ica desa ollada en es e TFG cub e es a ca encia de o ma escalable g acias al uso de Apache Spa k. Además, se ha conseguido desacopla la lógica necesa ia pa a ealiza dichos c uces pa a el Caso de uso Especí ico. Es o pe mi e aplica dicha he amien a gené ica a o os casos de uso u u os. Como p oduc o inal, se ha desa ollado un in e az Web que pe mi e ejecu a consul as SPARQL sob e una on ología con in o mación sob e di e en es disciplinas a ís icas. Las consul as son modi icables po el usua io, pudiendo és e gene a cualquie consul a nue a sob e el conocimien o almacenado. Palab as cla es: Cassand a, Spa k, Web Semán ica, SPARQL, Mic ose icio, REST, API, Big Da a, Join, Py hon, Node, Angula , Apollo, Daphne. Abs ac : In his End-o -Deg ee p ojec (TFG) a gene ic ool has been de eloped, ollowing a REST Mic ose ice a chi ec u e, o implemen join ope a ions in la ge olume Cassand a da a sou ces wi h Apache Spa k. Besides, he ool has been applied o a Seman ic Web use case, wi h which i has been possible o e alua e SPARQL que ies in an Apache Cassand a da a eposi o y ha s o es a ma e ialized OWL on ology. Apache Cassand a is a dis ibu ed column-o ien ed NoSQL (No only SQL) da abase, whose que y language, o pe o mance easons and he da abase a chi ec u e i sel , does no allow join- ype ope a ions be ween ables. The gene ic ool de eloped in his TFG co e s his lack in a scalable way hanks o he use o Apache Spa k. The e o e, i has been possible o decouple he logic necessa y o make such c ossings o he speci ic Use Case. This allows applying his gene ic ool o o he u u e use cases. As a esul , a Web in e ace has been de eloped ha allows execu ing SPARQL que ies abou an on ology wi h in o ma ion conce ning di e en a is ic disciplines. The que ies can be modi ied by he use , who can gene a e any new que y ega ds he s o ed knowledge. Keywo ds: Cassand a, Spa k, Seman ic Web, SPARQL, Mic ose ice, REST, API, Big Da a, Join, Py hon, Node, Angula , Apollo, Daphne. Dedico es e abajo a mis amigas Sa a y Mónica po escucha me y se i me de apoyo. Y po supues o a mis pad es, F ancisco y An onia, po que no se ía posible sin lo que ellos han luchado pa a que mis he manos y yo pudié amos p og esa . Ag adecimien os Quie o ag adece al g upo de in es igación Khaos del Depa amen o de Lenguajes y Ciencias de la Compu ación de la Uni e sidad de Málaga, y en especial a mis u o es, Ma ía del Ma Roldán y An onio Neb o, que o man pa e del mismo, po la opo unidad que me han dado. Índice gene al 1. Ind oducción 1 1.1. Obje i os ..................................... 2 1.2. Ace ca de cómo lee es a memo ia . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3. Desc ipción de Con enidos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2. Si uación Ac ual 5 2.1. Basesdeda osNoSQL.............................. 5 2.2. Álgeb aRelacional ................................ 6 2.2.1. Ope acionesbásicas............................ 7 2.2.2. Ope aciones de i adas . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.2.3. Tipos de SQL Join ............................ 9 2.3. ApacheCassand a ................................ 10 2.4. ApacheSpa k................................... 11 2.5. Conec o Spa k-Cassand a . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3. Caso de Uso: Tecnologías de la Web Semán ica 15 3.1. An eceden es del Caso de Uso . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.1.1. Rep esen ación del Conocimien o . . . . . . . . . . . . . . . . . . . . 15 3.1.2. On ologías de la Web Semán ica . . . . . . . . . . . . . . . . . . . . . 16 3.1.3. OWL.................................... 16 3.1.4. Logica de Desc ipciones y Bases de Conocimien o . . . . . . . . . . . 16 3.1.5. SPARQL.................................. 18 3.1.6. Razonado es Semán icos . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.1.7. Ma e alización de on ologías sob e bases de da os NoSQL o ien adas acolumna................................. 19 3.2. Caso de Uso: Consul as sob e una On ología Ma e ializada . . . . . . . . . . 20 3.2.1. Con ex o.................................. 20 3.2.2. Plan eamien o............................... 21 4. Desa ollo del p oyec o 23 4.1. Me odología.................................... 23 4.2. Análisis ...................................... 24 4.2.1. Análisis de equisi os . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 4.2.2. Ba e ía de Tes Iniciales . . . . . . . . . . . . . . . . . . . . . . . . . 25 4.3. Diseño....................................... 27 4.3.1. Apollo ................................... 29 4.3.2. Daphne .................................. 30 4.3.3. FlujodeT abajo ............................. 30 4.4. Implemen ación.................................. 31 4.5. P uebas ...................................... 32 i pode ex ae conocimien o de una on ología ma e ializada en una base de da os o ien ada a columna median e consul as SPARQL P o ocol and RDF Que y Language (SPARQL) (3.1.7). 1.1. Obje i os El obje i o p incipal de es e p oyec o es pode ealiza ope aciones ipo join de inidas en el álgeb a elacional, sin penaliza el endimien o al analiza g andes olúmenes de da os almacenados en una base de da os NoSQL, escalable y dis ibuida, como es Apache Cas- sand a (2.3). Po es e mo i o se u iliza Apache Spa k (2.4) cuyas ca ac e ís icas in ínsecas, pe mi en pa aleliza p ocesos de analí ica de da os usando o denado es en clus e (incluso en la nube), escalando ho izon almen e pa a no c ea cuellos de bo ella que impidan la u ilidad p ác ica del análisis. En de ini i a, he amien as den o del ecosis ema del big da a y a la al u a de los eque imien os écnicos de es e ipo de e os compu acionales. 1.2. Ace ca de cómo lee es a memo ia Los ac ónimos es án sub ayados, de o ma que en la e sión digi al se puede segui el hipe enlace pa a e lo, y en la copia en papel indica que hay que i al apéndice de ac ónimos pa a localiza lo. Al igual que se pueden segui las e e encias c uzadas, que se deno an con el núme o de la sección, subsección, e c. en e (pa én esis). Las palab as en neg i a deno an un é mino, cuya de inición es á en el apa ado de é minos al inal de la memo ia. Los é minos anglosajones es án esc i os en cu si a, menos los nomb es p opios (p.ej.: aplicaciones, módulos, biblio ecas, e c.). Las e e encias an o de la Wo ld Wide Web (WWW) como bibliog á icas es án pues as en e [co che es]. Las igu as i án con le a cu si a y en e co che es, se deno a á con el p e ijo ig., ([ ig. < igu a>]). 1.3. Desc ipción de Con enidos In oducción (1) Se e ie e a és e mismo capí ulo, donde se in oduce al p oblema que se p e ende soluciona en es e TFG: Mo i ación, Obje i os y una sección con un pequeño esumen del con enido de cada capí ulo. Si uación Ac ual (2). En es e capí ulo se e isa la si uación p e ia al TFG. Nos aden a emos en el s a e-o - he-a de las ecnologías de bases de da os NoSQL y su inculación con el big da a. Analiza emos el álgeb a elacional, haciendo hincapié en la uncionalidad no implemen ada en la base de da os Cassand a (2.3). Dicha un- cionalidad se supli á usando écnicas escalables. Ha emos un eco ido sob e Apache Cassand a (2.3), ambién sob e las ca ac e ís icas de Spa k (2.4), amewo k que ha 2 sido escogido pa a ealiza es e TFG y que nos a a pe mi i el c uce de da os en- e las dis in as “ ablas” de Cassand a (2.3), apoyándonos pa a ello en el Conec o Spa k-Cassand a (2.5). Tecnologías de la Web Semán ica (3). Aquí nos aden amos en el Caso de Uso y en qué ecnologías se u ilizan ac ualmen e en la Web Semán ica (3.1), cómo se ep esen a el conocimien o de o ma e icaz (3.1.1), qué es una On ología de la Web Semán ica, qué lenguajes se u ilizan pa a ep esen a el conocimien o y qué es un azonado semán ico. También ha emos una in oducción sob e el lenguaje de consul a SPARQL (3.1.5), y de cómo una On ología Ma e ializada puede inc emen a el endimien o an e on ologías muy g andes. Desa ollo del p oyec o (4). Es e capí ulo de alla las ases ejecu adas en la eali- zación de es e TFG. Se ha seguido una me odología ágil, con ciclos i e a i os, desde el diseño a las p uebas. Pa iendo de la idea inicial ya mencionada, implemen a emos una he amien a que pueda ealiza joins, a la mane a de las bases de da os S uc- u ed Que y Language (SQL), pe o sin penaliza el endimien o. Con es e comienzo, i e a modi icando el p o o ipo has a con e i lo en una pieza so wa e pa a aplica la al Caso de Uso de la Web Semán ica (6), con el obje i o inal de que pueda se u ili- zada como mic ose icio común a aquellas aplicaciones y expe imen os del g upo de in es igación que equie an c uza da os en e uen es de da os Cassand a. Mic ose icio Apollo (5). En es e capí ulo se desc iben las especi icaciones de la pieza so wa e que es el núcleo undamen al de es e TFG, que es capaz de ecibi una se ie de consul as en un o ma o que hemos denominado Apollo Que y, basado en Ja asc ip Objec No a ion [39] (JSON), y de aduci dichas consul as a ins uc- ciones sob e Spa k de o ma adecuada (2.4) pa a ealiza las consul as. En esumen, ex ae los da os desde Cassand a y hace los c uces de da os necesa ios pa a ob ene la in o mación de acue do a la consul a. Aplicación al Caso de Uso (6). Desc ipción de cómo se u ilizado el mic ose icio p opues o pa a acopla lo a un ejemplo eal cuyas necesidades, en cuan o a c uce de da os, quedan cubie as po la he amien a desa ollada. Pa a acopla la he amien a géne ica Apollo, se desc ibe el desa ollo de o o mic ose icio que aduci á las consul as SPARQL en el o ma o especi icado pa a se in e p e adas po Apollo (5). Además, se ha desa ollado un clien e a modo de ejemplo de consumo. Conclusiones y abajos u u os (7). Conclusiones ace ca de la consecución de los obje i os plan eados en el TFG, así como una e lexión sob e mejo as y abajos u u os. Tecnologías u ilizadas (A). Apéndice con una b e e desc ipción de las ecnologías u ilizadas. 3 4 2 Si uación Ac ual We may say mos ap ly ha he Analy ical Engine wea es algeb aical pa e ns jus as he Jacqua d loom wea es lowe s and lea es. Ada By on En plena explosión de las ecnologías de la in o mación aplicadas a la Web, y de nue os pa adigmas de almacenamien o, las bases de da os NoSQL es án siendo cada ez más usadas, siendo obje o de I+D po pa e de en idades de p ime ni el. Una ca ac e ís ica que ha dispa ado es a endencia es su ca ác e schemaless, lo que implica que son más lexibles a la ho a de almacena in o mación no es uc u ada o semi- es uc u ada. O a ca ac e ís ica impo an e de muchas de ellas es que son dis ibuidas y escalan bien ho izon almen e. Debido a la ingen e can idad de da os que se gene a hoy en día, g an pa e desde la Web y especialmen e desde la llamada Web 2.0, con g an can idad de da os: blogs, edes sociales, linked da a, In e ne de las Cosas, Ciudades In eligen es, come cio elec ónico, analí ica Web, aplicaciones co po a i as, logs de pla a o mas en la nube, e c. Pa a ello, se necesi an es uc u as capaces de ecoge es a in o mación, o un esumen en su caso, con la posibilidad de escala en unción del amaño y de la apidez con que se gene an dichos da os. 2.1. Bases de da os NoSQL Las bases de da os NoSQL ambién se les denomina ipo: Basically A ailable, So s a e and E en ual Consis ency (BASE) como con apa ida al ac ónimo pa a denomina a las bases de da os elacionales: A omici y, Consis ency, Isola ion and Du abili y (ACID), que deno a la lexibilidad de la iloso ía NoSQL en e a la Relacional. Exis en mul i ud de bases de da os NoSQL, y pueden se clasi icadas po a ios c i e ios, uno de ellos se ía el o ma o de la in o mación que almacenan, siendo las más demandadas las que alcanzan un mayo g ado de especialización en es e sen ido. Po ejemplo, exis en bases de da os NoSQL o ien adas al o ma o cla e- alo (p.ej.: Redis), son en de ini i a g andes ablas hash que pe mi en ecupe a in o mación de o ma ápida a pesa de su eno me amaño. En cambio o as, es án o ien adas a documen o (p.ej: Mongo DB, Elas icsea ch), es deci , no se gua da un alo simple, sino que el alo gua dado es odo un documen o, da os semi-esc uc u ados en o ma o JSON (p.ej. MongoDB), o cualquie ipo de documen o ya sea en ex o plano, eX ensible Ma kup Language (XML) o Hype Tex Ma kup Language (HTML) (p.ej. Elas icsea ch). La in o mación almacenada es en muchos casos de ipo W i e Once Read Many (WORM), indexada pa a búsquedas. También exis en o ien adas a g a os 5 (p.ej: Neo4J, A angoDB), en las cuales se da más impo ancia a la elación en e los da os y donde se pueden aplica écnicas de análisis de g a os. En el caso de la base de da os Apache Cassand a, se habla de es uc u as de da os o ien adas a columna (2.3), en el que dicha columna es á o mada po un conjun o inde e minado de pa es cla e/ alo . En las bases de da os NoSQL hay ambién a ios ipos en cuan o a su clasi icación según el Teo ema CAP de B ewe , cues ión a ene en cuen a a la ho a de elegi una en unción del caso de uso conc e o [ ig. 2.1]. Consis ency CAP A ailabili y Pa i ion Tole ance CP AP CA MongoDB O acle MySQL SQL Se e Cassand a Dynamo CouchDB Redis MemcacheDB Figu a 2.1: Clasi icación de Bases de Da os NoSQL según Teo ema CAP de B ewe . O a ca ac e ís ica que suele di e encia a las bases de da os NoSQL y las bases de da os elacionales, es que no implemen an ope aciones ipo join1, ca ac e ís ica undamen al como mo i ación pa a es e TFG. 2.2. Álgeb a Relacional El álgeb a es la pa e de las ma emá icas que se enca ga de gene aliza las ope aciones a i mé icas en e elaciones, que se de inen como conjun os de uplas. En el caso de las bases de da os SQL2, el álgeb a elacional se aplica de iniendo las dis in as ope aciones “a i mé icas” en e ablas compues as po ilas. El álgeb a elacional cons a de ope aciones una ias o bina ias, que ienen como en ada elaciones, ob eniendo como esul ado o a elación. Se con emplan a ias ope aciones: unas básicas y o as de i adas a pa i de las an e io es. [44] [Cod72] 1con ipo join, además de odos los ipos de SQL join podemos ambién inclui las ope aciones del álgeb a elacional: Unión, In e sección y Res a 2las bases de da os elacionales ambién se de inen como SQL po que sopo an es e mé odo de consul a. 6 2.2.1. Ope aciones básicas 1. P oyección (Π), es una ope ación una ia donde se c ea una nue a abla a pa i de solo algunas columnas de la abla o iginal Z=ΠR1,R2,...,Rn(R)donde Z end ía los a ibu os R1..Rnde cada upla de la elación R. 2. Selección (σ) , es una ope ación una ia, donde se c ea una nue a elación a pa i de solo algunas uplas de la elación o iginal. Es deci , los da os de la elación o iginal son il ados po un c i e io P.σP(R) 3. Renomb a (ρ), es una ope ación una ia donde se enomb a un a ibu o con nomb e b, de una elación R, con el nomb e a. Po lo demás, la elación esul ado es igual a la elación R.Z=Ra/b 4. P oduc o Ca esiano (×)de dos elaciones [ ig. 2.2]. Cada upla de la p ime a elación Rse combina con cada upla de la segunda elación S, o mando nue as uplas po la combinación de ambas. El núme o de uplas de la elación esul ado Z, se á el p oduc o del núme o de uplas de Rpo el núme o de uplas de S.Z=R×S 5. Unión (∪)[ ig. 2.3], ope ación bina ia. En la unión de RySse añaden a la ela- ción esul ado Zlas uplas de las dos elaciones o iginales, cuyos a ibu os deben se conco dan es en núme o. Z=R∪S 6. Res a (−)[ ig. 2.5], ope ación bina ia que selecciona las uplas de la p ime a elación que no es én p esen es en la segunda. Z=R−S CARTESIAN PRODUCT Z = R x S R SZ Figu a 2.2: P oduc o Ca esiano. UNION Z = R R S �S Z Figu a 2.3: Union. 7 R S Z INTERSECTION Z = R �S Figu a 2.4: In e sección. 2.2.2. Ope aciones de i adas 1. In e sección (∩)[ ig. 2.4], ope ación bina ia que dadas dos elaciones RyS, la elación esul an e Zcon end á las uplas de Rque ambién es én en S. Puede exp esa se como ope ación de i ada. Z=R∩S=R−(R−S)[ ig. 2.4] 2. Unión Na u al (./), P oduc o Na u al o Join es una ope ación bina ia que dadas dos elaciones RyS, combina uplas seleccionadas de ambas elaciones po un c i e io θ, de o ma que la elación esul ado p oyec a odas las columnas de las dos elaciones. Se a a de una ope ación de i ada de o as básicas. Z=σθ(R×S) En las bases de da os SQL se con emplan di e en es ipos de “uniones na u ales” o joins (2.2.3) [ ig. 2.6]. SUBTRACTION Z = R - S R S Z Figu a 2.5: Res a. NATURAL JOIN Z = R R S Z S Figu a 2.6: Unión Na u al. 8 2.2.3. Tipos de SQL Join En la igu a [ ig. 2.7] se pueden e ep esen adas median e diag amas de Venn, las di e en es posibilidades que las bases de da os elacionales implemen an de la Unión Na u al en e dos ablas. En cada una de ellas puede e se el esquema simple de como se ía una consul a SQL. Algunas de ellas son p imi i as y las o as pueden exp esa se como una modi icación de las ope aciones p imi i as (p.ej.: ope ación de selección σP). SELECT * FROM A LEFT JOIN B ON A.key = B.key WHERE B.key IS NULL A - B A B SELECT * FROM A LEFT JOIN B ON A.key = B.key LEFT JOIN A B SELECT * FROM A RIGHT JOIN B ON A.key = B.key WHERE A.key IS NULL B - A A B SELECT * FROM A INNER JOIN B ON A.key = B.key INNER JOIN A B SELECT * FROM A RIGHT JOIN B ON A.key = B.key RIGHT JOIN A B SELECT * FROM A FULL JOIN B ON A.key = B.key WHERE A.key IS NULL OR B.key IS NULL XOR JOIN A B SELECT * FROM A FULL JOIN B ON A.key = B.key FULL JOIN A B SELECT * FROM A CROSS JOIN B CROSS JOIN A B Figu a 2.7: Tipos de SQL join. C oss Join. Se a a del p oduc o ca esiano de dos ablas A×B(2.2.1), donde cada ila de la abla Ase elaciona con cada una de las ilas de la abla B. De o ma que Anm ×Bpq =Z, donde Z end ía n∗p ilas y m+qcolumnas. No es ablece ningún c i e io de compa ación, el c i e io se ía “ odas con odas”. Inne Join.Inne Join o Unión Na u al de dos ablas A ./ B se co esponde con la Unión Na u al del álgeb a elacional (2.2.2), de i ada de o as básicas (2.2.1). σθ(A×B) Le Join. O o ipo de join es la ope ación Le Join en e dos ablas, ambién denominada Le Ou e Join,A d|><| B. Es una ex ensión de la ope ación Inne Join, donde ambién se añadi ían al esul ado las ilas de Aque no cumplan el c i e io θ, siendo las columnas de Bde alo nulo en es as úl imas. Righ Join. La ope ación ALe Join BóA |><|d Bes equi alen e a B d|><| A. Aunque, po cla idad de las consul as, es con enien e usa la como Righ Join. 9 Full Join.AFull Join BóA d|><|d B, la consul a equi alen e en SQL puede e se en [ ig. 2.7], ambién pod ía exp esa se como A d|><| B∪A |><|d Bsin que se epi an las ilas de la in e seción3. A–B. Se pod ía de ini como la ope ación de selecciona las ilas de Aque no “casan” con Bdado un c i e io θ. Hay que dis ingui la de la es a del álgeb a elacional (2.2.1), que es una ope ación pu amen e de conjun os y sin es ablece un c i e io θ. También pod ía exp esa se como la es a algeb aica. (A d|><| B)−(A ./ B) B – A. De o ma equi alen e a A−B, pod ía exp esa se como (A |><|d B)−(A ./ B). Exclusi e OR Join. La ope ación Exclusi e OR o Disyunción Exclusi a (4), se puede descompone en (A−B)∪(B−A). El esul ado end á las ilas de Ay de B que no pe enezcan a la in e sección de AyB. 2.3. Apache Cassand a Apache Cassand a es una base de da os NoSQL, de ipo cla e- alo , o ien ada a colum- na: los da os siemp e se acceden po la cla e, y el alo es á compues o po un núme o de columnas inde e minado [ ig. 2.8]. En una misma “ abla”4podemos ene ilas con di e en e núme o de columnas, en un g an núme o como lími e. Es a ca ac e ís ica, unida a su a - qui ec u a en clus e , hace a la base de da os Cassand a idónea pa a su uso den o del ecosis ema big da a5. El lenguaje de consul a es el CQL, sus i uyendo al SQL de las bases de da os elacionales. Es bas an e pa ecido, pe mi e: p oyección, selección, enomb a columnas y ag egaciones. Pe o, al con a io que SQL, no pe mi e consul a ablas elacionadas unas con o as debido a la p opia a qui ec u a de la base de da os Cassand a y a la p opia iloso ía de las bases de da os NoSQL6. La base de da os Cassand a p esen a una a qui ec u a dis ibuida (1), que escala ho i- zon almen e g acias a la es uc u a en clus e . Cada nodo con iene una pa e de los da os denominada pa ición, y puede eplica los da os de o os nodos pa a implemen a la ole- ancia a allos. Exis e un nodo p ima io, que es con el que comunican los clien es. Cuando un clien e inse a un da o, el nodo p ima io aplica una unción hash que decide a que pa ición pe enece, comunicando con el nodo que ges iona dicha pa ición o, si és e es á “caído”, con los que man ienen una éplica de dicha pa ición. El núme o de nodos que man ienen una 3en el álgeb a elacional, basada en la eo ía de conjun os, no hab ía epe iciones, pe o en las bases de da os elacionales, dependiendo de la implemen ación SQL, pod ían da se duplicados, po lo que hab ía que ene lo en cuen a. Dichas implemen aciones suelen inclui el modi icado DISTINCT pa a las p oyecciones, que indica que la abla esul ado no con end á duplicados. También en algunas, ope aciones como la unión iene dos posibilidades: Union, sin duplicados, y Union All, con duplicados. 4denominada colum amily an es de la e sión 3, a pa i de aquí, ecibe el nomb e de able. El nomb e supe -column amily se ía el equi alen e a una is a en bases de da os SQL. Desde la e sión 3 se enomb a a iew. 5has a 231 celdas po pa ición en la e sión 3.3 [14] 6modelos de da os deno malizados, con da os epe idos en de imen o de la consis encia, da os almace- nados en el o ma o que se quie e sean consul ados, e c. 10 Row Key Key_a Val_a Key_b Val_b Key_c Val_c Column Keys Column Values Figu a 2.8: Esquema de las es uc u as cla e- alo en Cassand a. pa ición, se modela al de ini el keyspace, que es un ni el o ganiza i o supe io al de abla y se ía equi alen e al concep o de schema en las bases de da os elacionales. A la ho a de de ini un keyspace, se decide qué ac o de eplicación (pa áme o eplica ion_ ac o ) a a ene . Aunque los da os se eplican en el momen o de la inse ción, exis e un p o ocolo denominado gossip (o umo , en cas ellano) po el cual, cada cie o iempo, los nodos que con ienen éplicas compa an los códigos Cyclic Redundancy Check (CRC) de sus da os con los de los nodos eplicados, in e cambiando los que no es án ac ualizados pa a man ene la consis encia7. En la de inición de una abla, se especi ica la p ima y key. Tiene dos pa es: a la p ime a, o mada po uno o a ios campos, se le denomina pa i ion key, que es la que de e mina á en que nodo se g aban los da os (pa ición). La segunda pa e (opcional) se denomina clus e ing key, y de ini á el o den de la upla den o de la pa ición, en caso de se especi icada [ ig. 2.9]. 2.4. Apache Spa k Es un amewo k so wa e de código abie o, o iginalmen e desa ollado po la Uni e - sidad de Be keley en Cali o nia y ac ualmen e man enido po la Fundación Apache. Es á especializado en el p ocesamien o pa alelo de g andes olúmenes de da os. P esen a una a qui ec u a en clus e . Es á op imizado pa a elocidad, siendo mucho más ápido que MapReduce, aunque és e úl imo es á diseñado pa a mayo olumen de da os. Sopo a Ap- plica ion P og amming In e aces (APIs) pa a a ios lenguajes: Scala, Py hon, Ja a y R. Además iene biblio ecas de al o ni el; como po ejemplo Spa k SQL, que se u iliza pa a conec a con di e sos mo o es de bases de da os, en e las cuales es á Apache Cassand a8. 7pese a que Cassand a es a ía encuad ado en el é ice A-P según el Teo ema CAP de B ewe , g acias a es e p o ocolo se a enúa en g an medida la al a de consis encia, po lo que pod ía deci se que es E en ualmen e Consis en e, al y como se e ie e en el é mino BASE, aunque algunos nodos no hayan es ado disponibles du an e el p oceso de inse ción. Pa a la lec u a, igualmen e, si un nodo no es á online, según el ac o de eplicación p e-es ablecido, se pod á se i el da o de una de las éplicas. 8g acias a Spa k-Cassand a Connec o (A) 11 A is Pain e Sculp o Cubis Mul i alen ed Sculp u e Pain ing A wo k Pho o Ci y Image Museum picasso gue nica einaSofia mad id A Galle y "Pablo" michelAngelo dona ello b onzeDa id odin heThinke odinMuseum "Augus e" elP ado lasMeninas ype :c ea es sc sc sc eq sc sc :pain s ype :fi s Name ype ype :exhibi s eq :loca edIn ype eq :exhibi edIn :lodca edIn :c ea es :exhibi s :fi s Name :exhibi edIn TBOX ABOX eq Figu a 3.1: Bases de Conocimien o: TBOX y ABOX. Una Base de Conocimien o es una implemen ación de una DL, que es á o mada po dos es uc u as denominadas Te minological Box (TBox) y Asse ional Box (ABox). La TBox con iene odas las elaciones en e las clases que pe mi i á in e i conocimien o usando un azonado semán ico; mien as que la ABox iene la in o mación de los indi iduos: a qué clase pe enecen y cómo se elacionan unos con o os de o ma que, aplicando eglas de la TBox, podemos ag ega nue as elaciones en e los indi iduos de la ABox. En [ ig. 3.1] podemos e un ejemplo de la Base de Conocimien o sob e la que hemos implemen ado el caso de uso (3.2). 3.1.5. SPARQL Es un lenguaje es anda izado pa a consul a de da os en documen os RDF aunque, como pasa con SQL, exis en di e sas implemen aciones en unción del mo o de almacenamien o y ecupe ación de documen os. Las consul as ienen una cabece a donde se indican los a- lo es que se án e o nados po la consul a, mien as que el c ue po p esen a una cláusula WHERE que se es uc u a en un conjun o o denado de “ iple as”, y cuya o ma básica se ía: suje o-p edicado-obje o. Es as iple as, p esen an una o ma simila a la no ación RDF, con la di e encia de que podemos in oduci a iables, que se deno an po un iden i icado p ecedido de un símbolo de in e ogación (?). Cuando se ejecu a una consul a SPARQL, se compa an las iple as con los nodos RDF de o ma que se busca la coincidencia de los 18 PREFIX dc e ms : <h p :// pu l . o g /dc/ e ms /> PREFIX d s : < h p :// www .w3. o g /2000/01/ d - schema #> PREFIX dbp : < h p :// dbpedia . o g/ on ology /> SELECT ? musico ? nomb eMusico ? echaNacimien o ? echaFallecimien o WHERE { ? musico dc e ms : subjec <h p :// dbpedia . o g / esou ce / Ca ego y : Spanish_musicians >; d s : label ? nomb eMusico ; dbp: bi hDa e ? echaNacimien o ; dbp: dea hDa e ? echaFallecimien o . FILTER (LANG(?nomb eMusico) = "es") } Código 3.2: Ejemplo de consul a SPARQL li e ales, y las a iables se ins ancian con cualquie alo con el que “casen”, según de ina la clausula WHERE. En [Cód. 3.2] podemos e un ejemplo de consul a SPARQL sob e la DBpedia, donde se consul an los músicos españoles (nomb e, echa de nacimien o y echa de allecimien o) de los egis os almacenados en la base de da os. En [18] podemos encon a un SPARQL endpoin donde se pueden ejecu a es e ipo de consul as. 3.1.6. Razonado es Semán icos Un azonado es un algo i mo que a pa i de las eglas semán icas de una on ología, es capaz de in e i conocimien o nue o: nue os indi iduos de clases o subclases (he encia), nue os oles, o incluso nue as eglas, de o ma que aplicando un azonado de o ma i e a i a ob enemos un conocimien o inc emen al. Los Razonado es OWL son aquellos que pueden en ende el o ma o OWL. En el caso de las bases de conocimien o el azonamien o se ealiza sob e la TBox y el conocimien o in e ido se almacena en la ABox (3.1.4). 3.1.7. Ma e alización de on ologías sob e bases de da os NoSQL o ien adas a columna En los úl imos iempos son muchas las implemen aciones de almacenamien o RDF en bases de da os NoSQL [KKTC12]. Pe o no así con sopo e de azonamien o OWL. En [RARGAM17] an más allá, implemen ando un modelo de almacenamien o OWL/RDF o ien ado a columna y un p o o ipo de he amien a g á ica pa a almacena dicha on ología ya azonada2, has a no ob ene conocimien o nue o (ma e ialización). Al e i a el azonamien o en memo ia, se puede a aca el p oblema de la consul a de da os de on ologías muy g andes con una a qui ec u a al amen e escalable. Además, pe mi e la adición de conocimien o de mane a inc emen al, eniendo así una uen e de conocimien o dinámico ac ualizada. 2u ilizando pa a ello un azonado basado en MapReduce [23]. 19 3.2. Caso de Uso: Consul as sob e una On ología Ma e- ializada 3.2.1. Con ex o Tenemos una On ología Ma e ializada sob e una base de da os NoSQL; es deci , en el o ma o ya comen ado (3.1.7); que ep esen a una base de conocimien o sob e a is as, almacenada en un keyspace de Cassand a, con los elemen os TBox y ABox dispe sos en a ias ablas (3.1.4). Nos in e esa conc e amen e la ABox una ez azonada (3.1.7), implemen ada de la siguien e o ma: La abla c 110: con iene los indi iduos de cada clase. La es uc u a de c 110 se com- pone de un alo cla e como pa i ion key, que ep esen a la clase, y de los alo es columna, que son las ins ancias de dicha clase. THING es la clase pad e a la que pe e- necen odos los indi iduos del dominio y NOTHING su con apa ida, la clase acía. ABox →c 110 key column1 column2 column3 column4 column5 column6 column7 column8 column9 NOTHING null null null null null null null null null #sculp u e #b onzeDa id null null null null null null null null #a Galle y #elP ado null null null null null null null null #pain e #picasso #michelAngelo null null null null null null null #pho o null null null null null null null null null #a wo k #b onzeDa id #lasMeninas null null null null null null null #sculp o # odin #michelAngelo #dona ello null null null null null null #a is # odin #picasso #michelAngelo #dona ello null null null null null THING #michelAngelo #lasMeninas # heThinke #mad id #gue nica #museo odin #picasso # einaSo ia #dona ello #museum # einaSo ia null null null null null null null null #cubis null null null null null null null null null #image null null null null null null null null null #pain wo k #lasMeninas null null null null null null null null #mul i alen ed null null null null null null null null null #ci y #mad id null null null null null null null null La abla c 111: con iene las elaciones en e las ins ancias. Donde key es la pa i ion key ynum es la clus e ing key, ambas o man la p ima y key. El alo de la cla e ep esen a al p edicado de la iple a semán ica. Así como, los alo es con el mismo núme o de columna y el mismo alo en la cla e key, es án elacionados semán ica- men e. De es a o ma, los alo es de ilas con alo 1en el campo num co esponden con el suje o, y los alo es cuya ila p esen a alo 2en el campo num co esponden con el obje o. ABox →c 111 key num column1 column2 #exhibi s 1 #elP ado null #exhibi s 2 #lasMeninas null # i s name 1 # odin #picasso # i s name 2 #augus e #pablo #loca edIn 1 # einaSo ia null #loca edIn 2 #mad id null #pain s 1 #picasso null #pain s 2 #gue nica null #c ea es 1 # odin #dona ello #c ea es 2 # heThinke #b onzeDa id #exhibi edIn 1 #gue nica # heThinke #exhibi edIn 2 # einaSo ia #museo odin 20 3.2.2. Plan eamien o Ambas ablas pueden ene an as columnas como sea necesa io. Po ejemplo pod íamos que e sabe qué museos hay en Mad id, pa a ello, necesi amos: 1. Consul a las ilas de la abla c 110 con cla e #museum, es deci , las in ancias de la clase museo. 2. Consul a las ilas de la abla c 111 con cla e #loca edIn y alo en alguna de las columnas de da os #mad id3 3. Po úl imo hace un inne join con los esul ados de los pun os an e io es, usando como c i e io de c uce, la columna con la ins ancia museo. Como ya se ha comen ado an e io men e, Apache Cassand a no pe mi e esol e el c uce de da os plan eado, po azones de a qui ec u a de la p opia base de da os, pe o pa a es e modelo de da os es necesa io, es po eso que acudimos a una he amien a como Apache Spa k, po su ca ac e ans e sal y escalable. Pa a ello, se u iliza á una he amien a lo más gené ica posible que pueda ealiza c uces de da os y que se pueda aplica al mayo núme o de casos de uso di e en es, pe o a la ez, an especializada que no ealice ninguna o o ipo de ope aciones, es po ello que se elige una a qui ec u a de mic ose icio, y con una in e az ipo Rep esen a ional S a e T ans e REST (REST) que ga an iza la mayo accesibilidad po pa e de las posibles pla a o mas so wa e que se deseen u iliza como clien e, middlewa e, e c. 3exp esado en una consul a ipo SQL, supond ía iguala el alo a odas las columnas, con el consiguien e e o que supone que el núme o de columnas sea inde inido. Más adelan e e emos como se ha esuel o (5.1.1). 21 22 4 Desa ollo del p oyec o E e y hing should be made as simple as possible, bu no simple . Albe Eins ein Desde un p ime momen o se pensó usa me odologías ágiles pa a el desa ollo de es e p oyec o, las cuales uncionan bien con equipos pequeños/medianos, no malmen e. Se ba a- ja on algunas de ellas, como p.ej.: Lean,Sc um,Ex eme P og amming, Desa ollo en Espi al o TDD. Como ninguna de ellas encaja ía exac amen e con la dinámica de es e abajo al se un TFG indi idual, se ha op ado po una me odología híb ida de és as, cogiendo lo más p ác ico de cada una. 4.1. Me odología Como ya se ha comen ado, la me odología se ha basado en las me odologías ágiles más u ilizadas, que ienen como común denominado el desa ollo del p oyec o en ciclos co os e i e a i os, es ableciendo, en nues o caso, una en ana de iempo de una semana, ya que se de inie on euniones semanales con los u o es de es e TFG1. En cada i e ación se han lle ado a cabo una se ie de a eas: Análisis de nue as uncionalidades. Diseño de una ba e ía de es , o modi icación de la an e io , pa a comp oba que e ec i amen e se inco po an dichas uncionalidades. Implemen ación del código de mejo a. E aluación de es y comp obación de la ce canía al obje i o. En caso de no habe alcanzado el obje i o, epe i odo el p oceso comple o. En la e aluación de los esul ados, se comp ueba si se ha conseguido el esul ado obje i o: una he amien a que se adecúe al caso de uso (3.2) que cub a las necesidades de c uce de da os de los usua ios inales de la he amien a desa ollada pa a que puedan in eg a la en sus p opias aplicaciones. Pa a supe isa el p oceso comple o, se cuen a con los u o es del TFG, que a su ez son miemb os del g upo de in es igación Khaos; que en e minología Sc um se ían los P oduc Owne s. Además, como desa ollado p incipal y único, el au o del TFG. 1p.ej.: en el caso de Sc um dicha en ana de iempo se denomina sp in s y es de dos semanas de du ación. 23 4.2. Análisis En es a p ime a e apa, se pa e de los an eceden es del caso de uso (3.2), en la que enemos la ABox de una on ología ma e ializada en una pa ición de Cassand a, compues a po las ablas c 110 yc 111, de o ma que necesi amos hace consul as de es ipos, que exp esadas de o ma algeb aica se ían: 1. ΠA1,..,An(σP(c 110 ./ c 111)) 2. ΠA1,..,An(σP(c 111 ./ c 111)) 3. ΠA1,..,An(σP(c 111 ./ c 110)) También en algunos casos hab á que ealiza ope aciones pa a enomb a campos. Tan o las ope aciones de selección σ, de p oyección Π, como de enomb ado de campos ρ(2.2) es posible ealiza las con el lenguaje de consul a CQL, pe o no así la ope ación na u al join, al no se una ca ac e ís ica de Apache Cassand a (2.3). 4.2.1. Análisis de equisi os En la eunión p elimina pa a la ealización del TFG, el enca go que se aco dó ue pode ealiza ope aciones ipo join sob e la ABox de una on ología ma e ializada, cuya es uc u a se explica en el a ículo [RARGAM17] ealizado po a ios miemb os del g upo de in es igación Khaos, g upo donde se abaja en a ios p oyec os, con di e sas ecnologías y u ilizando a ios lenguajes, es ando en e ellos: Ja a,Py hon yScala. La idea de desa olla una aplicación en Apache Spa k (2.4) su gió de la expe iencia en o os p oyec os de in es igación, de los que des aca como una pla a o ma de análisis de p opósi o gene al al amen e escalable y lexible, además de o as muchas ca ac e ís icas: 1. Código Abie o man enido po la Apache Founda ion. 2. Va ios lenguajes sopo ados. 3. P oyec o madu o. 4. G an comunidad de usua ios. 5. Buena documen ación en línea. 6. U ilidades en In e ne de licencia lib e y con código abie o. 7. Spa kSQL: un módulo de Apache Spa k pa a abaja con da os es uc u ados, y con una sin áxis que ecue da a SQL. Se decidió en onces ealiza una ba e ía de es pa a e i ica si e a ac ible aplica Spa k pa a esol e el p oblema. Se acue da ealiza euniones semanales e i iendo el p og eso2. 2pa a hace i e aciones ápidas se decide que sean semanales, eniendo en cuen a que no hay un equipo como al que coo dina . 24 4.2.2. Ba e ía de Tes Iniciales Es a ba e ía de es se p opuso en a ias euniones con los P oduc Owne s, con el obje i o de analiza la iabilidad de la solución a desa olla . A medida que se iban consiguiendo los p opues os en la i e ación an e io , se p oponían nue os a modo de sp in semanal: 1. P ime a I e ación Ejemplo 1: Ca ga da os en ablas de Cassand a. •C ea una abla con la es uc u a de da os a ca ga . •Gua da da os desde un iche o CSV en la abla c eada. Es e ejemplo no iene que usa Spa k necesa iamen e, los da os pueden ca ga se median e cualquie medio, dado que el p oduc o inal no iene en p incipio po qué ca ga da os. Ejemplo 2: Cap u a da os en un RDD en Spa k y hace alguna ans o mación. •Localiza la abla ca gada en el Ejemplo 1. •Ca ga el con enido de la abla en un RDD. •Hace un ejemplo de ag upación de da os sob e el RDD del pun o an e io (p.ej.: un con eo de algún da o de e minado). Ejemplo 3: Hace una ope ación Join sob e un RDD y gua da los da os de nue o en Cassand a. •Hace una Union de dos RDD. •Hace una cálculo sob e el nue o RDD. •C uza lo (join) con o o RDD ob eniendo un RDD esul ado. •C ea una abla des ino con la misma es uc u a que el RDD esul ado. •Gua da los da os en la abla de Cassand a c eada pa a al in. 2. Segunda I e ación Da ase Join 013. Ejemplo en Scala de la unión de dos da ase s desde Cassand a po una columna común. •Recupe a desde Cassand a dos da ase s de sendas ablas con una columna común. •Unión Na u al de dos da ase s igualando los da os de las columnas en común (inne join). Da ase Join 02. Ejemplo en Scala de como uni dos conjun os de da os y g aba el esul ado en Cassand a, en una abla no p e-exis en e. •Recupe a desde Cassand a dos da ase s de sendas ablas con una columna común. 3En es e caso, usamos la es uc u a de da os de al o ni el de Spa k, solo disponible a pa i de la e sión 2.0, y cuya es uc u a es abula , asemejándose así a las ope aciones de las bases de da os elacionales 25 •Uni los dos da ase s po una columna en común. •C ea una abla con una es uc u a conco dan e con el da ase esul ado. •Sal a los da os c uzados en la nue a abla. Da ase Join 03. Realiza un ejemplo simila al an e io , pe o es a ez usando la biblio eca pa a Py hon: pyspa k, w appe pa a la in e az PySpa k (módulo de Spa k). De o ma que las ope aciones se ealicen en un sc ip independien e, sin depende de la he amien a Spa k Shell. •Recupe a desde Cassand a dos ablas en sendos da ase s. •Unión Na u al il ando po una columna común. •Gua da el esul ado de nue o en Cassand a. •T ans o ma el esul ado en un o ma o de in a cambio de da os, que sea se ializable, como p.ej. JSON. En o no de desa ollo Se ha c eado un eposi o io en Gi hub con los pasos conc e os a modo de guía, que pueda se usado po cualquie desa ollado que quie a eplica los ejemplos [10]. El p ime paso pa a pode desa olla los es , es la pues a a pun o de un en o no de desa ollo adecuado con el que pode abaja . Se necesi a mon a sob e el sis ema ope a i o, en es e caso Ubun u (A), el mo o de bases de da os de Cassand a, Apache Spa k y el Conec o Spa k-Cassand a (2.5). Además, hay que ins ala las dependencias [11]. Pa a los ejemplos se usa á an o Scala como Py hon, así como biblio ecas y u ilidades. Desa ollo de los ejemplos. Pa a lle a a cabo es a p ime a i e ación de p uebas, y que pudie an e se esul ados angibles, se ha ca gado una se ie de da os de p ueba en a ias ablas, siendo el modelo muy simila a cualquie modelo de da os de una base de da os elacional. Conc e amen e en el Ejemplo 1 de la ba e ía de es , es en el que hemos ealizado es a a ea, con dos sc ip s en Py hon (sin u iliza Spa k). Se ha u ilizado un he amien a llamada Mocka oo [34] pa a gene a da os ic icios y pode abaja con ellos en los ejemplos4. Se ha lle ado a cabo median e dos sc ip s en código Py hon: •Ejemplo 1 ◦mock_da a: Da os de ejemplo de pe sonas, con da os ic icios5. ◦mock_ca s: Da os ic icios de coches cuyo dueño es a ep esen ado po un egis o del conjun o mock_da a6. 4es una he amien a con un modelo de negocio eemium, donde en la pa e g a ui a hay una limi ación de 2K egis os. En es e TFG se han usado algunos conjun os de da os de 4K egis os, gene ando dos conjun os de da os con dicha he amien a y uniéndolos. 5h p://bi .ly/py-upload-da a 6h p://bi .ly/py-upload-ca s 26 Hay a ias o mas de ejecu a código en Spa k, una de ellas usando Spa k Shell, que es una he amien a de línea de comandos, donde se an ing esando comandos en len- guaje Scala, siendo és os in e p e ados uno a uno. En p incipio usamos es a ía pa a amilia iza nos con los comandos, la con igu ación del en o no, la ca ga de un RDD e i p obando ans o maciones y acciones. Du an e el desa ollo de la ba e ía de es , se ha c eado un eposi o io de Gi hub con una desc ipción de allada de dichos ejemplos, de cuyas en adas se pone la e e encia: •Ejemplo 2 [7]. •Ejemplo 3 [8]. O a ía pa a la ejecución de sc ip s en Spa k, es usando la he amien a spa k-submi , compilando la aplicación en Scala median e, po ejemplo, sb ([11]). Po es a ía, además de los ejemplos 2 y 3, podemos ejecu a los siguien es ejemplos de la ba e ía de es iniciales: •Da ase Join 01 [4]. •Da ase Join 02 [5]. Po úl imo, hemos explo ado el uso de la biblio eca pyspa k pa a Py hon, ya que podemos in eg a el código de análisis de da os en cualquie p og ama Py hon. Es a opción es la que nos ace ca mejo a los obje i os del TFG. Es a ía se ha desa ollado en el úl imo es de la ba e ía. •Da ase Join 03 [6]. Conclusiones de los es . Una ez concluidos los es , se llega a la conclusión de que se han alcanzado los obje i os iniciales pa a pode elabo a una he amien a basada en las ecnologías explo adas. En el es inal se han ejecu ado ope aciones pa ecidas a lo que se quie e consegui , usando un sc ip en Py hon, que puede se in eg ado en una aplicación que siga la a qui ec u a p opues a po es e abajo. Es deci , se concluye que se puede desa olla un mic ose icio ipo REST que in e ac úe con Spa k y Cassand a, usando la in e az de al o ni el de Spa k, llamada Da ase , pa a llega a cumpli los obje i os del TFG. De es a o ma podemos desacopla la pla a o ma, y el lenguaje con el que se desa olla, de la pla a o ma en la que se desa olle la aplicación inal (aplicación, middlewa e, e c.). 4.3. Diseño La e apa de diseño se ha comple ado con la suma de odas las e apas de diseño den o del p oceso i e a i o: análisis, diseño e implemen ación. Se ha di idido en dos subsis emas, cada uno de ellos con un p opósi o di e enciado: 27 34 5 Mic ose icio Apollo Hous on, T anquili y Base he e. The Eagle has landed. Neil A ms ong Es e capí ulo es á dedicado exclusi amen e a uno de los en egables de es e TFG, y aunque de él se ha comen ado en capí ulos an e io es, aquí se ecogen de o ma ag upada los aspec os más écnicos. Como ya se ha comen ado, Apollo in eg a una API ipo REST pa a desacopla la imple- men ación del clien e, que puede es a implemen ada en cualquie pla a o ma, y cualquie lenguaje, siemp e que pueda in e comunica se u ilizando el p o ocolo HTTP, usando e bos GET y POST, y u ilizando JSON como o ma o de in e cambio de da os, an o en la llamada como en la in e p e ación de la espues a. // Apollo endpoin :/ abou { " api_name ":" Apollo ", "au ho _email":"juanan onioaguila @gmail.com", "au ho _name":" Juan A . Aguila - Jimenez ", "documen a ion":"h p:// jasse 75.gi hub.io/apollo", "license":"Apache 2.0", "p ojec _ eposi o y":" h ps :// gi hub . com/ jasse 75/apollo.gi hub", " e sion":1.0 } Código 5.1: Respues a JSON: Ace ca de Apollo API 5.1. In e az La in e az es á desc i a an o en la documen ación [2], donde podemos e una guía de uso pa a el desa ollado , como a a és del lenguaje de desc ipción API Bluep in en un iche o en el CD-ROM que acompaña a es a memo ia, disponible ambién online [12]. Se añaden a pa i de aquí algunos pun os que cabe des aca . 5.1.1. Ge Table /ge - able endpoin 35 Es una unción p imi i a de la he amien a, ya que las ope aciones de join y de union ne- cesi an de las acciones a bajo ni el de es a ope ación. Pe mi e ealiza es de las ope aciones básicas del álgeb a elacional (2.2): P oyección, Selección y Renomb ado. // Apollo endpoin :/ge - able { " keyspace ":" examples ", " ablename ":" mock_da a " , " selec " :[{"id":"key"}," i s _name "," las _name "," email " ,"age",{" language ":" mo he _ ongue "}], " calcula ed ":{ "age":" ound ( mon hs_be ween ( cu en _da e () ,bi h_da e )/12,0)" }, " il e " :" email like " % elo % "", " so by " :[ {" gende " :"asc"}, {" i s _name ":" asc"} ], "o ien _ esul s":" eco ds" } Código 5.2: Ejemplo de llamada: Ge Table, Apollo API En [Código 5.2] enemos un ejemplo de cómo consul a egis os con una p oyección de de e minadas columnas y enomb ándolas en el esul ado. También se u iliza un campo calculado en el que se usa una exp esión de Spa k SQL pa a calcula la edad en unción de la echa de nacimien o. Hay ambién una decla ación de o denación po los campos gende y i s _name. Además, se ealiza una selección de ilas ( il o) en unción de una subcadena de la columna email1, conc e amen e se seleccionan odos los egis os donde el email con enga la cadena elo. En [Código 5.3] podemos e el esul ado. S acked . O a opción cla e en la ope ación ge able, puede e se en [Código 5.4] y que pe mi e pi o a de una es uc u a o ien ada a columna, a una o ien ada a ilas. Dicha opción, es especialmen e impo an e pa a el caso de uso (3.2), ya que en él se maneja una es uc u a de da os donde una cla e es á inculada con un núme o inde e minado de columnas; es deci , un p edicado semán ico puede ene inde inidos suje os e inde inidos p edicados. En dicha es uc u a, se ía muy complejo hace un join al desconoce se el núme o exac o de columnas. Po an o, se ans o ma a una es uc u a con un núme o a iable de ilas y ijo de columnas, en la cual no se necesi a conoce el núme o exac o de ilas en el momen o de hace los c uces de da os, dada la na u aleza in ínseca de la ope ación join (2.2.3). Es po ello que se hace la ci ada ans o mación, de column-o ien ed a ow-o ien ed. Pa a pode hace esa ans o mación, se añade el campo owid, iden i icando así los alo es de la ‘misma ila’. Adicionalmen e, podemos necesi a añadi un campo a la clus e ing key pa a iden i ica alo es elacionados, p.e. num, que se ía ambién, po an o, pa e de la p ima y key. 1usando los da os de ejemplo de inidos en la documen ación [10] 36 // Response 200 OK. ... "da a ":[ { "age":31.0, " email ":" upelon@google .pl ", " i s _name ":" Ronna ", "key":887, " las _name ":" Rupel ", "mo he _ ongue":" Ko ean " }, { "age":48.0, " email ":" c obelow 3d@who . in ", " i s _name ":"Conway", "key":121, " las _name ":"Robelow", "mo he _ ongue":" Tsonga " }, { "age":57.0, " email ":" ncolg a elo@np . o g ", " i s _name ":" No by ", "key":780, " las _name ":" Colg a e ", "mo he _ ongue":" Tajik " } ], ... Código 5.3: Ejemplo de esul ados: Ge Table, Apollo API // Apollo endpoin :/ abou // -- S acked op ion ... "s acked":{ "au o ": alse, " s a egy ":" double - alue " , " s ack_p_key ":[" key"], " s ack_c_key ":[" num"], " s ack_pai ":" owid ", "s ack_column":" alue ", " il e _ ield":" num", " il e _le _ alue":1, " il e _ igh _ alue":2 } ... Código 5.4: Ge Table, Apollo API, opción s acked. 37 Ejemplo de da os: key num column1 column2 column3 i s Name 1 Picasso Rodin Velazquez i s Name 2 Pablo Augus e Diego Fields explained: •au o, si es alse,s ack_p_key es obliga o io, además s ack_c_key se necesi a ía solamen e pa a "s a egy": "single- alue". •s a egy, dos posibilidades: ◦single- alue: se hace la ans o mación de las columnas de da os a ilas, y pa a iden i ica alo es elacionados en una misma ila de la abla o iginal, se añade un campo owid con un alo único, p.e. UUID. key owid num alue i s Name 544ca336-2d9c-36bb-8433-17371498d2 e 1 Picasso i s Name 544ca336-2d9c-36bb-8433-17371498d2 e 2 Pablo i s Name 1c25492-21b1-314a-8218-75da2d4e8 bd 1 Rodin i s Name 1c25492-21b1-314a-8218-75da2d4e8 bd 2 Augus e i s Name 1c25492-21b1-314a-8218-1608134e5815 1 Velazquez i s Name 1c25492-21b1-314a-8218-1608134e5815 2 Diego ◦double- alue: pa a asocia los dos alo es de da os que o man un pa . A ca- da alo de la misma columna se le asocia un código UUID pa a iden i ica lo uní ocamen e, y se cogen dos conjun os de da os: el de la izquie da, il ando la clus e ing key po el alo il e _le _ alue; el de la de echa, il ando po el alo il e _ igh _ alue; se hace un join de los dos conjun os de da os, omando como c i e io de compa ación la pa i ion key más el campo owid. key owid alue1 alue2 i s Name 544ca336-2d9c-36bb-8433-17371498d2 e Picasso Pablo i s Name 1c25492-21b1-314a-8218-75da2d4e8 bd Rodin Augus e i s Name 1c25492-21b1-314a-8218-1608134e5815 Velazquez Diego •s ack_p_key es la lis a de campos que o man pa e de la pa i ion key. •s ack_c_key, lis a de campos de la clus e ing key, que jun o a la pa i ion key o man la p ima y key de la abla. •s ack_pai es el nomb e que se le da a un campo au ogene ado, po de ec o owid, que iden i ica alo es ubicados en la misma columna con la misma cla e de la abla o iginal. Se á ambién pa e de la clus e ing key de la abla. • il e _le _ alue y il e _ igh _ alue, pa áme os de con igu ación nece- sa ios en un escena io de es a egia double- alue donde se u ilizan pa a hace la ans o mación de columnas de da os a ilas. 38 // Apollo endpoin :/ c ea e - able { " keyspace ":"examples_bis", " ablename ":" new_ able_ 2", "columns":[ { " db_ ield ":"key_1", "db_ ype":"In ege ", "pa i ion_key":" ue " }, { " db_ ield ":"key_2", "db_ ype":"In ege ", "pa i ion_key":" ue " }, { " db_ ield ":" i s _name ", "db_ ype":" Tex ", " p ima y_key ":" ue " }, { " db_ ield ":" las _name ", "db_ ype":" Tex ", " p ima y_key ":" ue " }, { " db_ ield ":" age ", "db_ ype":"In ege " } ] } Código 5.5: Ejemplo de llamada: C ea e Table, Apollo API 5.1.2. C ea e Table /c ea e- able endpoin Aunque no es indispensable pa a es e TFG, en el que las ablas de da os a analiza son p e-exis en es. Sin emba go, in e esa pode c ea nue as ablas donde gua da esul ados ob enidos de o as ope aciones y así pode usa los como base en pos e io es análisis. En [Código 5.5] podemos e un ejemplo de c eación de una abla, donde enemos una pa i ion key compues a po dos campos, que jun o a o os dos campos o man la p ima y key2. 5.1.3. Join /join endpoin Es a ope ación, quizás la que da sen ido a es e p oyec o ya que suple la ca encia de Cassand a pa a c uce de da os, implemen a la Unión Na u al del álgeb a elacional (2.2). 2en Apache Cassand a (2.3) el p ime campo co esponde a la pa i ion key, es deci , en qué nodo se almacena á el da o, pudiendo se una pa i ion key compues a po a ios campos. El es o de campos de inidos como p ima y key componen la clus e ing key que de ine cómo se o denan los egis os den o de la pa ición 39 // Apollo endpoin :/join { // join in e no " join_a " :{ " able_a":{ " keyspace ":" examples ", " ablename ":" mock_da a ", " join_key ":[" id_people "], " selec " :[{"id":" id_people "},{" i s _name ":" name "}," las _name "," email " ,"gende "," d inke "] }, " able_b":{ " keyspace ":" examples ", " ablename ":" mock_ca s ", " join_key ":[" id_owne "], " selec " :["ca _id"] }, " join_key ":[" id_people ","ca _id"], " join - ype ":" inne " // de aul }, " able_b":{ " keyspace ":" examples ", " ablename ":"ca s_owned_by_d inke s", " join_key ":["id",{"ca _id":"ca _id_2"}], " selec " :[" ca _make "," ca _model "] }, " selec " :[" id_people "," name","ca _id"," ca _make "], "join - ype":" inne " // de aul } Código 5.6: Join,Apollo API Es un ope ado bina io donde los ope andos pueden ene una es uc u a ecu si a, de o ma que desencadena á an as ope aciones como ni eles de ecu sión se de inan. Los ope andos pueden se de dos ipos, una abla o la desc ipción de una ope ación. Es a desc ipción admi e una Unión Na u al (join) o la Unión de conjun os del álgeb a elacional (2.2). De o ma que exis en nue e posibilidades: Join able_a ./ able_b able_a ./ join_b able_a ./ union_b join_a ./ able_b join_a ./ join_b join_a ./ union_b union_a ./ able_b union_a ./ join_b union_a ./ union_b En el ejemplo, en [Código 5.6] podemos e un join ‘mul iple’, donde la desc ipción más ex e na iene como pa áme os join_a y able_b, lo que signi ica que se ha á el join in e no, 40 en el que se desc iben dos nue as ablas, y el esul ado se c uza á con able_b pa a gene a el esul ado inal. 5.1.4. Union /union endpoin Es a ope ación implemen a la unión desc i a po el álgeb a elacional (2.2), donde dados dos conjun os de da os, el conjun o de da os esul ado con iene las ilas de ambos [ ig. 2.3]. La ope ación se desc ibe con un obje o JSON, que cons a de dos ope ado es. Cada uno de ellos puede se una ope ado ecu si o que equie a de la ejecución de o as ope aciones básicas. Unión able_a ∪ able_b able_a ∪join_b able_a ∪union_b join_a ∪ able_b join_a ∪join_b join_a ∪union_b union_a ∪ able_b union_a ∪join_b union_a ∪union_b Además ambién admi e pa áme os pa a modi ica el esul ado o pa a indica cuál es la join_key. Más in o mación puede e se en la documen ación en linea ([2]). 5.2. De alles de Implemen ación 5.2.1. in e az bow Es e módulo del p oyec o es el que implemen a la in e az REST. Llamado así po el dios Apollo de la mi ología g iega, conocido ambién como “el a que o” o “el cazado ”. Es á implemen ado sob e Flask, un amewo k de Py hon que nos pe mi e de ini los endpoin s, bien sea GET o POST, en los que se ecoge un documen o JSON con los pa áme- os de la llamada. Una ez pa seados dichos pa áme os, se in oca a una se ie de unciones in e nas y de biblio ecas p opias que abajan an o con los da os como con las in e aces sob e Spa k o con a Cassand a en algunos casos. 5.2.2. biblio eca admix Se ha denominado así po se una mezcla de uncionalidades, en e las cuales es á la de ob ene in o mación sob e las p opias es uc u as de Cassand a ( ablas, keyspaces, e c.), como pa a in oca las unciones del d i e de Cassand a (2.3), o pa a c ea nue as ablas. La documen ación sob e es a biblio eca puede consul a se online [3]. 41 5.2.3. biblio eca qui e Es e es el co e del p oyec o. Pe mi e in e ac ua con Apache Spa k, haciendo posible la compu ación de los da os desde Cassand a. El nomb e de qui e , del é mino que signi ica en cas ellano “ca caj”, además de o as acepciones, que es el ins umen o donde se gua dan las lechas; haciendo una e e encia, una ez más al dios Apolo, “el a que o”. En (5.7) puede e se un ozo de código que ealiza una unción especialmen e in e esan e: la pa e en la que se ans o ma un Da aF ame de Spa k en un RDD pa a pode ans o ma , a su ez, las columnas de da os en ilas. Usado en la implemen ación de la opción s acked de ge _ able y que es cla e pa a ealiza la unión na u al en e conjun os de da os con un núme o de columnas inde e minado (5.1.1). Pos e io men e se uel e a con e i en Da aF ame pa a pode hace join a al o ni el, con una sin axis mucho más cla a. La documen ación sob e es a biblio eca puede consul a se online [3]. 42 de _map_s ack ( h_ ow , s ack_p_key , p ima y_key ): """ Con e s one ow ’s column in o new ows , keeping o iginal keys in all ows , and adds new unique iden i ie in o de o iden i y ela ed columns """ columns = {} # uuid seed s ack_p_key_ alue = {} # common elemen s o idx , key in enume a e ( p ima y_key ): i key in s ack_p_key : s ack_p_key_ alue [ key ] = h_ ow [ idx ] columns [ key ] = _ im_s ( h_ ow [ idx ]) # s ack elemen s e u n [ Row( ** columns , # qui e _pai is a hash alue o elemen s (columns ) o he same key and column posi ion # om he o iginal da ase , so i mus be pa o he key o join associa ed elemen s # o he p e ious da ase ’s key plus column index qui e _pai _=s (uuid3(NAMESPACE_URL , ’ {} _{} ’. o ma (s (s ack_p_key_ alue), indx ))) , # di e en column alues qui e _column_= al ) o indx , al in enume a e ( h_ ow [ len( p ima y_key ) :]) # i e a es o e da a columns ] ... # s ack main pa dd = da ase . dd . la Map ( lambda ow: _map_s ack ( ow , s ack_p_key , p ima y_key ) ) # enames in e nal names o de ini i e names d _s acked = _ ename_column ( _ ename_column( spa k . c ea eDa aF ame ( dd) , _pai , s ack_pai ), _column , s ack_column ) ... Código 5.7: Implemen ación de con e sión de ilas a columnas: s ack 43 Figu a 6.5: Daphne Caso de Uso - Tes 03 - Apollo Que y. { "_apollo_que y":{ " selec " :[ "_m" ], " able_a":{ " _ bles " :[ "_m" ], " selec " :[ { " column " :"_m" } ], " il e " :"key = " h p :// khaos . uma. es / On ologies / a is s . owl# museum " and column is no null ", " join_key ":[ "_m" ], "o ien _ esul s":" eco ds", " keyspace ":" dbowl 2", " ablename ":"c 110", "s acked":{ "au o ": ue, " s a egy ":" single - alue " , " s ack_p_key ":[ "key" ], " s ack_pai ":" owid ", "s ack_column":" column " } }, " able_b":{ " _ bles " :[ "_m" ], 50 " selec " :[ "column2", { "column1":" _m" } ], " il e " :"key = " h p :// khaos . uma. es / On ologies / a is s . owl# loca edIn " and column1is no null and column 2= " h p:// khaos . uma. es / On ologies / a is s . owl # mad id "", " join_key ":[ "_m" ], "o ien _ esul s":" eco ds", " keyspace ":" dbowl 2", " ablename ":"c 111", "s acked":{ "au o ": alse, " s a egy ":" double - alue " , " s ack_p_key ":[ "key" ], " s ack_c_key ":[ "num" ], " s ack_pai ":" owid ", "s ack_column":" column ", " il e _ ield":" num", " il e _le _ alue":1, " il e _ igh _ alue":2 } }, "join_a":{}, "join_b":{}, "o ien _ esul s":" eco ds", " _ iples ":[ { "subjec ":"?m", " p edica e ":"h p:// khaos . uma .es/ On ologies / a is . owl/ ype ", "objec ":"h p:// khaos . uma .es/ On ologies / a is s . owl# museum " }, { "subjec ":"?m", " p edica e ":"h p:// khaos . uma. es/ On ologies / a is s . owl# loca edIn ", "objec ":"h p:// khaos . uma .es/ On ologies / a is s . owl# mad id " } ], " join_key ":[] }, " _que yType ":"selec ", "_apollo_u l":"h p:// localhos :5000/ join " } Código 6.6: Consul a Apollo Que y - Caso de Uso - Tes 01 El subsis ema es uno de los p oduc os en egables de es e TFG, podemos encon a lo en $CD-ROM$/daphne/daphne-ms , disponible ambién online [12] 6.2.2. Clien e daphne-web En [ ig. 6.1] enemos como en idad gené ica “App”, que ep esen a cualquie clien e o middlewa e que u ilice al sis ema Apollo pa a c uza da os desde Cassand a. También se ha desa ollado una implemen ación de un clien e Web que pe mi e ejecu a los ejemplos 51 Figu a 6.6: Daphne Caso de Uso - Tes 01 - Clien e Web Resul ados. de la ba e ía de es (6.1) desde una in e az g á ica. Hemos denominado daphne-web a la aplicación pa a dis ingui la del mic ose icio daphne-ms (6.2.1). Es á implemen ada usando Angula , amewo k Ja asc ip de g an p oduc i idad. La implemen ación ealizada explo a a ios pun os ue es de es e amewo k, que pe mi e in e ac ua con APIs ipo REST (A). En pa icula desde daphne-web se in oca an o a daphne-ms como a Apollo median e sendos Se icios de Angula , des inados a in e ac ua con se icios emo os. En dicha implemen ación, se ha u ilizado el pa ón de diseño Obse - able, donde los se icios son obse ados po los componen es que consumen los da os de las espues as de los Se icios. En las igu as: [ ig. 6.6],[ ig. 6.7] y[ ig. 6.8] podemos e el pan allazo de la ejecución cada unos de los es de la ba e ía de es p opues a, lanzados desde daphne-web. El subsis ema es uno de los p oduc os en egables de es e TFG, podemos encon a lo en $CD-ROM$/daphne/daphne-web, disponible ambién online [12] 52 Figu a 6.7: Daphne Caso de Uso - Tes 02 - Clien e Web Resul ados. Figu a 6.8: Daphne Caso de Uso - Tes 03 - Clien e Web Resul ados. 53 54 7 Conclusiones y abajos u u os I you pu you mind o i , you could accomplish any hing. D . Emme B own El obje i o p incipal de es e TFG de pode ealiza ope aciones ipo join pa a c uce de uen es de da os desde Apache Cassand a (2.3) u ilizando écnicas escalables, se ha cumplido. Pa a ello se ha u ilizado una pla a o ma so wa e ho izon almen e escalable como es Apache Spa k (2.4). Más allá de es e obje i o, se ha conseguido c ea una he amien a gené ica, sin conocimien o p e io del modelo de da os al que debe a aca , de o ma que no se con amina la lógica implemen ada con la aplicación a un caso de uso conc e o. También se ha conseguido aplica a un caso de uso conc e o (3.2), de un p oblema eal en el que se necesi a un ipo de he amien a como és a y que ue la base pa a la idea del TFG. Se ha ealizado una adap ación de la he amien a gené ica, Apollo (5), al caso de uso, que pe mi e ejecu a consul as SPARQL. Adap ación hecha u ilizando o a he amien a especí ica: daphne-ms (6.2.1), que nos pe mi e ans o ma las consul as SPARQL a consul as en o ma o Apollo Que y (5). Además, se ha implemen ado una aplicación Web, accesible desde un na egado , que p o ee de una in e az g á ica y que comunica con ambos mic ose icios, an o el especí ico como el gené ico, pa a ob ene los esul ados del c uce de da os desde la base de da os Apache Cassand a. 7.1. En egables Los p oduc os en egables de es e TFG, podemos encon a los en el CD-ROM que acom- paña es a memo ia, y ambién online [12]. Halla emos los eposi o ios Gi , po lo que se puede accede a odo el código uen e, así como al his ó ico de e siones du an e el p oceso de desa ollo. $CD-ROM$/apollo $CD-ROM$/daphne/daphne-ms $CD-ROM$/daphne/daphne-web $CD-ROM$/dbowl1 1en es a ca pe a podemos encon a la base de da os del caso de uso de la Web semán ica y un sc ip pa a c ea an o la es uc u a de da os como los da os pa a pode ep oduci los ejemplos. 55 7.2. T abajos Fu u os En el desa ollo de es e TFG se han sen ado las bases, se ha desa ollado una he a- mien a escalable, pe o más allá de las p uebas uncionales y de la p ueba en un en o no de desa ollo con un único nodo pa a cada pla a o ma: Apache Spa k y Cassand a, no se han ealizado p uebas con g andes olúmenes de da os ni se ha hecho una p ueba de es és sob e un clus e . Se ía ambién in e esan e, ealiza p uebas de endimien o en un en o no de p oducción con a ios nodos po clus e , dando luga a posibles mejo as. En cuan o a la on ología ma e ializada (3.1.7) sob e la que se ha implemen ado el caso de uso (3.2), es una on ología ela i amen e pequeña u ilizada más a modo didác ico (3.1). Po ejemplo, hay una on ología desa ollada pa a acili a la e aluación a modo de benchma k [1], y se ía in e esan e pode hace p uebas con la e sión ma e ializada de dicha on ología en una base de da os Cassand a. Dicha ma e ialización excede del ámbi o de es e TFG y equie e de o as pe sonas pa a pode ealiza lo. Po ello, y po cues iones de iempo debido a que las ases deben es a aco adas a un calenda io y a un núme o de c édi os conc e o, no se ha ealizado a lo la go del desa ollo de es e p oyec o. 56 Apendice A Apéndice – Tecnologías u ilizadas I I ha e seen u he , i is by s anding upon he shoulde s o gian s Isaac New on A lo la go de es e abajo, se han u ilizado múl iples he amien as, pla a o mas, lenguajes y amewo ks de desa ollo en odas sus ases: an o pa a el es udio p e io, como pa a el p oceso de desa ollo p opiamen e dicho, incluso como subsis emas in eg ados en la p opia solución. Casi odas ellas de código abie o [41] o licencia g a ui a. De las es an es, se ha usado la pa e no come cial den o de un licenciamien o sha ewa e o den o de un modelo de negocio eemium. Edi o es de código •Sublime Tex , es un edi o de ex o diseñado especialmen e pa a código, capaz de esal a la sin axis de mul i ud de lenguajes an o de p og amación como de ma cado o codi icados en di e en es o ma os. Es ex ensible a a és de plugins esc i os en Py hon. Licencia sha ewa e pa a demo po iempo ilimi ado. Se ha u ilizado pa a edi a el código Py hon y Node Js de es e abajo [32]. •Visual S udio Code, edi o de Mic oso , bajo licencia MIT. Se ha u ilizado pa a el código Angula . Edi o es de ex o •Sha eLa ex, edi o online de La ex, con licencia eemium que pe mi e una cuen a pe sonal de uso g a ui o. Se ha u ilizado pa a elabo a la memo ia. Edi o es de g á icos ec o iales •Inkscape, edi o de g á icos en ec o ial (SVG, PDF), que expo a ambíen a imágenes en o ma o PNG. Licencia GNU GPL. Se ha u ilizado pa a algunas igu as de la memo ia de es e TFG. •Lib eo ice D aw, edi o de la sui e o imá ica de licencia g a ui a. Se ha u ilizado jun o con inkscape, pa a compone algunos de los g á icos de la memo ia y de la p esen ación. •d aw.io, edi o ec o ial online con mul i ud de plan illas pa a ipos de g á icos es ánda . Se ha usado pa a los diag amas UML an o de la memo ia como de la p esen ación. Lenguajes/En o nos de p og amación a •Scala, es un lenguaje uncional que ejecu a sob e la Ja a Vi ual Machine (JVM), se ha usado pa a las p ime as p uebas de análisis de es e TFG. •Py hon, además de un lenguaje in e p e ado de p og amación de p opósi o ge- ne al, es ambién como se conoce al in é p e e del lenguaje. Se ha usado pa a desa olla an o la he amien a p incipal del p oyec o Apollo (5), como pa a hace es de diseño y p uebas. •Node Js, un en o no de ejecución de Ja aSc ip o ien ado a e en os asínc onos. Se u iliza pa a sc ip s de se ido po su escalabilidad. Se ha usado pa a la he- amien a daphne-ms (6.2.1). •Ja ac ip , usado di ec amen e con Node Js, e indi ec amen e con Angula , ya que Typesc ip “ anspila” a Ja asc ip . Lenguajes de ma cado •HTML, es el lenguaje base pa a la Web. Se ha u ilizado embebido en el desa ollo de daphne-web (6.2.2), pa a cons ui las is as de los componen es de Angula y la página de inicio. •Ma kdown, es un lenguaje lige o de ma cado, que pe mi e o ma ea ex os usando una no ación muy simple. Se ha u ilizado pa a la documen ación online, ya que pla a o mas como Gi hub, pe mi en es e ipo de ma cado; pa a después, usando Gi hub Pages, ans o ma de o ma au omá ica a HTML [2] [10]. También es pa e del lenguaje de desc ipción de APIs API Bluep in pa a, p ecisamen e, gene a la pa e de documen ación. Lenguajes de Es ilo •Cascading S yle Shee (CSS), es un lenguaje de es ilos pa a p esen ación de do- cumen os HTML. U ilizado en daphne-web Lenguajes de in e cambio de da os •YAML Ain’ Ma kup Language [20] (YAML), es un lenguaje de ma cado, que se suele u iliza an o pa a se ialización, como pa a iche os de con igu ación, desc ipción de APIs. En es e abajo se ha usado pa a con igu ación en Apollo (5) y Daphne (6). •JSON, es una no ación pa a desc ipción de obje os Ja asc ip , aunque hoy en día se usa en mul i ud de en o nos ya que se ha ins au ado como es ánda de ac o pa a el in e cambio y se ialización de in o mación, sus i uyendo en muchos casos a no aciones más o males, como es el XML. En es e abajo se a u ilizado p o usamen e, an o como o ma o de llamada/ espues a de Apollo (5) y Daphne (6), como in e namen e en Daphne, como pa a iche os de con igu ación. Lenguajes de desc ipción de APIs b •Bluep in API, es un lenguaje de desc ipción de APIs, que pe mi e an o docu- men a como diseña las p uebas pa a que puedan se ejecu adas po so wa e de alidación de APIs con a la p opia API, como p.ej.: D edd [33]. Se ha usado en es e TFG an o como documen ación como pa a desc ipción de la API pa a p uebas au omá icas. Lenguajes de consul a •CQL, lenguaje de consul as de Apache Cassand a. Se ha u ilizado an o en la ase de análisis y diseño como pa a ealiza p uebas pos e io es. •SPARQL, lenguaje de consul a pa a documen os RDF. Se ha u ilizado en el clien e daphne-web (6.2.2), de o ma que se puede consul a la base de da os Cassand a, ya que daphne-ms ans o ma de es e lenguaje al o ma o de consul a de Apollo (5). Biblio ecas y d i e s •cassand a-d i e , biblio eca que pe mi e consul a y ges iona la base de da os Cassand a desde código Py hon de o ma p og amá ica. •Spa k-Cassand a Connec o [16], es una biblio eca de código abie o, bajo licencia Apache, que pe mi e in e ac ua con Cassand a, lanzado consul as con a la base de da os y ca gando en las es uc u as de da os de Spa k, como son los RDDs y Da ase s (Da aF ames en PySpa k) •Flask-Co s, es una biblio eca de unciones que pe mi e implemen a el s anda d C oss-O igin Resou ce Sha ing (CORS); los na egado es, po mo i os de segu i- dad, impiden que las aplicaciones accedan a ecu sos localizados en o o dominio di e en e si no se especi ican una se ie de encabezados HTTP pa a pode hace uso de dichos ecu sos “c uzados”. En el caso de es e abajo se ha u ilizado po que an o Apollo (5) como Daphne (6) pueden es a disponibles en di e en e dominio, o IP, o en el caso del en o no de desa ollo en di e en e pue o, po lo que equie e de es a implemen ación, que en el caso de Flask se puede hace con la ayuda de es a biblio eca. •pandas, biblio eca Py hon pa a el análisis y manipulación de da os en o ma de abla. Es una biblio eca basada en es uc u as de da os Numpy, abaja en me- mo ia y es muy lexible: puede indexa , il a , c uza da os en e ablas, ag upa da os, expo a a a ios o ma os, y un la go e cé e a de ca ac e ís icas [36]. En es e abajo se ha usado en Apollo (5) pa a ans o ma a o ma o JSON los da os desde Cassand a o desde Spa k, man eniendo la es uc u a abula . •pyspa k, biblio eca de unciones pa a Py hon, que ac úa como capa de acceso a Apache Spa k. Se ha usado en Apollo pa a in e ac ua con Spa k. •PyYAML, biblio eca de unciones pa a Py hon que pe mi e manipula da os en no ación YAML. c j Ac ónimos ABox Asse ional Box. 18–20, 24 ACID A omici y, Consis ency, Isola ion and Du abili y. 5 API Applica ion P og amming In e ace. c, d, 11, b, e, 31, 32, h, 35, 48, 52 BASE Basically A ailable, So s a e and E en ual Consis ency. 5, 11 CORS C oss-O igin Resou ce Sha ing. c CQL Cassand a Que y Language [26]. c, 1, 10, 24, n CRC Cyclic Redundancy Check. 11 CSS Cascading S yle Shee . b CSV Comma-Sepa a ed Values. i DL Lógica de Desc ipciones. 16, 18 DRY Don’ Rein en You sel . g GNU GPL GNU No Unix Gene al Public License. e HTML Hype Tex Ma kup Language. 5, 15, b HTTP Hype Tex T ans e P o ocol [13]. c, 29, g, 35 JAR Ja a ARchi e. 13 JSON Ja asc ip Objec No a ion [39]. i, c, d, 3, 5, 26, b, 29–31, g, 35, 41, 45, 46, 48 JVM Ja a Vi ual Machine. d, b NoSQL No Only SQL 2.1. 1, 2, 5, 6, 10, 19, 20 OWL Web On ology Language [40]. 1, 16, 19 RDD Resilien Dis ibu ed Da ase . c, 12, 13, 25, 27, 42 RDF Resou ce Desc ip ion F amewo k. i, c, 15, 16, 18, 19, 45 REST Rep esen a ional S a e T ans e REST. 21, 27, 29, 35, 41, 52 SPARQL SPARQL P o ocol and RDF Que y Language. c, d, 2, 3, 16, 18, 19, 30, 31, 45, 48, 55 SQL S uc u ed Que y Language. 3, 6, 8–10, 18, 21, 24, 29 TBox Te minological Box. 18–20 k TFG T abajo Fin de G ado. c, 1–3, 6, 23, 24, a, 27, e, 35, 39, 51, 53, 55, 56 URI Uni o m Resou ce Iden i ica o . 32, h W3C Wo ld Wide Web Conso ium. 15 WORM W i e Once Read Many. 5 WWW Wo ld Wide Web. 2, 15 XML eX ensible Ma kup Language. i, 5, 15, 16, b YAML YAML Ain’ Ma kup Language [20]. i, c, b l Re e encias [1] Swa p ojec s - he lehigh uni e si y benchma k (lubm). [h p://swa .cse.lehigh. edu/p ojec s/lubm/ — accedido: 2018-04-19]. [2] Juan A. Aguila -Jiménez. Apollo documen a ion. [h ps://jasse 75.gi hub.io/ apollo/ — accedido: 2018-04-04]. [3] Juan A. Aguila -Jiménez. Apollo eposi o y. [h ps://gi hub.com/jasse 75/apollo — accedido: 2018-04-04]. [4] Juan A. Aguila -Jiménez. Da ase join 01 example. [h ps://jasse 75.gi hub.io/ Spa k-Cassand a-No es/Examples/da ase -join-01.h ml — accedido: 2018-03-22]. [5] Juan A. Aguila -Jiménez. Da ase join 02 example. [h ps://jasse 75.gi hub.io/ Spa k-Cassand a-No es/Examples/da ase -join-02.h ml — accedido: 2018-03-22]. [6] Juan A. Aguila -Jiménez. Da ase join 03 example. [h ps://jasse 75.gi hub.io/ Spa k-Cassand a-No es/Examples/da ase -join-03.h ml — accedido: 2018-03-24]. [7] Juan A. Aguila -Jiménez. Mock da a. [h ps://jasse 75.gi hub.io/ Spa k-Cassand a-No es/Examples/mock-example.h ml — accedido: 2018-03-22]. [8] Juan A. Aguila -Jiménez. Mock da a sa e. [h ps://jasse 75.gi hub.io/ Spa k-Cassand a-No es/Examples/mock-example-sa e.h ml — accedido: 2018-03- 22]. [9] Juan A. Aguila -Jiménez. Open go e nmen como ac o de la inno ación. [h ps: //www.linkedin.com/pulse/open-go e men -como- ac o -de-la-inno aci%C3% B3n-juan-an onio-aguila / — accedido: 2018-03-17]. [10] Juan A. Aguila -Jiménez. Se ing up he en i onmen . [h ps://jasse 75.gi hub. io/Spa k-Cassand a-No es/ — accedido: 2018-03-26]. [11] Juan A. Aguila -Jiménez. Se ing up he en i onmen . [h ps://jasse 75.gi hub. io/Spa k-Cassand a-No es/En i onmen .h ml — accedido: 2018-03-21]. [12] Juan A. Aguila -Jiménez. TFG CD-ROM. [h p://bi .ly/ g-cd om — accedido: 2018-06-10]]. [13] Dan Connolly. Hype ex ans e p o ocol – h p/1.1. [h ps://www.w3.o g/ P o ocols/ c2616/ c2616.h ml — accedido: 2018-03-16]. [14] Da as ax. Cql limi s. [h ps://docs.da as ax.com/en/cql/3.3/cql/cql_ e e ence/ e Limi s.h ml — accedido: 2018-03-18]. [15] Da as ax. Da as ax academy. [h ps://academy.da as ax.com/ — accedido: 2018- 03-13]. m [16] Da as ax. Spa k-cassand a connec o . [h ps://gi hub.com/da as ax/ spa k-cassand a-connec o — accedido: 2018-03-18]. [17] dbpedia.o g. DBpedia. [h p://wiki.dbpedia.o g/ — accedido: 2018-04-03]]. [18] dbpedia.o g. Vi uoso SPARQL Que y Edi o . [h p://wiki.dbpedia.o g/ — acce- dido: 2018-04-03]]. [19] G upo de In es igación Khaos. Uni e sidad de Málaga. G upo de In es igación Khaos. [h p://khaos.uma.es/es — accedido: 2018-03-10]. [20] Cla k C. E ans. YAML Ain’ Ma kup Language. [h p://yaml.o g/ — accedido: 2018-03-12]. [21] Apache So wa e Founda ion. Apache Cassand a. [h p://cassand a.apache.o g/ — accedido: 2018-03-10]. [22] Apache So wa e Founda ion. Apache cassand a documen a ion. [h p://cassand a. apache.o g/doc/la es / — accedido: 2018-03-13]. [23] Apache So wa e Founda ion. Apache hadoop: Map educe. [h p://hadoop.apache. o g/docs/s able/hadoop-map educe-clien /hadoop-map educe-clien -co e/ MapReduceTu o ial.h ml#Pu pose — accedido: 2018-03-13]. [24] Apache So wa e Founda ion. Spa k p og amming guide. [h ps://spa k.apache. o g/docs/2.2.0/ dd-p og amming-guide.h ml# dd-ope a ions — accedido: 2018- 03-18]. [25] Apache So wa e Founda ion. Spa k sql, da a ames and da ase s guide. [h ps:// spa k.apache.o g/docs/la es /sql-p og amming-guide.h ml — accedido: 2018- 03-13]. [26] Apache So wa e Founda ion. The Cassand a Que y Language CQL. [h p:// cassand a.apache.o g/doc/la es /cql/ — accedido: 2018-03-10]. [27] Ma in Fowle . Schemaless da a s uc u es. [h ps://ma in owle .com/a icles/ schemaless — accedido: 2018-03-17]. [28] Google. Angula docs. [h ps://angula .io/docs — accedido: 2018-03-13]. [29] S ack Exchange Inc. Ask ubun u. [h ps://askubun u.com/ — accedido: 2018-03-13]. [30] S ack Exchange Inc. Ask ubun u. [h p:// lask.pocoo.o g/ — accedido: 2018-03-13]. [31] Ma ía Jesús Lama ca Lapuen e. Hipe ex o – on ologías. [h p://www.hipe ex o. in o/documen os/on ologias.h m — accedido: 2018-04-13]. [32] Sublime HQ P y L d. Sublime ex edi o . [h ps://www.sublime ex .com/ — acce- dido: 2018-03-18]. n [33] Ad ián Ma ellanes. Como cons ui un API de la que us pa- d es se sien an o gullosos. [h ps://speake deck.com/ama ellanes/ como-cons ui -un-api-del-que- us-pad es-se-sien an-o gullosos — ac- cedido: 2018-03-13]. [34] Mocka oo. Random da a gene a o . [h ps://mocka oo.com/ — accedido: 2018-03-22]. [35] Mozilla. Con ol de acceso h p (co s). [h ps://de elope .mozilla.o g/es/docs/ Web/HTTP/Access_con ol_CORS — accedido: 2018-03-24]. [36] pandas. Py hon da a analysis lib a y. [h ps://pandas.pyda a.o g/ — accedido: 2018-03-18]. [37] p oyec osagiles.o g. Ejecución de la i e ación (sp in ). [h ps://p oyec osagiles. o g/ejecucion-i e acion-sp in / — accedido: 2018-03-21]. [38] uben a. Nosql: clasi icación de las bases de da os según el eo ema cap. [h ps://www.genbe ade .com/bases-de-da os/ nosql-clasi icacion-de-las-bases-de-da os-segun-el- eo ema-cap — ac- cedido: 2018-03-17]. [39] Ed T. B ay. RFC 8259: Ja asc ip Objec No a ion. [h ps://www. c-edi o .o g/ in o/ c8259 — accedido: 2018-03-12]. [40] W3C. Si io Web del W3C — Web On ology Language. [h ps://www.w3.o g/OWL/ — accedido: 2018-03-10]. [41] Wikipedia. Código Abie o — Wikipedia, The F ee Encyclopedia. [h ps://es. wikipedia.o g/wiki/C%C3%B3digo_abie o — accedido: 2018-03-12]. [42] Wikipedia. F eemium — Wikipedia, The F ee Encyclopedia. [h ps://es.wikipedia. o g/wiki/F eemium — accedido: 2018-03-12]. [43] Wikipedia. NoSQL — Wikipedia, The F ee Encyclopedia. [h ps://es.wikipedia. o g/wiki/NoSQL — accedido: 2018-03-10]. [44] Wikipedia. Álgeb a Relacional — Wikipedia, The F ee Encyclopedia. [h ps://es. wikipedia.o g/wiki/%C3%81lgeb a_ elacional — accedido: 2018-03-20]. ñ o Bibliog a ía [BLHL01] Tim Be ne s-Lee, James Hendle , and O a Lassila. The seman ic web. Scien- i ic Ame ican, 284(5):34–43, May 2001. [CNBG+16] José A. Co de o, An onio J. Neb o, C is óbal Ba ba-González, Juan J. Du- illo, José Ga cía-Nie o, Ismael Na as-Delgado, and José F. Aldana-Mon es. Dynamic Mul i-Objec i e Op imiza ion wi h jMe al and Spa k: A Case S udy. In Panos M. Pa dalos, Pie o Conca, Gio anni Giu ida, and Giusep- pe Nicosia, edi o s, Machine Lea ning, Op imiza ion, and Big Da a, pages 106–117. Sp inge In e na ional Publishing, 2016. [Cod72] E. F. Codd. Rela ional comple eness o da a base sublanguages. In Da abase Sys ems, pages 65–98. P en ice-Hall, 1972. [DSS93] Randall Da is, Howa d E. Sh obe, and Pe e Szolo i s. Wha is a knowledge ep esen a ion? AI Magazine, 14(1):17–33, 1993. [KKTC12] Vaibha Khadilka , Mu a Kan a cioglu, Bha ani Thu aisingham, and Paolo Cas agna. Jena-hbase: A dis ibu ed, scalable and e icien d iple s o e. Technical epo , 2012. [LM14] Jesús Luque Muñoz. Un azonado OWL sob e una base de da os NoSQL., Diciemb e 2014. [RARGAM17] Liudmila Reyes-Ál a ez, Ma ía del Ma Roldán-Ga cía, and José F. Aldana- Mon es. A ool o ma e ializing owl on ologies in a column-o ien ed da a- base. 2017. p