In elligence A i icielle
un ou il au se ice de l’in es iga ion
Nelly Ba e , Madhulika Mohan y
In ia Saclay & Ins i u Poly echnique de Pa is
Qui sommes nous ?
Nous aisons pa ie de l’équipe de eche che CEDAR (Rich Da a Analy ics a
Cloud scale) à In ia Saclay.
Nelly Ba e
Doc o an e
In ia & IPP
Simon Ebel
Ingénieu
eche che
In ia
Théo Galizzi
Ingénieu
eche che
In ia
Ioana Manolescu
Che cheu e e che
d’équipe
In ia & IPP
Madhulika
Mohan y
Pos -doc o an e
In ia
L’équipe CEDAR
Données
complexes
Données hé é ogènes
T ai emen s mix es
(DB/ML)
Big Da a
Algo i hmes e icaces
( emps, complexi é)
Données à g ande échelle
Équipe CEDAR
O ganisa ion de l’a elie
Scéna io
Connec ionS udio
P obléma ique
& App oche
ConclusionCon ex e
Con ex e
-Les “ ai s” p o iennen de di é en es sou ces de données, sou en la ges e
complexes
-Les sou ces son de o ma s ès a iés :
-Chaque sou ce ien d’un p oduc eu → pas d’uni o misa ion ni de schéma
-Les données ne son pas p odui es en pensan à l'u ilisa eu inal
S uc u ées Semi-s uc u ées Non-s uc u ées
- Bases de données
-
Tables (Excel, CSV)
- JSON (Web)
- XML (Web)
- HTML (Web)
- Tex e
- PDF
- RDF (Open Da a)
- Neo4j (G aphe)
Commen acili e l’in es iga ion de sou ces ès hé é ogènes ?
P obléma ique & app oche
Les
ne oye ?
Les
isualise ?
Les
equê e ?
Les
in ég e ?
Commen acili e l’in es iga ion de sou ces ès hé é ogènes ?
P obléma ique & app oche
Connec ionS udio !
Connec ionS udio
Connec ionS udio es un ou il qui :
- In èg e des données hé é ogènes de
maniè e uni iée
- Iden i ie les en i és : lieux, pe sonnes,
en ep ises, …
- Pe me de isualise e in e agi a ec
les données
Commen acili e
l’in es iga ion de sou ces
ès hé é ogènes ?
P obléma ique & app oche
Cha gemen des sou ces de données
- Les données son modélisées selon le pa adigme “g aphe”:
- Un noeud = une pe i e po ion d’in o ma ion
-Liens pou connec e les noeuds pou econs i ue la séman ique logique du ichie
-L’ex ac ion d’en i és nommées es appliquée su chaque noeud aleu
-2 modèles linguis iques : S an o d e FLAIR
-2 langues : ançais ou anglais
- Les noeuds qui con iennen des in o ma ions iden iques son usionnés →
connexions en e les sou ces
Cha gemen des sou ces de données
In oduc ion aux données : CAC40
G aphe de données co espondan au CSV du CAC40
Visualisa ion 1 : s a is iques
Commen a oi une bonne idée des en i és dé ec ées ?
-Dis ibu ion d’en i és pa ypes
-Nuage des 100 en i és les plus équen es ( ag cloud)
-Dis ibu ion des ypes d’en i és pa ichie
-Lis e des 100 en i és les plus pa agées pa mi le plus de sou ces
-Tous les g aphiques/ ableaux son expo ables
Visualisa ion 1 : s a is iques
Visualisa ion 2 : s uc u e d’un ichie
Commen a oi une bonne idée de la s uc u e d’un ichie ?
- Une sou ce de données peu ê e ue comme :
- Un ou plusieu s ensembles d’obje s similai es
- Un ensemble de ela ions qui les connec en
- Résul a : une desc ip ion o ien ée u ilisa eu
Visualisa ion 2 : s uc u e d’un ichie
Visualisa ion 2 : s uc u e d’un ichie
SELECT magasin, pays, COUNT( en e)
FROM magasins m
JOIN en es ON m.id= .magasin
WHERE da e=‘12/07/2023’
GROUP BY magasin, pays
HAVING COUNT( en e) > 1000€
Requê e 3 : Requê es u ilisa eu
-Explo e la base de données sans
compé ences en SQL
-SQL : langage u ilisé pou in e agi a ec une
base de données
- Syn axe spéci ique à app end e → bloquan
pou les u ilisa eu s Exemple de equê e SQL
Commen equê e les données de maniè e pe sonnalisée ?
- Lis e de agmen s de données (SELECT de SQL)
-In e connec ables en e eux de maniè e pe sonnalisée ( JOIN de SQL)
F agmen 1 F agmen 2 F agmen 3
Requê e 3 : Requê es u ilisa eu
Ne oyage 1 : poli iques d’ex ac ion
Commen ne oye e uni o mise les données ?
Ne oyage des données semi-au oma ique :
-Ne oyage lo s de l’inges ion
-Ne oyage pa l’u ilisa eu ap ès cha gemen
Poli ique d’ex ac ion : associa ion d’un chemin
e d’un ype d’en i é pou aide l’ex ac ion d’en i és
Ne oyage 1 : poli iques d’ex ac ion
Ne oyage 2 : modi ica ion des aleu s
Commen ne oye e uni o mise les données ?
Ne oyage des données semi-au oma ique :
-Ne oyage lo s de l’inges ion
-Ne oyage pa l’u ilisa eu ap ès cha gemen
- Possibili é de ne oye les aleu s à la main
- Modi ie les aleu s dans la base de données
Ne oyage 2 : modi ica ion des aleu s
Scéna io : CAC40 & HATVP
-CAC40 : lis e des 40 en ep ises ançaises “les plus in luen es”
-HATVP : Hau e Au o i é pou la T anspa ence de la Vie Publique
CAC40 → ichie CSV de 40 lignes
HATVP → ichie XML de 1,5 millions de lignes
Scéna io : CAC40 & HATVP
Conclusion
Connec ionS udio :
- in èg e des données ès hé é ogènes de maniè e uni iée,
-en ex ai des en i és nommées (pe sonnes, lieux, …),
-pe me d’inspec e , equê e e connec e ses données de di é en es açons
Si e web : h ps://p ojec .in ia. /connec ions udio/ /
Con ac : ioana.manolescu@in ia.
