Uni e si ä Ulm | 89069 Ulm | Ge many Fakul ä ü
Ingenieu wissenscha en,
In o ma ik und
Psychologie
Ins i u ü Da enbanken
und In o ma ionssys eme
Konzep ion und En wicklung eines
e izien en P ozess Mining Ansa zes
au Basis on MapReduce
Bachelo a bei an de Uni e si ä Ulm
Vo geleg on:
Co in F ey
co [email p o ec ed]
Gu ach e :
P o . D . Man ed Reiche
Be eue :
Klaus Kamme e
2015
Fassung 29. Mä z 2016
c
2015 Co in F ey
This wo k is licensed unde he C ea i e Commons. A ibu ion-NonComme cial-Sha eAlike 3.0
License. To iew a copy o his license, isi h p://c ea i ecommons.o g/licenses/by-nc-sa/3.0/de/
o send a le e o C ea i e Commons, 543 Howa d S ee , 5 h Floo , San F ancisco, Cali o nia,
94105, USA.
Sa z: PDF-L
A
TEX2ε
Ku z assung
Um Geschä sp ozesse op imie en zu können, müssen diese e s einmal e hoben und
de inie we den. P ocess Mining is ein Technik, mi de en Hil e sich P ozessmodelle
aus gespeiche en Logda en o handene In o ma ionssys eme e heben lassen. Un-
e nehmen bie en sich o g oße Da enmengen an be ei s o handene Logda en ü
solche P ozessanalysen an. Ziel diese A bei is es ein F amewo k ü g oße Logda en
zu en wickeln, welches P ocess Mining e izien au Basis des MapReduce P og ammie -
pa adigmas du ch üh en kann. Hie ü we den zue s G undkonzep e einge üh , die
En wicklung eines Heu is ic Mining Algo i hmus au Basis on MapReduce besch ieben
und diese p o o ypisch im sogenann en P oDoop F amewo k implemen ie .
Um die Leis ungs ähigkei des o ges ell en Ansa zes zu übe p ü en, wi d anschließend
die Geschwindigkei on P oDoop e mi el . Das du chge üh e Expe imen zeig hie bei,
dass de implemen ie e Heu is ic Mining Algo i hmus o allem bei g oßen Da enmengen
e izien angewende we den kann. Abschließend we den wei e e Möglichkei en zu
E izienzs eige ung o ges ell .
iii
Inhal s e zeichnis
1 Einlei ung 1
2 G undlagen 3
2.1 Business P ocess Managemen . . . . . . . . . . . . . . . . . . . . . . . . 3
2.2 P ocessMining................................. 9
2.2.1 Heu is icMine ............................. 11
2.2.2 Social Ne wo k Analysis . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3 MapReduce................................... 18
3 Apache Hadoop 23
3.1 YARN ...................................... 25
3.2 Hadoop Dis ibu ed Filesys em (HDFS) . . . . . . . . . . . . . . . . . . . 27
3.3 MapReduceinHadoop ............................ 31
3.4 ApachePig ................................... 33
4 P o o ypische Implemen ie ung 45
4.1 P oblems ellung ................................ 45
4.2 So wa ea chi ek u ............................... 46
4.3 Heu is ic Mining mi Pig . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.4 Umse zunginJa aEE ............................. 53
5 E aluie ung 67
5.1 F ages ellung.................................. 67
5.2 De ini ion de Me iken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

Inhal s e zeichnis
5.3 Expe imen au bau ............................... 68
5.4 Expe imen du ch üh ung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.5 Da enanalyse des Expe imen s . . . . . . . . . . . . . . . . . . . . . . . . 72
5.6 Bewe ung des Expe imen s . . . . . . . . . . . . . . . . . . . . . . . . . . 75
6 Diskussion 77
6.1 Job uning .................................... 78
6.2 Ve gleich zu Da enbank Managemen Sys emen (DBMS) . . . . . . . . . 81
7 Zusammen assung 83
A Anhang 89
i
1
Einlei ung
In de heu igen, globalisie en Wel sind Un e nehmen da um bes eb , in e na ional
e olg eich und konku enz ähig agie en zu können. Die jeweiligen Geschä sp ozesse
zu kennen und zu op imie en is eine Möglichkei . O mals sind Geschä sp ozesse nu
implizi de inie und nich o mal besch ieben (z.B. mi Hil e eine Geschä sp ozess-
Modellie ungssp ache, wie BPMN [
1
]). Be o Geschä sp ozesse angepass und op i-
mie we den können, müssen diese deshalb e s einmal e hoben und de inie we den.
Viele Un e nehmen besi zen be ei s In o ma ionssys eme, die einzelne Ak ionen in-
ne halb eines implizi de inie en Geschä sp ozesses dokumen ie en. Die dabei en -
s ehenden Logda en können als G undlage ü die E hebung on P ozessmodellen
dienen.
P ocess Mining
nenn sich eine Technik, mi de man aus solchen Logda en
P ozessmodelle übe den a sächlichen Ablau eines Geschä sp ozesses e s ellen kann
(siehe Abbildung 1.1 [
2
]). Des Wei e en lassen sich mi P ocess Mining z.B. soziale
Beziehungen zwischen einzelnen P ozessbe eilig en e mi eln [3].
1
1 Einlei ung
In o ma ionssys eme in Un e nehmen e zeugen und speiche n be ei s g oße Logda-
enmengen, die sich mi klassischen Da en e a bei ungsme hoden nich meh e izien
e a bei en und auswe en lassen [
4
]. Aus diesem G und we den Me hoden benö ig ,
mi denen man P ocess Mining o z g oße Logda enmengen e izien du ch üh en
kann.
MapReduce
is ein P og ammie modell, das speziell da ü en wickel wu de, g oße
Da enmengen e izien zu e a bei en. Die G undidee is hie bei, die Bea bei ung on
Da en au einem e eil en Sys em in meh e en pa allelen S ömen zu e a bei en.
Im Rahmen diese A bei wi d ein Algo i hmus o ges ell , mi dem sich P ocess Mining
au Basis on MapReduce e izien du ch üh en läss . Diese Algo i hmus wu de mi
Hil e des Apache Hadoop F amewo ks im “P oDoop”-P o o ypen implemen ie und
anschließend e aluie .
Abbildung 1.1: G undlegende Funk ionsweise on P ocess Mining
Kapi el 2 üh g undlegende Techniken und Me hoden, wie Business P ocess Manage-
men , P ocess Mining und MapReduce ein. Kapi el 3 besch eib die Funk ionsweise on
Apache Hadoop [
5
]. Kapi el 4 dokumen ie die echnische Umse zung des P oDoop
P o o ypen. Kapi el 5 besch eib ein du chge üh es Expe imen , das die Rechenge-
schwindigkei de echnischen Implemen ie ung des P o o ypen un e such . In Kapi-
el 6 we den die E gebnisse des Expe imen s und die Bedeu ung on MapReduce in
Ve bindung mi P ocess Mining disku ie . Dabei wi d auch ein Ve gleich zu ande en
Fo schungsansä zen gezogen. Kapi el 7 ass diese A bei zusammen.
2
2
G undlagen
In diesem Kapi el we den g undlegende Konzep e o ges ell , welche ü die p ak ische
Umse zung on P ocess Mining und MapReduce benö ig we den. Im Folgenden wi d
das sogenann e Business P ocess Managemen (BPM) einge üh .
2.1 Business P ocess Managemen
Ein Geschä sp ozess (englisch:
business p ocess
) bes eh aus meh e en Ak i i ä en,
die koo dinie ausge üh we den. Ih e gemeinsame Aus üh ung soll dazu üh en, ein
o he de inie es Geschä sziel zu e eichen. Jede Geschä sp ozess kann hie bei
sowohl die In e ak ionen on P ozessbe eilig en inne halb eines Un e nehmens besch ei-
ben, abe auch zwischen meh e en Un e nehmen. Ein Geschä sp ozess de inie nich
3
2 G undlagen
CaseID Ac i i y Ressou ce Times amp
case 1 A John 9-3-2014 15:01
case 2 A John 9-3-2014 15:12
case 3 A Sue 9-3-2014 16:03
case 3 B Ca ol 9-3-2014 16:07
case 1 B Mike 9-3-2014 18:25
case 1 C John 10-3-2014 9:23
case 2 C Mike 10-3-2014 10:34
case 4 A Sue 10-3-2014 10:35
case 2 B John 10-3-2014 12:34
case 2 D Pe e 10-3-2014 12:51
case 5 A Sue 10-3-2014 13:05
case 4 C Ca ol 11-3-2014 10:12
case 1 D Pe e 11-3-2014 10:14
case 3 C Sue 11-3-2014 10:44
case 3 D Pe e 11-3-2014 11:03
case 4 B Sue 11-3-2014 11:18
case 5 E Cla e 11-3-2014 12:22
case 6 D John 11-3-2014 12:34
case 5 D Cla e 11-3-2014 14:34
case 6 A Sue 11-3-2014 15:05
case 4 D Pe e 11-3-2004 15:56
Tabelle 2.1: Beispiel ü ein E en Log (angelehn an [8])
10

2.2 P ocess Mining
Im Folgenden wi d ein P ocess Mining Algo i hmus o ges ell , mi dem In o ma ionen
übe den Ablau on P ozessen be echne we den können.
Mike
John
Pe e
Sue
Ca ol
Cla e
Abbildung 2.6: E mi el e soziale Abhängigkei en aus Tabelle 2.1 (angelehn an [8])
2.2.1 Heu is ic Mine
De P ocess Mining Algo i hmus namens Heu is ic Mine is in de Lage, Logda en zu
e a bei en. Dabei e laub e eine seh e izien e Bea bei ung, um quali a i hochwe ige
P ozessmodelle zu e mi eln [10].
P ocess Mining Algo i hmen haben iele He aus o de ungen zu meis e n. Eine da on
bes eh da in, alsch zugeo dne e E en Logs auszu il e n. Beispiel da ü is
Case 6
in
Tabelle 2.1. Die Da en aus
Case 6
wu den nich ich ig gespeiche und sollen dahe
nich im E gebnis e scheinen.
Da übe hinaus gib es Ins anzlogs, die zwa ko ek au gezeichne sind, abe Ein ä-
ge on Ak i i ä en en hal en, die seh sel en in de Aus üh ung eine P ozessins anz
o kommen [
11
]. Diese Ein äge we den als
"Noise"
bezeichne . Ein P ocess Mining
Algo i hmus soll e in de Lage sein diese he auszu il e n, da sons das e zeug e P o-
zessmodell schnell zu komplex we den kann. Noise kann auch dann in einem E en Log
au e en, wenn bei de Aus üh ung eine P ozessins anz Fehle au e en.
Eine wei e e He aus o de ung on P ocess Mining Algo i hmen bes eh da in, pa allele
Aus üh ungen in einem E en Log zu e kennen und als Ga eways im esul ie enden
P ozessmodell da zus ellen.
11
2 G undlagen
Im Rahmen diese A bei wi d da au e zich e , zwischen XOR-,AND- und OR-Ga eways
zu un e scheiden. Jedes au e ende Ga eway wi d als ein OR-Ga eway behandel . Dies
e meide den hohen Rechenau wand beim E kennen de e schiedenen Typen on Ga-
eways. Wie spä e zu sehen is , we den o zdem seh aussagek ä ige P ozessmodelle
e s ell .
Um die om
Heu is ic Mine
e zeug en P ozessmodelle da s ellen zu können, we den im
olgenden
C*-Ne ze
einge üh (angelehn an C-Ne ze aus [
8
]). Jedes C*-Ne z bes eh
aus meh e en Kno en und Kan en. Es exis ie je ein S a - und ein Endkno en. Diese
we den du ch K eise da ges ell . Alle ande en Kno en (Rech ecke mi abge unde en
Kan en) s ellen Ak i i ä en da . Ge ich e e Kan en zeigen Abhängigkei en zwischen den
Kno en. Falls Kno en meh e e Ausgangskan en haben, dann handel es sich um einen
OR-Spli . Abbildung 2.7 zeig das Beispiel eines C*-Ne zes. Kno en
A
s ell einen OR-
Spli -Kno en da : die au Kno en A olgenden P ade können in beliebige Kombina ion,
auch pa allel, ausge üh we den. En sp echend gil , dass ein Kno en mi meh e en
eingehende Kan en einen OR-Join-Kno en da s ell .
A
B
C
D
S a Ende
Abbildung 2.7: Beispiel eines C*-Ne zes zu Da s ellung eines P ozessmodells
Im Folgenden wi d da ges ell , wie de Heu is ic Mine unk ionie . Vo ausse zung
da ü sind o handene E en Logs. Bei diesen wi d die zei liche Ab olge on Ak i i ä en
geo dne nach P ozessins anzen be ach e . Als Beispiel dienen olgende T aces, die
ein ach aus einem E en Log e echne we den können:
L1= [ha, c, di5,ha, c, c, di2,ha, b, c, di10,ha, c, b, di10,ha, c, c, c, di1,ha, di5,ha, d, bi1]
De Exponen de einzelnen T aces gib an, wie o die angegebene Reihen olge im
gesam en E en Log o komm . Das E gebnismodell beginn mi einem S a kno en (S)
und ende mi einem Endkno en (E). De Heu is ic Mining Algo i hmus wandel
L1
in
olgende T aces um:
12
2.2 P ocess Mining
|a >Lb|S a a b c d Ende
S a 0 34 0 0 0 0
a 0 0 10 16 6 0
b 0 0 0 10 10 1
c 0 0 10 4 18 0
d0010033
Ende 0 0 0 0 0 0
Tabelle 2.2: |a >Lb|Tabelle des Heu is ic Mine s
L= [hS, a, c, d, Ei5,hS, a, c, c, d, Ei2,hS, a, b, c, d, Ei10,hS, a, c, b, d, Ei10,
hS, a, c, c, c, d, Ei1,hS, a, d, Ei5,hS, a, d, b, Ei1]
Da au hin wi d au L olgende Gleichung angewende (aus [8]):
|a >Lb|=X
σ∈L
L(σ)× |{1≤i < |σ||σ(i) = α∧σ(i+ 1) = b}| (2.1)
Die Gleichung be ach e jede Ak i i ä , die im E en Log o komm (im Beispiel: S a , a,
b, c, d, Ende) und be echne die Anzahl de Vo kommnisse de Ak i i ä en. Angewende
au das E en Log aus Tabelle 2.1 e häl man olgende E gebnisse, die in Tabelle 2.2
da ges ell sind.
Die einzelnen We e in Tabelle 2.2 sind wie olg zu in e p e ie en: Die Zahl 10 in de
d i en Zeile und de ie en Spal e bedeu e , dass in de Logda ei Ak i i ä
b
10 mal di ek
nach Aus üh ung de Ak i i ä
a
ausge üh wu de. Die Tabelle gib also die Häu igkei en
an, welche Ak i ä en-Aus üh ung on welche ande en Ak i ä en-Aus üh ung ge olg
wi d.
Um ein P ozessmodell zu be echnen, muss zusä zlich noch olgende Fo mel angewende
we den (aus [8]):
|a⇒Lb|=




|a>Lb|−|b>La|
|a>Lb|+|b>La|+1 i a6=b
|a>La|
|a>La|+1 i a =b
Diese Fo mel be echne ü jedes Paa , au das es angewende wi d, welches Abhängig-
kei smaß es besi z . Fü jedes Paa
(x, y)
on Ak i i ä en e geben sich We e zwischen
−1
und
+1
. De We ü
|x⇒Ly|
is nahe bei
+1
, wenn es eine s a k posi i e Abhän-
13
2 G undlagen
|a⇒Lb|S a a b c d Ende
S a 0
0+1 = 0 34−0
34+0+1
=0.97
0000
a0−34
0+34+1
=-0.97
010−0
10+0+1
=0.91
16−0
16+0+1
=0.94
6−0
6+0+1
=0.86
0
b 0 0−10
0+10+1
=-0.91
010−10
10+10+1
=0
10−1
10+1+1
=0.75
1−0
1+0+1
=0.5
c 0 0−16
0+16+1
=-0.94
10−10
10+10+1
=0
4
4+1 =0.8 18−0
18+0+1
=0.95
0
d 0 0−6
0+6+1
=0.86
1−10
1+10+1
=-0.75
0−18
0+18+1
=-0.95
033−0
33+0+1
=0.97
Ende 0 0 0−1
0+1+1
=-
0.50
00−33
0+33+1
=-0.97
0
Tabelle 2.3: |a⇒Lb|Tabelle des Heu is ic Mine s
gigkei zwischen
x
und
y
gib . Dann wi d
x
o on
y
ge olg ,
x
komm abe sel en di ek
nach
y
o . Man kann also da aus schließen, dass
x
die U sache da ü is , dass
y
e olg .
Ein We nahe an
−1
bedeu e eine s a k nega i e Abhängigkei :
y
olg sel en au
x
,
x
wi d jedoch o nach yausge üh .
Fü
|x⇒Lx|
wi d eine leich e ände e Fo mel e wende . Ein We nahe
+1
bedeu e
eine s a k e lexi e Abhängigkei . Dies is ein Hinweis da au , dass an diese S elle ein
Loop e olgen kann.
Tabelle 2.3 zeig die E gebnisse de Anwendung on Abbildung
|a⇒Lb|
au Tabelle 2.2.
Sie zeigen beispielsweise, dass eine s a k posi i e Abhängigkei zwischen
a
und
b
exis ie . Auße dem bes eh ü
c
eine s a k e lexi e Abhängigkei . Die Tabellen 2.2 und
2.3 bilden die Ausgangsbasis ü den Heu is ic Mine . Das esul ie ende Modell, ein
ge ich e e G aph, is in G a ik 2.8 zu sehen. Fü die Kons uk ion des E gebnismodells
geh man wie olg o : Die Kno en sind E eignisse und Ak i i ä en aus den E en Logs.
Die Kan en we den aus den Ein ägen de E gebnis abellen be echne . Fü jeden Ein ag
(x, y)
e häl man aus Tabelle 2.2 eine Zahl ü die absolu e Häu igkei und aus Tabelle
2.3 en nimm man eben alls ü
(x, y)
einen We ü das Abhängigkei smaß zwischen
−1
und
1
. Zu E s ellung de E gebnismodells muss ein sogenann e
Th eshold
angegeben
we den. Diese bes eh aus zwei We en, einem ü die Häu igkei und einem ü das
14
2.2 P ocess Mining
Abhängigkei smaß. Diese geben an, welche We e aus den Tabellen übe sch i en
we den müssen, sodass diese dann als Kan e in das esul ie ende E gebnismodell
au genommen we den. Das in e essan e am Th eshold bes eh da in, dass Anomalien
wie Noise ode alsche E en Logs aus dem E gebnis ausgeklamme we den können
(auße es we den zu kleine Th esholds e wende ). Auße dem bes eh das g undlegende
P oblem jedes E gebnismodells da in, eine gu e Balance zwischen Ein achhei (ein
möglichs übe sich liches Modell mi wenigen Kan en) und
"Fi ness"
(ein Modell, das
möglichs jedes in den E en Logs au gezeichne e Ve hal en be ücksich ig ) zu inden
[
11
]. Du ch Angabe eines Th esholds kann gewähl we den, wie ein ach ode komplex
das esul ie ende E gebnismodell sein soll.
Abbildung 2.8 zeig das be echne e E gebnismodell ü einen Th eshold on 4 ü die
Häu igkei sowie 0,6 ü das Abhängigkei smaß.
A
B
C
D
4
0.8
S a 34
1.0 Ende
33
0.97
Abbildung 2.8: E gebnisg a ik des Heu is ic Mine Beispiels mi Th eshold 4 und 0.6
In Abbildung 2.9 is das E gebnismodell mi Th eshold 6 ü die Häu igkei und 0,7 ü
das Abhängigkei smaß da ges ell . De Loop bei Ak i i ä C e schwinde hie bei, es
e gib sich somi ein noch übe sich liche es P ozessmodell. Soll also nu das S anda d-
Ve hal en abgebilde we den, so emp iehl es sich, höhe e We e ü den Th eshold zu
wählen. Fü ein de aillie es P ozessmodell wi d en sp echend ein kleine e Th eshold
benö ig .
15

2 G undlagen
A
B
C
D
S a 34
1.0 Ende
33
0.97
Abbildung 2.9: E gebnisg a ik des Heu is ic Mine Beispiels mi Th eshold 6 und 0.7
2.2.2 Social Ne wo k Analysis
Aus E en Logs können nich nu kausale Abhängigkei en zwischen Ak i i ä en be echne
we den, sonde n auch In o ma ionen übe o ganisa o ische S uk u en. In diesem Ab-
schni wi d eine
soziale Ne zwe kanalyse
o ges ell . Diese e echne aus einem E en
Log ein Soziog amm in Fo m eines G aphen, dessen Kno en Pe sonen ep äsen ie en
und dessen Kan en Abhängigkei en zwischen den einzelnen Pe sonen ep äsen ie en
[
9
]. Vo ausse zung de Anwendung eine sozialen Ne zwe kanalyse is , dass E en Logs
zu Ve ügung s ehen, in denen zu jede Ak i i ä die aus üh ende Ressou ce (also
die jeweilige Pe son) p o okollie wu de. Als Da s ellungs o m wi d wiede ein C*-Ne z
e wende , das einen S a - und einen Endkno en en häl .
Die Vo gehensweise is ähnlich wie beim Heu is ic Mine . Aus den E en Logs we den
T aces e s ell . In den T aces we den abe nich die Ak i i ä en angegeben, sonde n die
aus üh enden Pe sonen. Auße dem wi d zu jedem Ein ag noch ein S a - (S) und ein
Endkno en (E) einge üg .
Als Beispiel dien Folgendes: die Mi a bei e heißen Heinz (H), Pe e (P), Klaus (K) und
F anziska (F). De zug unde liegende E en Log sieh wie olg aus:
L= [hS, H, K, Ei10,hS, P, K, Ei10,hS, H, K, F, P, K, Ei5,hS, P, K, F, H, K, Ei6,
hS, P, K, F, K, Ei4,hS, K, H, F, P, K, Ei1]
Sei L de E en Log und
p1, p2∈P
, wobei P die Menge de Pe sonen is , dann wi d
olgende Fo mel ü die Be echnung de sogenann en
"Hando e o Wo k Ma ix"
ange-
16
2.2 P ocess Mining
|a >Lb|S a Heinz Pe e Klaus F anziska Ende
S a 0 15
36 = 0.42 20
36 = 0.56 1
36 = 0.03 0 0
Heinz 0 0 0 21
36 = 0.58 1
36 = 0.03 0
Pe e 0 0 0 25
36 = 0.69 0 0
Klaus 0 1
36 = 0.03 0 0 15
36 = 0.42 36
36 = 1.0
F anziska 0 6
36 = 0.17 6
36 = 0.17 4
36 = 0.11 0 0
Ende 0 0 0 0 0 0
Tabelle 2.4: Hando e o Wo k Ma ix
wende (angelehn an [3]):
p1.Lp2= X
c∈L
|p1.Lp2|!/|L|(2.2)
Das heiß , ü jede Pe son
p1
wi d be echne , we in welche Häu igkei di ek danach
seine Tä igkei au nimm . Man echne also aus, wie o Pe son
p1
de Pe son
p2
ih e A -
bei übe gib . Aus diesem G und heiß de Algo i hmus Hando e o Wo k. Das E gebnis
wi d du ch die Anzahl de P ozessins anzen ge eil , die im E en Log abgebilde we den.
Das E gebnis ü
L
is in Tabelle 2.4 zu sehen. Beispielsweise ha Heinz 21 mal seine
A bei an Klaus übe geben. 36 Ins anzen wu den in de Logda ei au gezeichne . Dahe
lau e de Ein ag 21
36 = 0.58.
F anziska
Heinz
Pe e
Klaus
S a Ende
Abbildung 2.10: Hando e o Wo k C*-Ne z
Aus diese Tabelle kann anschließend ein C*-Ne z e s ell we den. Jede Pe son bilde
einen Kno en, auße dem en häl de G aph einen S a - und Endkno en. Die Kan en
17
2 G undlagen
we den aus de Tabelle abgelei e . Jedes Paa
(x, y)
, das einen We in de Tabelle häl
(de g öße is als de o gegebene Th eshold) bilde eine Kan e.
Fü das Beispiel wi d ein Th eshold on 0.1 e wende . Das E gebnis is in Abbildung
2.10 da ges ell . Die Kan en zeigen an, welche Pe son welche ande en die A bei
übe gib . Zu beobach en is , dass seh kleine We e aus de Tabelle in de G a ik nich
da ges ell we den. De Th eshold könn e auch noch höhe gese z we den, um nu noch
die wich igs en Abhängigkei en anzuzeigen und ein noch übe sich liche es Modell zu
e hal en. Zusä zlich zu einem klassischen Soziog amm e häl man mi dem S a kno en
und dem Endkno en wei e e In o ma ionen: Man sieh , we zu Beginn eines Falls a bei e
(im Beispiel be i dies Heinz und Pe e ) und we den Fall beende (Klaus). Insgesam
e häl man mi dem e s ell en Soziog amm, das übe die Hando e o wo k Ma ix e s ell
wu de, einen Einblick in die A bei ss uk u zwischen Pe sonen. E en uell kann man
da aus eine O ganisa ionss uk u eines Un e nehmens ablei en, ode abe man sieh ,
we ge ne mi wem a bei e . Beides sind In o ma ionen, die zusammen mi dem om
Heu is ic Mine e s ell en P ozessmodell dabei hel en können, Geschä sp ozesse zu
e s ehen und zu analysie en.
2.3 MapReduce
In Kapi el 2.2 wu den Algo i hmen o ges ell , die es e möglichen, P ocess Mining au
E en Logs anzuwenden. Um diese e izien au g oßen Da enmengen anzuwenden,
we den wei e e Technologien benö ig , die nach olgend einge üh we den.
MapReduce
is ein P og ammie modell, das g oße Da ensä ze e izien pa allel e -
a bei en kann. Eine Implemen ie ung in MapReduce bie e seh gu e Leis ungen im
Ve gleich zu al e na i en Sys emen [
12
]. Auch im Ve gleich zu P og ammie ung in
eine maschinennahen P og ammie sp ache kann MapReduce Geschwindigkei s o eile
bie en [13].
MapReduce wu de 2004 on Google einge üh . Sei dem wu de es kon inuie lich wei e -
en wickel und on ielen ande en g oßen Un e nehmen e wende [
5
]. Die G undidee
on MapReduce is es, g oße Da ensä ze in kleine e Teilau gaben au zu ennen ("Spli "),
18
2.3 MapReduce
map
map
map
Spli 0
Spli 1
Spli 2
so
Inpu
Da a
educe pa 0
Copy
(shu le) me ge Ou pu Da a
Replica ion
educe pa 1 Replica ion
Abbildung 2.11: Schema ische Aus üh ung on MapReduce (angelehn an [14])
diese pa allel zu e a bei en ("Map") und dann wiede zusammenzu ügen ("Reduce").
Kennzeichen mode ne MapReduce F amewo ks, wie Apache Hadoop, is die ein ache
Handhabung: P og ammie e müssen lediglich eine Map-Funk ion und eine Reduce-
Funk ion be ei s ellen, um wei e e Aspek e wie Ve eilung de einzelnen Da enpake e au
e eil e Ha dwa e kümme sich in de Regel das en sp echende F amewo k anspa en
[15].
In de Regel we den die einzelnen Teilau gaben bei MapReduce au e eil en Sys emen
(
Clus e n
) e a bei e . Diese se z sich aus meh e en sogenann en
Nodes
zusammen.
Eine Node kann en wede ein physikalische ode i ualisie e Compu e sein.
De Ablau eines MapReduce Jobs wi d in Abbildung 2.11 da ges ell . Die zu e a bei en-
den Da ensä ze we den zunächs in Blöcke ge eil ("Spli "). Diese Blöcke haben in de
Regel eine G öße on e wa 128MB [
14
]. In einem Clus e be inden sich die Blöcke hie -
bei au ielen e schiedenen Kno en. Bei eine ealen Aus üh ung sind au jedem Kno en
iele Blöcke. Jede Kno en üh nach dem Au eil o gang meh e e Map-Fuk ionen aus,
wobei eine Map-Funk ion einen Teil de Ke nlogik de anzuwendenden Algo i hmen
da s ell . Map-Funk ionen we den übe einen komple en Clus e pa allel ausge üh .
Die E gebnisse de Map-Funk ionen we den danach übe ein Ne zwe k inne halb des
Clus e s au ande e Kno en kopie , au denen wiede um Reduce-Funk ionen ausge üh
we den. Dies is die sogenann e Shu le Phase, in de die E gebnisse de einzelnen
Map-Funk ionen wiede zusammenge üg und anschließend in ein Da eisys em gesch ie-
ben we den. Je nach Implemen ie ung eines MapReduce F amewo ks we den diese
19
3 Apache Hadoop
Einhei en on Ressou cen (z.B. 1 CPU-Ke n, 2GB RAM), die jeweils einem Kno en
zugeo dne sind. Ein NodeManage is ein P og amm, das die Ha dwa e essou cen
inne halb des Kno ens e wal e . Es kann Con aine s a en und beenden, ha Übe blick
übe die zu Ve ügung s ehenden Kapazi ä en und die au e enden Fehle .
Au eine Mas e Node läu ein Resou ceManage . De Resou ceManage e wal e
die Ha dwa e essou cen des Clus e s, da un e CPU-Kapazi ä und Speiche pla z. De
Resou ceManage implemen ie zwei Schni s ellen: zum Einen zu Clien s, die Applika-
ionen übe mi eln; zum Ande en zu Applica ionMas e s, die übe Ha dwa e essou cen
ü ih e Jobs e handeln. Einzelne Jobs, nach olgend
Applika ionen
genann , sollen so
e izien wie möglich ausgenu z we den.
Clien 1
Clien 2
Resou ce
Manage
Node
Manage
Node
Manage
Node
Manage
Con aine Con aine
Applica ion
Mas e Con aine
Con aine Applica ion
Mas e
Job
übe mi eln
MapReduce S a us
übe mi eln
Nach age nach
Ressou cen
Node S a us
übe mi eln
Abbildung 3.3:
YARN So wa e-A chi ek u mi Resou ceManage und NodeManage [
5
]
Wenn eine Applika ion on einem Clien beau ag wi d, wi d zue s abgewa e , bis de
Schedule des Resou ceManage s genügend eie Ha dwa e essou cen zu Ve ügung
ha . E s dann wi d die Applika ion ges a e . Als E s es wi d de Resou ceManage
den Au ag geben, einen Con aine zu s a en, in dem de Applica ionMas e a bei-
en soll. De Applica ionMas e is ü den komple en Job e an wo lich, dies um ass
z.B. den Umgang mi dynamisch ände nden An o de ungen an Ha dwa e essou cen
26

3.2 Hadoop Dis ibu ed Filesys em (HDFS)
sowie Fehle behandlungen. Um Con aine zu e hal en, s ell de Applica ionMas e eine
An age an den Resou ceManage . In diese is de inie , wie iele Con aine de App-
lica ionMas e benö ig , an welchem O sie sich physikalisch be inden sollen und wie
iele P ozesso ke ne und RAM p o Con aine benö ig we den. De Resou ceManage
en scheide nun nach e ügba e Kapazi ä und de inie e Scheduling-S a egie, ob
die ange o de en Ha dwa e essou cen zuge eil we den können [
23
]. Bei Zu eilung
wi d dem Applica ionMas e mi ge eil , dass bes imm e Ha dwa e essou cen zuge eil
we den. Diese Zu eilung wi d an die be e enden NodeManage wei e gelei e , welche
wiede um die Con aine ein ich en. Anschließend kann de Applica ionMas e einen
Task inne halb eines Con aine s s a en. Dies is im Fall eine MapReduce-Applika ion
en wede ein Map-Task ode ein Reduce-Task, da jede MapReduce-Applika ion aus meh-
e en Map-Tasks und Reduce-Tasks bes eh . De Con aine kommunizie di ek mi dem
Applica ionMas e , um den eigenen S a us mi zu eilen ode Be ehle en gegenzunehmen.
Wäh end de Aus üh ung eine Applika ion e häl de Clien di ek om Applica ion-
Mas e In o ma ionen übe S a us und Fo sch i des jeweiligen Jobs. Wenn die A bei
e ledig is und eine Applika ion abgeschlossen is , so eil dies de Applica ionMas e
dem Resou ceManage mi . Da au wi d de Con aine , in dem de Applica ionMas e
egis ie wa , au gelös und kann ü ande e Zwecke wiede e wende we den. De Re-
sou ceManage kann da au hin die ei gewo denen Ressou cen wei e en Applika ionen
zuweisen.
YARN bie e eine obus e S uk u ü die Ve wal ung und Übe wachung on Con aine n,
wobei die Implemen ie ung de einzelnen Applika ionen dem jeweiligen F amewo k
übe lassen wi d.
3.2 Hadoop Dis ibu ed Filesys em (HDFS)
Im le z en Kapi el wu de behandel , wie YARN die Aus üh ung on Jobs in einem
Hadoop-Clus e egel und die dami e bundene Ve eilung on P ozesso leis ung und
Haup speiche kapazi ä kon ollie . Im Folgenden wi d das e eil e Da eisys em HDFS
be ach e [5, 24].
27
3 Apache Hadoop
Eine An o de ung an die En wicklung on HDFS bes and da in, möglichs g oße Da-
enmengen e lässlich zu speiche n. HDFS is in de Lage, Da enmengen on bis zu
200 PB in einem einzigen Clus e mi meh e en ausend Kno en mi übe eine Millia de
Da eien zu e wal en. Um Ha dwa e ehle n o zubeugen, we den Da eien in Pake e
au ge eil und e eil im Clus e gespeiche . Au e ende Ha dwa e ehle können hie -
bei selbs s ändig e kann und behoben we den. HDFS is e izien implemen ie , die
Aus üh ung on Jobs inne halb eines HDFS-Clus e s benö ig nu einen seh ge ingen
Ve wal ungsau wand.
Wich ige Teil de HDFS A chi ek u sind
NameNodes
. Sie e wal en In o ma ionen übe
Posi ion und Zus and alle Da eien inne halb eines HDFS-Clus e s (Namespace) und
en scheiden, in welche physikalischen Nodes Da en gespeiche we den. Es exis ie
nu eine NameNode p o Clus e . Die NameNode be inde sich au eine Mas e Node.
Jede Sla eNode besi z eine sogenann e
Da aNode
: diese speiche Da en in Blöcken.
Auße dem exis ie eine
Checkpoin Node
, die de NameNode dabei hil , ih e Ve wal-
ungsda en ak uell zu hal en.
Abbildung 3.4: Beispiel ü ein HDFS Clus e (angelehn an [25])
Abbildung 3.4 zeig ein wei e es Beispiel ü ein Hadoop-Clus e . Das Clus e bes eh
aus N e schiedenen
Racks
, wobei jedes Rack aus 5 Nodes bes eh . G oße Clus e
28
3.2 Hadoop Dis ibu ed Filesys em (HDFS)
we den in de Regel mi d ei Mas e Nodes konzipie ( osa da ges ell ). Au diesen
sind die NameNode, de Resou ceManage und die Checkpoin Node ins an iie . Jede
Sla ekno en behe be g eine Da aNode (DN) und einen NodeManage (NM). Je nach
Kon igu a ion kann ein Mas e Node auch übe Da aNode und NodeManage e ügen,
dies wi d jedoch e mieden, um de NameNode die komple en Ha dwa e essou cen
eines Kno ens zu Ve ügung zu s ellen [5].
Eine NameNode e wal e den komple en Namespace des Clus e s [
24
]. Eine Da ei
wi d in Blöcke on 128 MB au ge eil und dabei d eimal eplizie (Blockg öße und
Replika ions ak o können kon igu ie we den). Aus diesem G und häl die NameNode
zu jede Da ei es , in welche Blöcke sie au ge eil is und wo sich die Blöcke (und ih e
Replika ionen) physikalisch im Clus e be inden.
Wenn ein Clien eine Da ei aus dem HDFS lesen möch e, so muss e e s Kon ak
mi de NameNode au nehmen. Diese eil ihm mi , wo sich die gesuch en Blöcke mi
allen Replika ionen be inden. De Clien wähl dann die Blöcke aus, die ü ihn übe
den Ne zwe kweg am Schnells en zu e eichen sind und lies die Da en di ek on
de jeweiligen Da aNode. Wenn ein Clien eine Da ei ins HDFS sch eiben möch e, so
muss e ü jeden Block, den e e zeugen möch e, bei de NameNode an agen. Diese
nominie d ei Da aNodes, die alle den gleichen Block speiche n sollen. De Clien
sch eib dann seine Da en in die e s e Da aNode. Da au hin gib diese die Da en an die
zwei e wei e . Diese wiede um nimm Kon ak mi de d i en Da aNode au . Wenn de
le z e Sch eib o gang beende is , bes ä igen die Da aNodes de NameNode, dass sie
den Block e olg eich gesch ieben haben (siehe Abbildung 3.5).
Die NameNode speiche die Me ada en des Da eisys ems in eine Da ei namens
simage
, welche im lokalen Da eisys em gespeiche wi d.
simage
wi d in ande-
en Quellen auch
checkpoin
genann . Alle Ände ungen am Da eisys em (Lösch- ode
Ein üge-Ope a ionen on Blöcken) we den nich in
simage
gespeiche , sonde n in
eine Da ei namens
jou nal
.
simage
wi d dabei on de NameNode nich geän-
de . Nu bei einem NameNode-Neus a lies die NamenNode
simage
e neu , üh
alle Ak ualisie ungen, die in
jou nal
es gehal en sind du ch und speiche
simage
.
Wenn eine NameNode eine Woche ohne Un e b echung ausge üh wu de, so kann das
29
3 Apache Hadoop
Abbildung 3.5: Ablau eines Sch eib o gangs eines Clien s ins HDFS [24]
Einspielen des
jou nals
bei Neus a bis zu eine S unde daue n. Aus diesem G und
wu den
Checkpoin Nodes
einge üh . Diese lesen in pe iodischen Abs änden
simage
und
jou nal
und mig ie en alle Ände ungen aus dem Jou nal in
simage
. Al e na i
zu eine Checkpoin Node kann auch eine zwei e NameNode ode eine BackupNode
e wende we den. Beide haben die gleiche Funk ionali ä wie eine Checkpoin Node.
Jede Da aNode p ü die Blöcke in ih em Clus e egelmäßig au In eg i ä und sende
egelmäßig sogenann e Hea bea s an die NameNode. Diese e kenn somi , welche
Da aNodes e ügba sind. Übe sogenann e Block epo s de Da aNodes wi d die
NameNode zusä zlich übe den Zus and de einzelnen Blöcke un e ich e . Die Name-
Node kann hie bei be echnen, ob de Replika ions ak o jedes Blocks mi dem Soll-We
übe eins imm . Falls Replika ionen ehlen, wähl die NameNode einen ode meh e e
Da aNodes aus, die Block eplika ionen e s ellen sollen. Falls zu einem Block zu iele
Kopien bes ehen, wi d die NameNode die übe zähligen löschen lassen. Die Da aNodes
übe wachen sich selbs , melden sich selbs s ändig bei de Da aNode, die imme ü
einen ko ek en Zus and de Da en so g [24].
30
3.3 MapReduce in Hadoop
3.3 MapReduce in Hadoop
In Kapi el 3.1 wu de e läu e , wie Hadoop Applika ionen übe ein Clus e e eil aus üh-
en kann. Im Folgenden geh es um den Inhal de Applika ionen, hie bei besch änken
wi uns au MapReduce Jobs. Die Umse zung on MapReduce in Hadoop olg dem
MapReduce F amewo k, das in Kapi el 2.3 behandel wu de. Die e o de lichen Map-
und Reduce- Funk ionen können in e schiedenen P og ammie sp achen gesch ieben
we den, wie Ja a, Py hon ode C++. Als Beispiel wi d das Wo dCoun Beispiel aus
Kapi el 2.3 be ach e , das in Ja a Code umgese z wu de [5](siehe Anhang).
Die Map Funk ion bekomm ein Key/Value Paa als A gumen übe geben und gib als
Ausgabe eine Lis e on Key/Value Paa en aus. Die A gumen e de Reduce-Funk ion
sind: einen Key und eine Lis e on Values. Die Ausgabe des Reduce s is ein Key und
ein Value. In de Main Funk ion e kenn man, dass ein Combine e wende wi d (Zeile
61).
In Kapi el 2.3 wu de e wähn , dass P og ammie e n mi dem MapReduce F amewo k
iel A bei abgenommen wi d. Diese müssen nu Map- und Reduce-Funk ionen p o-
g ammie en. Um alle ande en Dinge, wie die e eil e Speiche ung de Da en ode de
Umgang mi Fehle n, müssen sich Anwende keine Gedanken machen, dies wi d om
jeweiligen Sys em übe nommen. T o zdem we den ü ein simples Wo dCoun Beispiel
übe 60 Zeilen Code benö ig . Bei komplexe en Da enab agen, wie sie in diese A bei
du chge üh we den sollen, müss en iele Mappe und Reduce p og ammie we den.
Um diesem P oblem zu begegnen, wu den Tools en wickel , die Da enab agen ü den
Anwende iel ein ache machen [
26
]. Diese Tools heißen
Hi e
und
Pig
. Ziel diese Tools
is es, dass Anwende wenige Zei ü die P og ammie ung benö igen und meh Zei ü
die Analyse zu Ve ügung haben. P og amme, die in Hi e und Pig gesch ieben wu den,
we den bei ih e Aus üh ung in MapReduce-Funk ionen übe se z . Vo ausse zung ü
Hi e is , dass s uk u ie e Da en zu Ve ügung s ehen.
Bei Hi e wi d SQL-ähnliche P og amm-Code gesch ieben, diese dekla a i e Ab age-
sp ache nenn sich
Hi eQL
. Das Wo dcoun Beispiel sieh in Hi eQL olgende maßen
aus:
31

3 Apache Hadoop
1SELECT wo d able.wo d,coun *
2FROM wo d able
3GROUP BY wo d able.wo d;
Lis ing 3.1: Umse zung des Wo dcoun Beispiels in Hi e
Im Jah 2006 ha Yahoo! ein wei e es Tool en wickel , das de e ein ach en Aus üh ung
on MapReduce Ab agen dien [
26
]. Dieses nenn sich Pig und unk ionie im S ile
eine impe a i en Sk ip sp ache, die eben alls Ähnlichkei en zu SQL au weis . De
P og ammie e kann hie bei genau angeben, mi welchen Ope a ionen sich die Da en
Sch i ü Sch i ände n sollen. Die Umse zung des Wo dcoun Beispiels in Pig sieh
olgende maßen aus:
32
3.4 Apache Pig
1b=GROUP aBY wo d;
2c=FOREACH b GENERATE FLATTEN g oup,COUNT(a);
Lis ing 3.2: Umse zung des Wo dcoun Beispiels in Pig
Das Beispiel zeig , dass man den u sp ünglichen MapReduce-Code s a k minimie en
kann. Pig ha gegenübe Hi e einen g oßen Vo eil: Es kann auch mi uns uk u ie en
Da en umgehen. In diese A bei soll P ocess Mining mi uns uk u ie en Ausgangsda en
im .cs Fo ma du chge üh we den. Pig kann diese p oblemlos einlesen. Deswegen
wi d im wei e en Ve lau diese A bei Pig ü die En wicklung on MapReduce-Ab agen
e wende .
3.4 Apache Pig
De Name des Tools wu de bewuss gewähl , so soll Pig lau Hadoop-En wickle n
ähnliche Eigenscha en wie Schweine haben [
27
]: Schweine essen alles (Pig kann
mi s uk u ie en und uns uk u ie en Da en umgehen), Schweine leben übe all (Pig
läu nich nu in Ve bindung mi MapReduce, sonde n auch mi ande en pa allelen
F amewo ks) und Schweine sind gu an den Menschen angepass (Pig is ein ach in de
Bedienung und kann übe om Benu ze selbs de inie e Funk ionen leich e wei e
we den).
Die P og ammie sp ache selbs nenn sich Pig La in. Es gib d ei e schiedene Möglich-
kei en, Pig anzuwenden: en wede man üh Pig in eine Kommandozeile (Shell) aus, die
sich g un nenn . Anweisungen können hie ein ach nacheinande eingegeben we den.
Es können auch Da eien e s ell we den, die Pig Anweisungen en hal en, sogenann e
Pig-Sk ip e. De Vo eil hie bei is , dass diese abgespeiche und wiede e wende we -
den können, was o allem ü g öße e Ab agen nü zlich is . Eine wei e e Möglichkei
is es, Pig La in in den Code ande e P og ammie sp achen einzube en, sogenann es
Embedded Pig La in
. Es is beispielsweise möglich, ein Ja a-P og amm zu sch eiben
und da in Pig aus üh en zu lassen. Das übe mi el e Pig La in wi d om sogenann en
Pig La in Compile op imie und anschließend in MapReduce-Code umgewandel .
33
3 Apache Hadoop
Pig La in is eine Da en lusssp ache [
26
]. Am An ang we den eine ode meh e e Da-
ensä ze mi els eine
LOAD
-Ope a ion geladen, dann we den die gewünsch en Ope a-
ionen au die Da enmenge angewand . Die Ausgabe de E gebnisda en e olg mi els
DUMP
- ode
STORE
-Ope a ion. Die Be ehle we den nacheinande in de angegebenen
Reihen olge ausge üh . Schlei en ode beding e Anweisungen sind nich möglich. De
Pig La in Compile kann abe Ände ungen in de Aus üh ungs eihen olge o nehmen.
Folgende Beispiel-Code zeig die Funk ionsweise on Pig:
1a=LOAD ’ ile. x ’;
2...
3b=FILTER a BY ...;
4...
5c=GROUP bBY ...;
6...
7DUMP c;
8...
9STORE b INTO ou 1;
Lis ing 3.3: Beispiel ü die Funk ionsweise on Pig
Im Folgenden wi d das Da enmodell on Apache Pig o ges ell .
Da en ypen
Pig un e scheide zwischen
skala en Da en ypen
, die einzelne We e
en hal en und
komplexen Da en ypen
, die ande e Da en ypen en hal en [
28
]. Die ska-
la en Da en ypen sind iden isch mi denen, die in den meis en P og ammie sp achen
o kommen. Die wich igs en sind
in
und
long
ü Ganzzahlen,
loa
und
double
ü
Fließkommazahlen und cha a ay ü Zeichenke en.
Pig kenn d ei komplexe Da en ypen:
maps
,
uples
und
bags
. Jede diese komplexen
Da en ypen kann ande e (skala e ode komplexe) Da en ypen en hal en, siehe Abbildung
3.6. Sie haben olgende Cha ak e is iken [28]:
•Map
bes eh aus einem cha a ay und einem Da enelemen . Das Da enelemen
kann aus jedem skala en ode komplexen Da en yp bes ehen. Das cha a ay
is ein Schlüssel, und dien als Index, um das Da enelemen zu inden. Eine
Map-Kons an e kann beispielsweise olgende maßen aussehen:
[’name’#’pe e ’,
34
3.4 Apache Pig
’schuhg oesse’#’46’]
. Dies s ell ein Map mi zwei Schlüsseln da (
name
und
schuhg oesse). Das e s e Da enelemen is ein cha a ay, das zwei e ein in .
•Tuple
ha eine es geleg e Länge und bes eh aus eine geo dne en Sammlung on
Da enelemen en. Diese Da enelemen e können on jedem beliebigen Typ sein. Ein
Tuple wi d in
Fields
un e eil , jedes Field en häl ein Da enelemen . Im Ve gleich
mi eine Tabelle kann ein Tuple als eine Tabellenzeile angesehen we den. Ein
Beispiel ü eine Tuplekons an e mi zwei Fields is : (’pe e ’,46)
•Bag
is eine ungeo dne e Sammlung on Tuples, dahe können einzelne Tuples
nich e e enzie we den. Eine Bagkons an e mi d ei Tuples mi je zwei Fields
kann olgende maßen aussehen:
(’pe e ’,46),(’paul’,42),(’anna’,35)
. Bags e häl
man, wenn man Da en g uppie , wobei jede einzelne G uppe einen bag e gib .
2011
2013
2014
10
10
11
23
9
19
UAE
DLH
QFA
778
48
2
AEW
LW5
AX37
2057
902
9577
Tuple
...
Skala e
Da en yp
in
Skala e
Da en yp
cha A ay key alue
Map
...
Bag Bag
Abbildung 3.6: Ve schiedene Da en ypen in Pig La in
Inpu und Ou pu
Im Folgenden wi d die Funk ionsweise de be ei s einge üh en
Load-, S o e- und Dump-Anweisungen be ach e , die ü die Ein- und Ausgabe on
Da en so gen.
1a=LOAD ’da a.cs ’ USING PigS o age(’,’);
2STORE z INTO ’ esul .cs ’ USING PigS o age(’,’);
3DUMP z;
Lis ing 3.4: Beispiel ü ein LOAD, STORE und DUMP-Anweisungen
35
3 Apache Hadoop
Das obige Beispiel wende die Re e se Funk ion aus de piggybank an. Diese so g
da ü , dass alle Namen ückwä s ausgegeben we den.
Eine de g oßen S ä ken on Pig lieg da in, dass de Nu ze seine eigenen Use De ined
Func ions sch eiben kann und in Pig e wenden kann. Diese können mi Ja a ode
Py hon p og ammie we den. Folgende Code zeig als Beispiel, wie Pig seine in eg ie e
COUNT Funk ion in Ja a umgese z ha [28]:
1// s c/o g/apache/pig/buil in/COUNT.ja a
2public Long exec(Tuple inpu ) h ows IOExcep ion {
3 y {
4// E s es Elemen des Tuples is ein Bag, dessen
5//Anzahl an Elemen en COUNT zaehlen soll
6Da aBag bag = (Da aBag)inpu .ge (0);
7I e a o i =bag.i e a o ();
8long cn = 0;
9while (i .hasNex ()){
10 Tuple = (Tuple)i .nex ();
11 // NULL We e und lee e Tuples nich mi zaehlen
12 i ( != null && .size() > 0 &&
13 .ge (0) != null) {
14 cn ++;
15 }
16 }
17 e u n cn ;
18 }ca ch (Excep ion e) {
19 ...
20 }
21 }
Lis ing 3.17: Beispiel ü den Ja a Code eine UDF
Wenn man eine selbs e s ell e Funk ion e wenden möch e, muss man sie in Hadoops
lokales Da eisys em laden und im Pig Sk ip egis ie en.
MapReduce Plan
Fü die Aus üh ung jedes Pig Sk ip s e s ell Hadoop einen Plan.
Diese Plan leg es , welche Jobs und in welche Ab olge sie ausge üh we den sollen.
Jedem Reduce-Job geh ein Map-Job o aus. Wie oben bei den jeweiligen Ope a io-
nen schon e wähn , we den Reduce-Jobs in de Regel du ch olgende S a emen s
e zwungen: JOIN, CROSS, GROUP, COGROUP, DISTINCT, ORDER BY. Dami ha
de Compile bei de E s ellung des MapReduce Plans in Map- und Reduce-Jobs zwei
42

3.4 Apache Pig
Möglichkei en: die Ope a ionen, die beispielsweise zwischen zwei GROUP-Anweisungen
s ehen, können en wede im Reduce-Job, de zum e s en GROUP gehö , ausge üh
we den ode im Map-Job, de zum zwei en GROUP gehö [
29
]. Pig en scheide sich
hie bei imme ü die e s e Va ian e. Den Reduce-Jobs we den dadu ch meh Au ga-
ben zugeschoben. Map-Jobs sollen möglichs nu die JOIN, (CO)GROUP, DISTINCT
und ORDER BY Anweisungen umse zen. Au diese A können die Jobs e izien e
abgewickel we den.
Abbildung 3.7: Beispiel ü die Übe üh ung eines Pigsk ip s in MapReduce [29]
Abbildung 3.7 zeig , dass die Reduce-Jobs möglichs alle Au gaben zwischen zwei
GROUP S a emen s übe nehmen. Ans elle on GROUP bzw. COGROUP könn en
na ü lich auch JOIN, DISTINCT, CROSS ode ORDER BY s ehen.
In diesem Kapi el wu de mi Apache Hadoop ein Tool o ges ell , welches das Ma-
pReduce F amewo k umse z . Pig is ein We kzeug, das dabei hil , auch komplexe
Da enanalyse-Algo i hmen wie einen Heu is ic Mine kompak zu p og ammie en. T o z-
dem is de zu p og ammie ende Code gu nach ollziehba und leich e le nba . Die
Übe se zung des Pig Sk ip s in MapReduce e ledig de Compile .
Apache Hadoop und Pig we den ü die WebApplika ion benö ig , die im nächs en Kapi el
besch ieben wi d.
43
4
P o o ypische Implemen ie ung
In diesem Kapi el wi d
P oDoop
o ges ell , eine WebApplika ion, mi de sich au Basis
on MapReduce P ocess Mining du ch üh en läss .
4.1 P oblems ellung
Die G undbeobach ung ü die En wicklung on P oDoop bes and da in, dass es iele
Un e nehmen gib , die E en Logs on P ozessen speiche n [
11
]. Zudem e olgen sie
den BPM Li ecycle und möch en ih e P ozessmodelle egelmäßig e besse n. Obwohl
P ocess Mining eine geeigne e Möglichkei zu P ozessen deckung is , ehl es den Un e -
nehmen am nö igen Wissen, wie dieses angewende wi d. P oDoop lös dieses P oblem,
es e o de lediglich die Übe mi lung on Logda en und kann da au P ocess Mining
Algo i hmen “pe Mausklick” anwenden. Fü die Ve a bei ung on Da en e wende es
45
4 P o o ypische Implemen ie ung
MapReduce und das Apache Hadoop F amewo k. P oDoop is anwende eundlich übe
den B owse zu bedienen, E gebnisse we den op isch ansp echend in e schiedenen
G a iken da ges ell .
4.2 So wa ea chi ek u
P oDoop wi d übe den B owse bedien . Auße dem wi d ein Hadoop Clus e e wende ,
dessen HDFS als Da enbank dien und das MapReduce P og amme aus üh . P oDoop
is eine Web Applika ion. Da Hadoop as olls ändig in Ja a p og ammie wu de [
19
]
und eine um assende Ja a API en häl , wi d Ja a als P og ammie sp ache ü P oDoop
e wende .
Tomca Vi ual Machine
Ja a EE P og ammB owse Hadoop Clus e
h p Reques
h p Response
h p Reques
(Fileupload,
pig Ab age)
h p Response
(pig E gebnisse)
Abbildung 4.1: A chi ek u de e s ell en So wa eapplika ion
Als Hadoop-Implemen ie ung wi d die Ho onwo ks Sandbox e wende : diese s ell eine
o kon igu ie e Hadoop-Umgebung be ei , die speziell da ü en wickel wu de, Hadoop
au eine VM auszu üh en [
30
]. Ein Webb owse s ell die Websei en im HTML-Fo ma
da . Übe den B owse kann de Nu ze mi de Ja aEE-Applika ion in e agie en. Die
Ve bindung e olg übe HTTP-Reques und -Responses.
Auße dem wi d ein
Apache Tomca
Webse e e wende , au dem P oDoop läu .
Da übe wi d de Kon ak zum B owse abe auch die Ve bindung zum Hadoop Clus e
he ges ell . Im Folgenden wi d de Au bau on Tomca be ach e .
46
4.2 So wa ea chi ek u
Abbildung 4.2: Au bau eines Tomca Webse e s [31]
Tomca -Se e
Apache Tomca
is ein Open-Sou ce Ja a-Anwendungsse e [
32
]. Die A chi ek u on
Tomca bes eh aus olgenden Elemen en [31]:
Con ex
is die inne s e Komponen e. Jedes Con ex -Elemen en häl eine einzelne
Webapplika ion.
Ein
Connec o
so g mi Hil e eines TCP-Po s da ü , dass Ve bindungen zwischen
Applika ionen und Clien s he ges ell we den. Im o liegenden Fall e möglich e die
HTTP-Ve bindungen zwischen Webapplika ion und B owse sowie zwischen Webappli-
ka ion und Hadoop Clus e .
Jede
Hos -Komponen e
en häl einen
Vi ual Hos
: diese is die Ve bindung eines
DNS-Namens, wie z.B. www.meineDomain.de mi dem Se e . Jede Se e kann meh-
e e Hos s en hal en. Gleichzei ig kann ein Hos meh e e Webapplika ionen en hal en.
S anda dmäßig wi d de Hos
localhos
e wende . Diese wi d ü die o liegende
Anwendung e wende .
Eine
Engine
en häl einen ode meh e e Hos s. In de en wickel en Anwendung wi d eine
Engine namens
Ca alina
e wende [
33
]. Ca alina e a bei e alle übe den Connec o
47

4 P o o ypische Implemen ie ung
eingehenden HTTP-Reques s, lei e sie an den zugehö igen Hos wei e und e sende
die Responses zu ück zum Clien .
Die
Se ice-Komponen e
e binde einen ode meh e e Connec o en mi den zuge-
hö igen Engines. Jede Tomca -Ins anz en häl ein einziges Se e -Elemen . Dieses
wiede um beinhal e eine ode meh e e Se ice-Komponen en.
Die o ges ell e Hie a chie bie e g oße Flexibili ä ü e schiedene Anwendungen. Eine
Tomca -Ins anz sowie eine Ca alina-Engine eichen ü die An o de ungen on P oDoop
aus.
Um P ocess Mining du ch üh en zu können, wende P oDoop au Logda en P ocess
Mining Algo i hmen an. Un e ande em wi d de Heu is ic Mine aus Kapi el 2.2.1 dazu
e wende .
4.3 Heu is ic Mining mi Pig
Im Folgenden wi d die Implemen ie ung eines Heu is ic Mine s in Pig, das in Kapi el 3.4
o ges ell wi d, besch ieben. Hie bei wu den ausschließlich Ope a ionen und Funk io-
nen, die das Pig-F amewo k zu Ve ügung s ell , sowie solche, die in de Piggybank
en hal en sind, e wende .
Die Implemen ie ung als Pig-Sk ip kann in 3 Teile au ge eil we den.
1REGISTER piggybank.ja ;
2callcen e =load ’$INPUT’ using o g.apache.pig.piggybank.
3s o age.CSVExcelS o age(’,’,’NO_MULTILINE’,’UNIX’,
4’SKIP_INPUT_HEADER’);
5/*Diese Anweisung laed die Inpu da ei. De e s e Pa ame e on
CSVExcelS o age gib an, dass KOMMA als Sepa a o e wende wi d,
dami wi d eine .cs Da ei geladen. SKIP_INPUT_HEADER gib an, dass
die e s e Zeile (Uebe sch i ) nich eingelesen wi d. */
6b=FOREACH callcen e GENERATE $0 AS se iceID,$3 AS ope a ion,$1 AS
s a da e,$2 AS endda e;
7/*in b we den 4 Fields on a uebe nommen und benann : 1.Field se iceID;
4.Field ope a ion; 2.Field s a da e; 3.Field endda e */
8s a 3=GROUP bBY ope a ion;/*b wi d nach dem Field ope a ion g uppie
; alle Reco ds eine G uppe we den in einem bag gespeiche */
9s a 4=FOREACH s a 3 GENERATE g oup,COUNT(b);/*Gene ie ope a ion als
1.Field in s a 4; 2.Field: COUNT zaehl alle Reco ds, die in eine
G uppe sind */
48
4.3 Heu is ic Mining mi Pig
10 STORE s a 4 AS ou 1;
11 /*s a 4 wi d als ou 1 gespeiche . s a 4 gib an, welche Ope a ionen
insgesam wie o in de Da enbasis o kommen */
Lis ing 4.1: Umse zung des Heu is ic Mine s in Pig: Teil 1
De e s e Sk ip -Teil beginn dami , dass in den Alias
callcen e
die Ausgangsda en
geladen we den. Das E gebnis wi d als s a 4 in HDFS gespeiche .
1bWi hEpoch=FOREACH b GENERATE se iceID,ope a ion,ToDa e(s a da e,’
yyyy/MM/dd H:mm:ss.SSS’,’Eu ope/Be lin’)as epoch1,ToDa e(endda e,’
yyyy/MM/dd H:mm:ss.SSS’,’Eu ope/Be lin’)
2as epoch2;
3/*bWi hEpoch uebe nimm on b die Fields se iceID und ope a ion; das
Field s a da e wi d ins Da e-Fo ma umgewandel und als epoch1
gespeiche . yyyy/MM/dd H:mm:ss.SSS gib das Fo ma an, in dem
s a da e gespeiche is . Das Field endda e wi d ins Da e-Fo ma als
epoch2 umgewandel .*/
4bWi hEpoch2=FOREACH bWi hEpoch GENERATE $0 AS se iceID2,
5$1 AS ope a ion2,$2 AS epoch12,$3 AS epoch22;
6/*bWi hEpoch2 speiche eine Kopie on bWi hEpoch, benenn die Fields
abe um. Dies wi d spae e benoe ig , da Pig keine Selbs -Joins
du ch ueh en kann. */
7jn=GROUP bWi hEpoch BY $0;/*g uppie bWi hEpoch nach se iceID*/
8B=FOREACH jn{
9so ed=ORDER bWi hEpoch by epoch1 ASC,
10 lim =LIMIT so ed1;
11 GENERATE FLATTEN (lim);
12 };
13 /*NESTED FOREACH: meh e e Anweisungen we den au jede G uppe angewand :
E s we den alle Reco ds au s eigend nach epoch1 geo dne ; dann wi d
nu de e s e Reco d uebe nommen, alle ande en we den e wo en. Mi
GENERATE FLATTEN wi d de bag au geloes und in Tuples umgewandel .
14 B gib ue jede Ins anz an, welche Ope a ion als e s es du chge ueh
wu de */
15 C=GROUP BBY ope a ion;/*g uppie B nach dem Field ope a ion*/
16 D=FOREACH C GENERATE FLATTEN(g oup)AS (ope a ion),
17 COUNT(B)AS ope a ioncoun ;
18 /*GENERATE FLATTEN loes den bag wiede au und wandel die Da ensae ze
in Tuples um. C en hael als 1. Field den G uppenname: ope a ion; als
2.Field die Anzahl de Reco ds, die sich im jeweiligen bag be unden
ha .*/
19 STORE D AS ou 2;
20 /*D gib aus, wie o jede einzelne Ope a ion als E s es in eine
Ins anz e olg is */
Lis ing 4.2: Umse zung des Heu is ic Mine s in Pig: Teil 2
49
4 P o o ypische Implemen ie ung
De 2. Sk ip -Teil e zeug eine Ausgabe (
ou 2
), die ü jede einzelne Ope a ion angib ,
wie o sie als e s es in eine Ins anz e olg is .
1d=JOIN bWi hEpoch BY se iceID,bWi hEpoch2 BY se iceID2;
2/*JOIN on bWi hEpoch mi bWi hEpoch2 nach se iceID bzw. se iceID2.
Dies is im Ende ek ein JOIN alle Da en mi sich selbs , g uppie
nach Ins anz. */
3e=FOREACH d GENERATE $0,$1,$2,$3,$4,$5,$6,Minu esBe ween($6,$2)AS
minu es,$7;
4/*e uebe nimm alle Fields aus d; Zusae zlich wi d minu es als 8.Field
au genommen. minu es gib die zei liche Dis anz in Minu en zwischen
epoch1 ( on bWi hEpoch) und epoch12 ( on bWi hEpoch2) an. epoch1 und
epoch12 sind die jeweiligen S a zei punk e de Ope a ionen*/
5 =FILTER e BY (minu es>=0) AND ($3!=$8);
6/* uebe nimm nu diejenigen Reco ds on e, bei denen minu es>=0 is
und die Endzei punk e de Ope a ionen nich gleich sind ($3!=$8).
Dami we den in Paa e on Ope a ionen gespeiche , on denen die
zwei e nach de e s en s a e (ode gleichzei ig). Dass die e s e und
die zwei e Ope a ion gleich sind, wi d ausgeschlossen */
7g=GROUP BY ($0,$1,$2);/* wi d g uppie nach se iceID, ope a ion
und epoch1 (S a zei punk )*/
8h=FOREACH g{so ed=ORDER BY $7 ASC;
9lim=LIMIT so ed 1;
10 GENERATE FLATTEN (lim);
11 };
12 /*in jede G uppe we den die Reco ds au s eigend geo dne nach $7 (
minu es). lim waehl in jede G uppe nu den obe s en Reco d aus.
GENERATE FLATTEN loes den bag au und e wandel den Da ensa z in ein
Tuple.*/
13 /*in h wi d somi in jede Ins anz ue jede da in o kommende Ak ion
be echne , welche Ope a ion di ek danach komm */
14 i=GROUP hBY ($1,$5);/*hie wi d h g uppie nach ope a ion de e s en
Ope a ion ($1) und nach ope a ion de zwei en Ope a ion ($5) */
15 j=FOREACH i GENERATE FLATTEN (g oup), COUNT(h)AS ope a ioncoun ;
16 /*GENERATE FLATTEN wandel den bag in einen Tuple um. 1.Field: ope a ion
de e s en Ope a ion; 2.Field: ope a ion de zwei en Ope a ion; 3.
Field: Anzahl de Reco ds, die im bag wa en */
17 STORE j AS ou 3;
18 /*ou 3 gib ue jede Kombina ion on 2 Ope a ionen aus, wie o
Ope a ion 1 on Ope a ion 2 ge olg wi d */
Lis ing 4.3: Umse zung des Heu is ic Mine s in Pig: Teil 3
Die Ausgabeda ei
ou 3
on P og amm eil 3 gib ü jede mögliche Kombina ion on 2
Ope a ionen aus, wie o Ope a ion 1 on Ope a ion 2 inne halb eine P ozessins anz
ge olg wi d.
50
4.3 Heu is ic Mining mi Pig
Somi en hal en ou 1,ou 2 und ou 3 die ü den Heu is ic Mine benö ig en Da en ( gl. Ta-
belle 2.2 und Tabelle 2.3). Zu E s ellung de Tabellen sind wei e e Be echnungen nö ig,
die on P oDoop du chge üh we den.
Abbildung 4.3 zeig den Ablau plan des Pig-Sk ip es ü den Heu is ic Mine . Die K eise
in Abbildung 4.3 en hal en jeweils einen Alias, un e dem ein Da ensa z zwischenge-
speiche wi d. Die P eile zeigen an, in welche Rich ung eine T ans o ma ion de Da en
s a inde . Sie geben auße dem an, mi welche Anweisung die T ans o ma ion e olg
(z.B. FILTER, FOREACH, GROUP e c.).
callcen e
is de einzige Alias, de keine eingehende Kan e ha , denn
callcen e
läd den Ausgangsda ensa z.
s a 4
,
D
und
j
besi zen keine ausgehenden Kan en.
Sie dienen als E gebnis und we den als ou 1,ou 2 und ou 3 gespeiche .
Die P og ammlogik kann, wie in Abbildung 4.3 zu sehen is , in 3 Teile un e eil we den.
Jede P og amm eil ende mi de Abspeiche ung eines Da ensa zes (
s a 4
,
D
und
j
). In den T ans o ma ionen sind hie bei Mus e zu e kennen: zu Beginn eines P o-
g amm eils wi d häu ig
FILTER
und
FOREACH
e wende , dami wi d die Da enmenge
e inge . Mi
FILTER
we den unnö ige Log-Ein äge ausso ie und mi
FOREACH
we den unnö ige Fields ausso ie (linke und ech e Teil des Sk ip es). Die Ve inge-
ung de Da enmenge zu Beginn eines Sk ip -Teils is nö ig, um die Aus üh ung des
P og amms e izien zu ges al en
Jede P og amm eil ende mi den 2 au einande olgenden Anweisungen
GROUP
und
FOREACH,COUNT
. Mi
GROUP
wi d nach einem Field g uppie . Da aus esul ie en iele
G uppen. Jede G uppe en häl den G uppennamen und einen Bag, in dem alle Reco ds
diese G uppe en hal en sind. Mi de anschließenden
COUNT
Anweisung we den alle
Reco ds gezähl , die in diese G uppe gespeiche sind.
Nach Ablau des linken Sk ip -Teils e olg eine G uppie ung nach
Ope a ion
. Mi
COUNT
wi d gezähl , wie iele Reco ds in eine G uppe sind. Als E gebnis e häl man, wie o
jede Ope a ion insgesam in de Da enbasis o komm .
Ein wei e es Mus e , das im mi le en und ech en Sk ip -Teil e wende wi d is die
Kombina ion eine
GROUP
Anweisung mi anschließendem
FOREACH, ORDER
. Dami
wi d nach einem Field g uppie . Die esul ie enden Bags we den anschließend geo dne .
51
4 P o o ypische Implemen ie ung
Abbildung 4.7: Hadoop Analyse unk ion auswählen in P oDoop
Pig Ja a API
Um eine Pig Ab age du chzu üh en, muss P oDoop Kon ak mi dem
Hadoop Clus e au nehmen. Dies wi d om Con olle on P oDoop übe nommen. P o-
Doop be ücksich ig auße dem die on einem Use du chge üh en Feldzuo dnungen.
De Con olle sende die Pig Ab age ans Hadoop Clus e und emp äng anschließend
die Resul a e on diesem. Die Kommunika ion zwischen P oDoop und Hadoop Clus e
wi d du ch die Pig Ja a API e möglich .
Um eine Pig Ab age an Hadoop zu übe mi eln, kann die Klasse
PigSe e
e wende
we den [27]. Diese bie e zwei Me hoden:
•
public oid
egis e Sc ip
(ja a.lang.S ing ileName, ja a.u il.Map<ja a.lang.S ing,
ja a.lang.S ing> pa ams) h ows ja a.io.IOExcep ion
Als
ileName
wi d ein Pig-Sk ip angegeben, da in können Va iablen eingebau
we den. Mi
pa ams
wi d eine Map angegeben, die es leg , wie die Va iablen
e se z we den sollen.
•public oid egis e Que y(ja a.lang.S ing que y) h ows ja a.io.IOExcep ion
übe gib einen Pig La in Ausd uck mi de Va iablen
que y
als S ing und egis ie
diesen. Das Resul a de Ab age kann mi els
openI e a o ()
emp angen
we den.
58

4.4 Umse zung in Ja aEE
In P oDoop wi d die Me hode
egis e Que y
e wende , da die Ve wendung on
Va iablen im o liegenden Anwendungs all wesen lich ein ache is als mi de Me hode
egis e Sc ip . Folgende P og ammauszug zeig die Ve wendung:
1//...
2impo o g.apache.pig.ExecType;
3impo o g.apache.pig.PigSe e ;
4impo o g.apache.pig.da a.Tuple;
5
6public class e s eAk ionVe gleichen {
7public in e s eAk ionVe gleichen(H pSession session,S ing s ) h ows
IOExcep ion{
8//...
9S ing s="S a ope a ionen: <b >";//de E gebniss ing s wi d
ins an iie
10 PigSe e pigSe e =new PigSe e (ExecType.MAPREDUCE);
11 //eine neue Ins anz de PigSe e Klasse wi d ges a e ;
MapReduce wi d zu Aus ueh ung on Pig gewaehl
12 pigSe e . egis e Que y(" ile = load ’/use /hue/ iles o ja a/"+(
S ing)session.ge A ibu e("chosenFile")+"’ USING PigS o age
(’,’);");
13 //mi egis e Que y wi d Zeile ue Zeile das Pig-Sk ip
uebe mi el
14 pigSe e . egis e Que y("a= FILTER ile BY NOT ($0 MATCHES ’"+(
S ing)session.ge A ibu e(" i s LineFi s Column")+"’);");
15 pigSe e . egis e Que y("b = FOREACH a GENERATE $"+session.
ge A ibu e("ins ancelogRow"). oS ing()+" as se iceID, $"+
session.ge A ibu e(s +"Row"). oS ing()+" as ope a ion , $"
+session.ge A ibu e(" imes amp1Row"). oS ing()+" as da e;")
;
16 //hie s eh das es liche Pig-Sk ip mi egis e Que y
17 pigSe e . egis e Que y("D= FOREACH C GENERATE FLATTEN(g oup) AS
(ope a ion), COUNT(B) AS ope a ioncoun ;");
18 //eine S o e ode Dump Anweisung am Ende is nich noe ig
19 I e a o <Tuple>i e a o =pigSe e .openI e a o ("D");
20 //openI e a o ue Alias D wi d angewand . Dami wi d das
gewuensch e E gebnis des Pigsk ip s abge u en
21 while(i e a o .hasNex ()){
22 Tuple uple =i e a o .nex ();
23 //das E gebnis wi d in einzelne Tuple au ge eil
24 i ( uple.ge (0). oS ing()!=null){
25 //...
26 s=s+ uple.ge (0). oS ing()+" "+ uple.ge (1). oS ing()+
"<b >";
27 }//jedes Tuple wi d als S ing an den E gebniss ing
angehaeng
28 }
29 //...
30 session.se A ibu e(" esul S ing",s);
31 //de E gebniss ing wi d als Session a iable gespeiche
32 }
33 }
59
4 P o o ypische Implemen ie ung
Lis ing 4.4: Anwendung on egis e Que y und open I e a o aus de PigSe e Klasse
Mi meh e en Au u en on Me hode
egis e Que y
wi d nach und nach die jeweilige
Pig Ab age abgea bei e . Va iablen können als S ing einge üg we den. Mi de Me hode
pigSe e .openI e a o ("x")
kann das E gebnis abge u en we den [
27
]. De
übe gebene Pa ame e
x
gib an, ü welchen Alias de I e a o geö ne we den soll.
Zu ückgegeben wi d ein I e a o on Tupeln. Im P og amm we den alle Tupel du chi e ie .
De Inhal jedes Tupels wi d als S ing in die Va iable
s
gespeiche . Diese wi d am Ende
als Session Va iable gespeiche . Diesen S ing u die JSP-Da ei, die ü die Da s ellung
des E gebnisses zus ändig is , wiede ab. Dami is eine ex uelle Ausgabe des Resul a s
möglich. Um eine op ische Da s ellung des Resul a s zu e möglichen we den on
de Modelsei e die nö igen Da en als A ays in eine Session Va iable gespeiche
und können dann on de JSP-Da ei wei e e a bei e we den. Zu Da s ellung des
E gebnisses als Diag amm ode als G aph wi d Ja asc ip Code in die JSP-Da ei
eingebe e . Sieh man on de Da s ellung on G aphen ab (Heu is ic Mine und Social
Ne wo k), so kann das Cha .js-F amewo k, das im Folgenden o ges ell wi d, die
jeweiligen E gebnisse ansp echend da s ellen.
Cha .js
Die Ja asc ip Biblio hek
Cha .js
bie e die Möglichkei , e schiedene Da -
s ellungs o men ü die Resul a e zu wählen [
35
]. In P oDoop we den de
Doughnu -
,
Rada -
und de
Ba -Cha
e wende . De Doughnu Cha is dann in e essan , wenn
man ela i e An eile on meh e en G ößen zueinande e gleichen möch e.
Das Beispiel in Abbildung 4.8 zeig , welche S a ope a ionen an eilig in einem E en Log
o kommen (Da enbasis: Callcen e Example.cs ). Es is also zu sehen, dass in dem
un e such en Callcen e ein Fall übe wiegend du ch eingehende An u e ges a e wi d
(Inbound Call, 3291). Emails (Inbound Email, 385 (blau) und Handle Email, 163 (gelb))
s ehen iel sel ene am An ang eines Falls.
Eine ande e Möglichkei , Da en da zus ellen, bie e de Rada -Cha .
60
4.4 Umse zung in Ja aEE
Call Ou bound. 15
Inbound Email. 385
Email Ou bound. 4
Handle Case. 27
Handle Email. 163
Inbound Call. 3291
Abbildung 4.8: Beispiel ü einen Doughnu Cha in P oDoop
Abbildung 4.9: Beispiel ü einen Rada Cha in P oDoop
Wi d als Pig Ab age
Hando e o wo k o a single pe son
gewähl und dann als Pe son
beispielweise
Ma is F eeman
ausgewähl (bei Ve wendung de Da enbasis Pu chasing-
Example.cs ), dann wi d de Rada -Cha aus Abbildung 4.9 ausgegeben. Hie wi d
da ges ell , an welche Mi a bei e Ma is F eeman ih e A bei übe gib . Es is auch zu
e kennen, dass sie einen Teil de Fälle selbs beende .
Falls als Resul a zwei e schiedene Da ensä ze e glichen we den sollen, bie e sich
de Ba -Cha an.
61
4 P o o ypische Implemen ie ung
Abbildung 4.10: Beispiel ü einen Ba Cha in P oDoop
De g aue Balken in Abbildung 4.10 zeig , wie iele Ak ionen ein Mi a bei e insgesam
du chge üh ha (Da enbasis: Pu chasingExample.cs ). De blaue Balken s eh ü die
gesam e Zei in Minu en, die ein Mi a bei e da ü benö ig ha (Ne oa bei szei ). In de
G a ik is un e ande em zu e kennen, dass
Ka el de G oo
,
Magdalena P edu a
und
F ancois de Pe ie die meis en Fälle bea bei e haben.
Um die E gebnisse on P ocess Mining Ab agen da zus ellen, wi d eine Ja asc ip
Biblio hek benö ig , die G aphen da s ellen kann. Cy oscape.js is eine solche Biblio hek,
die im Folgenden einge üh wi d.
Cy oscape.js Cy oscape.js
is eine Open-Sou ce G aph-Biblio hek, die an de Uni-
e si ä on To on o en wickel wu de [
36
]. Cy oscape.js kann G aphen mi ge ich e en
und unge ich e en Kan en e schiedene G öße da s ellen und is somi in de Lage,
P ozessmodelle und Social Ne wo ks zu e a bei en und da zus ellen. Um einen G aph
ausgeben zu können, benö ig Cy oscape.js die Angabe on
Kno en
und
Kan en
. Kno-
en können als K eise da ges ell we den. Besonde s hil eich is die Möglichkei , die
Kno eng öße und die Kan endicke indi iduell zu kon igu ie en. Dies nu z P oDoop
beispielsweise, um o equen ie e Kno en g öße anzuzeigen. Auße dem wi d die
Liniendicke in Abhängigkei on de Häu igkei gese z , mi de die Kan e genu z wi d.
62
4.4 Umse zung in Ja aEE
Cy oscape.js bie e eine Layou o lage an, die einen ge ich e en G aphen mi einem
S a kno en als Wu zelelemen e s ell . Dabei we den die Posi ionen de es lichen
Kno en selbs s ändig be echne (au oma isches Layou ing). Cy oscape.js bie e auße -
dem einige In e ak ionsmöglichkei en ü Benu ze . Diese können beispielsweise einen
G aphen inne halb de Da s ellungs läche eines B owse s e schieben, sowie einzelne
Kno en e schieben und in den G aph hinein- und he auszoomen. Dies is o allem bei
G aphen mi ielen Elemen en nü zlich, um einzelne Abhängigkei en zu e kennen.
Abbildung 4.11 zeig das E gebnis des Heu is ic Mine s (Da enbasis: Pu chasingEx-
ample.cs ) bei einem Th eshold on 207 und 0.74. De Th eshold kann on Benu ze n
manuell gese z we den. Die Kno en neben dem S a kno en sind zwa Teil des P o-
zesses, sie besi zen abe keine Kan en zum es lichen G aphen, die den Th eshold
übe e en wü den.
Einen G aphen gleiche Baua benö ig man ü die soziale Ne zwe kanalyse. Abbil-
dung 4.12 zeig , wie das E gebnis da ü on Cy oscape.js da ges ell wi d. Als Th eshold
wu de 0.1 gewähl (Da enbasis: Pu chasingExample.cs ). Da de G aph ziemlich iele
Elemen e en häl , emp iehl es sich, mi dem Th eshold zu a iie en. Die Zoom unk ion
und das Ve schieben on Kno en kann eben alls die Übe sich e höhen.
In diesem Kapi el wu de mi P oDoop eine WebApplika ion o ges ell , die P ocess
Mining Algo i hmen mi Hil e des Map educe P og ammie modells implemen ie und
e schiedene g a ische Da s ellungs o men de E gebnisse bie e . P oDoop kann mi
wenig Au wand e ände ode e wei e we den. Denkba sind dabei die Implemen-
ie ung wei e e Mining Algo i hmen, die mi Pig eingebe e we den können. Möglich
is auch die Anbindung an ein g öße es Hadoop Clus e , um g oße Da enmengen zu
e a bei en. Denkba wä e zudem, die WebApplika ion übe das In e ne be ei zus ellen,
dami könn e P oDoop on Kunden wel wei e wende we den.
Die Wahl on MapReduce als P og ammie modell und ü Apache Hadoop als F ame-
wo k wu de un e Ande em mi de gu en E izienz bei g oßen Da enmengen beg ünde .
Um dies nach ollziehen zu können, soll die Leis ungs ähigkei on P oDoop im olgenden
Kapi el e aluie we den.
63

4 P o o ypische Implemen ie ung
Abbildung 4.11: Das E gebnis des Heu is ic Mine s mi Cy oscape.js
64
4.4 Umse zung in Ja aEE
Abbildung 4.12: Das E gebnis de Social Ne wo k Analysis mi Cy oscape.js
65
5
E aluie ung
In Kapi el 4 wu de die P oDoop WebApplika ion o ges ell , mi de en Hil e P ocess
Mining au Basis on MapReduce du chge üh we den kann. Die Wahl on MapReduce
als F amewo k ü die Da enanalyse wu de mi dessen gu e E izienz beg ünde . Diese
wu de on ande en Quellen e mi el . In diesem Kapi el soll in einem Expe imen es ge-
s ell we den, wie leis ungs ähig MapReduce bei de Umse zung eines P ocess Mining
Algo i hmus is .
5.1 F ages ellung
Ziel des Expe imen s is es, die E izienz on MapReduce zu e mi eln. Da ü we den
die Aus üh ungszei en eines P ocess Mining Algo i hmus au Basis on MapReduce
67
5 E aluie ung
zuge üg wi d. Insgesam gil also: je g öße die Da enmenge, des o meh Mappe und
Reduce we den benö ig . Dies muss ü die Bewe ung de E gebnisse des Expe imen s
be ücksich ig we den.
Zunächs e kenn man in Abbildung 5.4, dass die Bea bei ungszei nie deu lich un e
zwei Minu en sink . Auch wenn die Da eig öße noch so klein gewähl wi d, bleib eine
un e e G enze on e wa 120 Sekunden. Ein G und hie ü is , dass Hadoop einen
ziemlich hohen Ve wal ungsau wand ha . Die Zei , die Hadoop benö ig , um Mappe und
Reduce zu s a en und E gebnisse zusammenzu ügen, is bei kleinen Da enmengen im
Ve gleich zu a sächlichen Rechenzei ela i hoch. Bei g oßen Da enmengen äll dies
nich so seh ins Gewich . Dies zeig , dass Hadoop ü kleine Da enmengen wenige
geeigne is .
Abgesehen on ganz kleinen Da enmengen bis 10 MB is zu beobach en, dass bei
s eigende Clus e g öße die Bea bei ungszei abnimm . Dies is nach ollziehba , da
jede Job in meh e e Mappe und Reduce au ge eil wi d. Wenn meh Nodes zu
Ve ügung s ehen, eil Hadoop jedem Node Mappe und Reduce zu, die abzua bei en
sind, d.h., bei s eigende Clus e g öße das Maß an Pa alleli ä zunimm . Bei kleinen
Da enmengen i diese E ek wenige s a k ein, da hie die meis en Jobs nu aus
einem Mappe und einem Reduce bes ehen.
Zu e kennen is auße dem, dass die S eige ung de Clus e g öße un e schiedliche
Auswi kungen au die Bea bei ungszei en ha . Je g öße die Da enmenge, des o besse
is de E ek de Skalie ung.
Die Geschwindigkei de Be echnung des Clus e s kann als
1/
bes imm we den, wobei
die Bea bei ungszei des Clus e s is . Diese Geschwindigkei kann abhängig on de
Clus e g öße da ges ell we den, wie in Abbildung 6.2 zu sehen is . Als Ve gleichswe e
zeig die gelbe Linie den Fall eines linea en Ans iegs bei s eigende Clus e g öße. Diese
kann als Ideal all angesehen we den. Das Diag amm zeig , dass de Geschwindigkei s-
ans ieg im Expe imen bei eine Da enmenge on 10 GB as linea is (blaue Linie). Das
heiß , dass bei eine Ve doppelung de Clus e g öße nu e wa die halbe Be echnungszei
benö ig wi d.
74

5.6 Bewe ung des Expe imen s
0,00005
0,00015
0,00025
0,00035
0,00045
0,00055
1 2 3 4 5 6 7 8 9 10 11
Geschwindigke
Clus e g öße Clien nodes
Geschwindigkei bei a iable Clus e g öße
Geschwindigkei Linea Speedup
Abbildung 5.5: Geschwindigkei de Be echnungen in Abhängigkei de Clus e g öße
5.6 Bewe ung des Expe imen s
Das Expe imen ha gezeig , dass MapReduce einen gewissen Ve wal ungsau wand
benö ig . Die gemessene Bea bei ungszei kleine Da ensä ze zeig , dass MapReduce
hie Lau zei nach eile mi sich b ing . Eine klassische Be echnung ohne MapReduce
is hie zu be o zugen. Bei g oßen Da enmengen äll die Bea bei ungszei ü Ve -
wal ungsau gaben wenige ins Gewich . Es konn e soga gezeig we den, dass bei
eine Da enmenge on 10GB schon eine nahezu linea e Skalie ba kei on MapReduce
e eich wi d. Falls de Anwende die Rechenzei e kü zen möch e, so genüg eine
E höhung de Clus e g öße. Besonde s in e essan is de beobach e e E ek bei 10GB
Da eig öße aus Abbildung 6.2, bei de eine Ve doppelung de Clus e g öße nahezu zu
eine Halbie ung de Rechenzei ge üh ha . Bei Nu zung de Amazon AWS s ehen den
doppel en Kos en ü das Clus e die Häl e de Gebüh en ü die Zei gegenübe . Die
Kos en bleiben also e wa gleich, was aus wi scha liche Sich zu beg üßen is .
75
6
Diskussion
In Kapi el 5 wu de ein Expe imen o ges ell , das in e essan e E gebnisse gelie e ha .
Dabei muss alle dings be ücksich ig we den, dass keine ealen Ausgangsda en e wen-
de we den konn en. Die eale Da enbasis be ug lediglich 1MB. Diese wu de dann au
eine G öße on bis zu 10GB au gebläh , dabei abe pe Zu allsmodus modi izie . De
e mi el e E ek ha dennoch Aussagek a . Es is zu e wa en, dass de E ek bei ealen
Da en ähnlich is , die absolu gemessenen Be echnungszei en können sich alle dings
ände n. Die e mi el e Skalie ba kei on MapReduce konn e auch on ande en Quellen,
wie e wa in Abbildung 6.1, gezeig we den [
18
,
40
]. Dies is ein Anzeichen da ü , dass
MapReduce ü BigDa a Anwendungen gu geeigne is .
77
6 Diskussion
Abbildung 6.1:
Geschwindigkei on e schiedenen MapReduce Implemen ie ungen bei
s eigende Clus e g öße [18]
6.1 Job uning
Wenn man die E gebnisse des Expe imen s be ach e , s ell sich die F age, ob eine
Ve g öße ung des Clus e s die einzige Möglichkei is , um die Bea bei ungszei zu
e kü zen. Imme hin bie e Hadoop iele Möglichkei en das Clus e und die Aus üh ung
on Jobs zu spezi izie en. Zu wei e en Op imie ung bie en sich olgende Maßnahmen
an [14]:
•Pig-Sk ip op imie en
Es gib un e ande em olgende Möglichkei en, wie Pig-
Sk ip e e besse we den können [27]:
–
STORE ans elle on DUMP e wenden. Bei Ve wendung on DUMP müs-
sen un e Ums änden meh Jobs du chge üh we den, was wiede um die
Aus üh ung e langsam .
–
FILTER-Anweisungen so üh und so o wie möglich e wenden. Dami wi d
die Anzahl de Reco ds e inge , die bea bei e we den müssen.
78
6.1 Job uning
–
Nu solche Fields speiche n, die zu wei e en Be echnung benö ig we den
(z.B.:
E = o each D gene a e $0, $1;
). Dami kann die Da enmenge e inge
we den.
•Anzahl Reduce op imie en
In den Hadoop G undeins ellungen wi d p o GB Da en-
g öße ein Reduce e wende . Eine Ve ände ung de Anzahl e wende e Reduce
kann hie sinn oll sein. Ein höhe e We kann die Pa alleli ä e höhen, zu ie-
le Reduce üh en jedoch zu e höh em Ne zwe k e keh , de die Shu le Phase
ausb emsen kann [
41
]. Als Ideal all be äg die Daue eines Reduce s meh e e
Minu en. Dies häng abe auch da on ab, wie CPU-in ensi die Jobs sind.
Im Expe imen aus Kapi el 5 wu den einige Reducephasen beobach e , die iel Zei
benö ig haben (siehe Tabelle A.3). Zu Tes zwecken wu de die Anzahl Reduce bei
1GB Da enmenge und 8 Kno en e ände . Die E gebnisse sind in Abbildung 6.1
zu sehen.
•Anzahl Mappe op imie en
Die Anzahl de e wende en Mappe ich e sich s an-
da dmäßig nach de Anzahl de e wende en HDFS Blöcke. Sie kann du ch die
Blockg öße e ände we den, ode du ch Angabe on
map ed.min.spli .size
im
Pig-Sk ip kon igu ie we den. Da das Se up eines Mappe s eine gewisse Zei
benö ig , soll e die Anzahl Mappe so gewähl we den, dass jede Mappe min-
des ens eine Minu e läu [
41
]. Im Expe imen wu de mi un e schiedliche Zahl
Mappe ge es e (siehe auch Abbildung 6.1).
•In e media e Resul s komp imie en
Die Ou pu s de Map-Phase we den übe s
Ne zwe k zu den Reduce n kopie . Eine Komp imie ung diese Da en kann zu
eine Ve inge ung des Ne zwe k e keh s üh en. Diese Me hode wu de bei eine
Da enmenge on 1GB ge es e . Es e gaben sich alle dings keine signi ikan en
Un e schiede in de Bea bei ungszei . Ve mu lich i de e wa e e E ek e s bei
g öße en Da enmengen au .
In den E gebnisda en des Expe imen s aus Kapi el 5 is ü die Va ian e mi 1GB
Da eng öße und einem Clus e mi 9 Kno en Ve besse ungspo en ial zu sehen (siehe
Tabelle A.3). Die Aus üh ungszei en de d i en und ie en Reducephase sind deu lich
länge als die ande en Reducephasen. Dahe wi d in diesem Expe imen bei den
79

6 Diskussion
00:00:00 00:02:53 00:05:46 00:08:38 00:11:31 00:14:24 00:17:17
s anda d
educe 8+11
educe 16+22
mappe 32MB
mappe 256MB
Ve gleich de Aus üh ungszei en bei e ände e Anzahl Mappe und Reduce
Abbildung 6.2:
Daue de Be echnungen bei Ve ände ung de Anzahl Mappe und
Reduce
Va ian en
educe 8+11
und
educe 16+22
mi eine E höhung de e wende en Reduce
ge es e . In de d i en Reducephase we den 8 bzw. 16 Reduce e wende und in de
ie en Reducephase we den 11 bzw. 22 Reduce benu z . Wie in den E gebnisda en in
Tabelle A.31 und Tabelle A.30 sowie in Abbildung 6.1 zu sehen is , ha die E höhung de
Reduce zahl zu eine deu lichen Ve inge ung de Zei ge üh .
Auße dem wu de im Job uning Expe imen mi eine Ve ände ung de Mappe zahl
ge es e . Im S anda d all be äg die maximale Da enmenge, die p o Mappe e a bei e
wi d 128MB. Diese wu de in de Va ian e
mappe 32MB
au 32MB e inge und ü
mappe 256MB
au 256MB e g öße . Wie in Abbildung 6.1 zu sehen is , wi ken sich
diese Ve ände ungen nega i au die e ziel en Bea bei ungszei en aus. Auch dieses
E gebnis is nach ollziehba , da die Bea bei ungszei en de Mappe im S anda d all
höchs ens 62 Sekunden be agen (siehe Tabelle A.3).
Be ach e man die Reduce , so bie e sich ein ande es Bild. Die Logda en des S an-
da d alls zeigen du chschni liche Bea bei ungszei en on 348 und 95 Sekunden ü
80
6.2 Ve gleich zu Da enbank Managemen Sys emen (DBMS)
die 3. bzw. die 4. Reducephase. Das Expe imen ha gezeig , dass eine E höhung de
Pa alleli ä bei den be o enen Reduce n eine e izien e e Aus üh ung e möglich .
Die o ges ell en Möglichkei en zum Tuning on Jobs soll en in de P axis angewen-
de we den, da sie zu eine Ve inge ung de Aus üh ungszei en und somi zu eine
Kos ensenkung üh en können. Dabei soll en insbesonde e die E gebnisda en on
abgeschlossenen Ab agen un e such we den.
6.2 Ve gleich zu Da enbank Managemen Sys emen (DBMS)
In Kapi el 5 wu de au gezeig , dass MapReduce eine gu e E izienz e zielen kann. T o z-
dem muss be ücksich ig we den, dass MapReduce in ielen Fällen nich die schnells en
Aus üh ungszei en e eich . In einem Expe imen konn en pa allele DBMS bei Da en-
analysen mi bis zu 100 Kno en deu liche Leis ungs o eile gegenübe MapReduce
e zeichnen [
40
]. Dabei wu den abe lediglich einzelne SQL S a emen s umgese z und
ge es e . Bei einem Tes mi komplexe en Ab agen können sich die E gebnisse ande s
da s ellen [
42
]. Gegenübe DBMS ha MapReduce auße dem einen eindeu igen Kos en-
o eil, denn es s ell keine hohen An o de ungen an die Ha dwa e, die einzelnen Nodes
können he e ogen sein. Die Ins alla ion eines Hadoop Clus e s is zudem unkomplizie
[
42
]. Die Kos en o eile e s ä ken sich, je g öße die zu un e suchende Da enmenge
is .
In den le z en Jah en wu den einige Da enbanksys eme ü Ech zei analyse (auch In-
Memo y Da enbanken genann ) en wickel , wie z.B.
Apache Spa k
,
Apache Tez
ode
SAP HANA
[
20
,
43
,
44
]. Das Konzep bes eh hie bei, möglichs iele Da en im Haup -
speiche zu hal en und möglichs wenige Lese-/Sch eibope a ionen au klassischen
HDDs du chzu üh en, da diese nu einen unzu eichenden Da endu chsa z bie en. Da-
mi können die In-Memo y Da enbanken schnelle a bei en als MapReduce. Wegen
de hohen An o de ungen an den Haup speiche sind sie jedoch nich ü so g oße
Da enmengen geeigne wie MapReduce. Deswegen sind die beiden Sys eme wenige
als Konku enz zu be ach en, sonde n ehe als E gänzung. So nu z beispielsweise
81
6 Diskussion
SAP HANA eine Schni s elle zu Hadoop um do mi MapReduce g oße Da enmengen
o zuso ie en. Dami können sie anschließend in HANA analysie we den.
Apache Tez is ein F amewo k, das inne halb on Apache Hadoop au YARN ausge üh
we den kann. In e essan an Tez is , dass es Pig-Sk ip e in e p e ie en kann. Dami
könn en Pig-Sk ip e zu Un e suchung on kleine en Da enmengen mi Tez angewand
we den und ab eine bes imm en Da eng öße mi MapReduce umgese z we den.
82
7
Zusammen assung
Die E s ellung on P ozessmodellen is ü die Ve besse ung on Geschä sp ozessen
in Un e nehmen on Vo eil. Ziel diese A bei wa es, ein F amewo k au de Basis
on P ocess Mining und MapReduce zu en wickeln, mi dessen Hil e e schiedene
P ozesspe spek i en, wie beispielsweise die O ganisa ionss uk u , aus o handenen
Logda en e mi el we den können. Zu diesem Zweck wu de ein heu is ische Mining-
Algo i hmus au Basis de Sk ip sp ache Apache Pig o ges ell , de e izien es P ocess
Mining au einem MapReduce-basie en Clus e e möglich .
Mi de Vo s ellung de p o o ypischen Implemen ie ung
P oDoop
konn e in diese A bei
gezeig we den, wie P ocess Mining au Basis on MapReduce implemen ie we den
kann. P oDoop nu z hie bei Schni s ellen eines Hadoop Clus e s, um Da en hochzula-
den und Ab agen da au auszu üh en. Nach Eingabe on Logda en is P oDoop in de
Lage P ozessmodelle zu be echnen und im B owse g a isch ansp echend da zus ellen.
83
A Anhang
22 // die Map-Funk ion bekomm als Pa ame e
23 //einen Tex als alue uebe geben
24 public oid map(Objec key,Tex alue,Con ex con ex
25 ) h ows IOExcep ion,In e up edExcep ion {
26 S ingTokenize i =new S ingTokenize ( alue. oS ing());
27 // de Tex wi d au ge eil in einzelne Woe e
28 while (i .hasMo eTokens()) {
29 wo d.se (i .nex Token());
30 con ex .w i e(wo d,one);
31 //Ausgabe ue jedes Wo : jeweiliges Wo als key
32 //und one bzw. 1 als alue
33 }
34 }
35 }
36
37 public s a ic class In SumReduce
38 ex ends Reduce <Tex ,In W i able,Tex ,In W i able> {
39 p i a e In W i able esul =new In W i able();
40
41 //die Reduce-Funk ion bekomm ein Wo als key und eine Lis e on
42 //Zahlen (z.B.: 1,1,1) als alues uebe geben
43 public oid educe(Tex key,I e able<In W i able> alues,
44 Con ex con ex
45 ) h ows IOExcep ion,In e up edExcep ion {
46 in sum = 0;
47 o (In W i able al : alues) {
48 sum += al.ge ();//die einzelnen Zahlen we den addie
49 }
50 esul .se (sum);
51 con ex .w i e(key, esul );// Ausgabe: ein Wo als key und eine
52 //Zahl als alue bzw. esul
53 }
54 }
55
56 public s a ic oid main(S ing[] a gs) h ows Excep ion {
57 Con igu a ion con =new Con igu a ion();
58 Job job =Job.ge Ins ance(con ,"wo d coun ");
59 job.se Ja ByClass(Wo dCoun .class);
60 job.se Mappe Class(Tokenize Mappe .class);
61 job.se Combine Class(In SumReduce .class);
62 //hie wi d ein Combine e wende
63 job.se Reduce Class(In SumReduce .class);
64 job.se Ou pu KeyClass(Tex .class);
65 job.se Ou pu ValueClass(In W i able.class);
66 FileInpu Fo ma .addInpu Pa h(job,new Pa h(a gs[0]));
67 FileOu pu Fo ma .se Ou pu Pa h(job,new Pa h(a gs[1]));
68 Sys em.exi (job.wai Fo Comple ion( ue)?0:1);
69 }
70 }
Lis ing A.1: Umse zung des Wo dcoun MapReduce Beispiels in Ja a
90

Tabelle A.1:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 10 GB
und Clus e g öße 1+10
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1447
8561_
0037
159 11 57 13 40 86 78 82
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/290
job_
1447
8561_
0038
80 9 75 29 67 150 116 132
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1447
8561_
0039
160 18 74 15 42 675 445 544
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1447
8561_
0040
813 110 54 12 33 812 57 171 g,h,lim GROUP_BY
job_
1447
8561_
0041
4 1 51 36 43 19 19 19 C,D GROUP_BY,
COMBINER
s3://
ou pu
/291
job_
1447
8561_
0042
110 12 47 18 40 47 43 45 i,j GROUP_BY,
COMBINER
s3://
ou pu /
292
Pig sc ip comple ed in 37 minu es, 6 seconds and 415 milliseconds (2226415 ms)
Tabelle A.2:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 10 GB
und Clus e g öße 1+8
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1442
4806_
0025
159 11 54 12 38 121 82 110
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/149
job_
1442
4806_
0026
80 9 75 21 62 206 141 178
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1442
4806_
0027
160 18 73 12 44 779 393 612
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1442
4806_
0028
814 110 51 13 32 811 57 151 g,h,lim GROUP_BY
job_
1442
4806_
0029
4 1 42 33 37 20 20 20 C,D GROUP_BY,
COMBINER
s3://
ou pu
/150
job_
1442
4806_
0030
110 12 46 10 39 75 37 54 i,j GROUP_BY,
COMBINER
s3://
ou pu /
151
Pig sc ip comple ed in 42 minu es, 32 seconds and 346 milliseconds (2552346 ms)
91
A Anhang
Tabelle A.3:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 GB
und Clus e g öße 1+8
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1440
0202_
0001
16 2 17 14 16 5 5 5
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/82
job_
1440
0202_
0002
8 1 50 38 45 38 38 38
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1440
0202_
0003
16 2 62 24 47 350 347 348
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1440
0202_
0004
80 11 54 17 44 107 82 95 g,h,lim GROUP_BY
job_
1440
0202_
0005
1 1 25 25 25 7 7 7 C,D GROUP_BY,
COMBINER
s3://
ou pu
/83
job_
1440
0202_
0006
11 2 32 11 24 20 20 20 i,j GROUP_BY,
COMBINER
s3://
ou pu /
84
Pig sc ip comple ed in 11 minu es, 2 seconds and 994 milliseconds (662994 ms)
Tabelle A.4:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 100 MB
und Clus e g öße 1+8
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1442
4806_
0013
2 1 12 10 11 6 6 6
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/143
job_
1442
4806_
0014
1 1 17 17 17 9 9 9
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1442
4806_
0015
2 1 20 19 20 68 68 68
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1442
4806_
0016
8 2 21 15 18 27 27 27 g,h,lim GROUP_BY
job_
1442
4806_
0017
1 1 6 6 6 5 5 5 C,D GROUP_BY,
COMBINER
s3://
ou pu
/144
job_
1442
4806_
0018
1 1 11 11 11 6 6 6 i,j GROUP_BY,
COMBINER
s3://
ou pu /
145
Pig sc ip comple ed in 3 minu es, 51 seconds and 910 milliseconds (231910 ms)
92
Tabelle A.5:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 10 MB
und Clus e g öße 1+8
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1442
4806_
0007
1 1888666
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/140
job_
1442
4806_
0008
1 1999555
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1442
4806_
0009
2 1 9 6 7 12 12 12
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1442
4806_
0010
1 1 14 14 14 10 10 10 g,h,lim GROUP_BY
job_
1442
4806_
0011
1 1666555C,D GROUP_BY,
COMBINER
s3://
ou pu
/141
job_
1442
4806_
0012
1 1777666i,j GROUP_BY,
COMBINER
s3://
ou pu /
142
Pig sc ip comple ed in 2 minu es, 26 seconds and 509 milliseconds (146509 ms)
Tabelle A.6:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 MB
und Clus e g öße 1+8
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1442
4806_
0001
1 1888777
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/137
job_
1442
4806_
0002
1 1666444
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1442
4806_
0003
2 1888777
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1442
4806_
0004
1 1 6 6 6 5 5 5 g,h,lim GROUP_BY
job_
1442
4806_
0005
1 1666555C,D GROUP_BY,
COMBINER
s3://
ou pu
/138
job_
1442
4806_
0006
1 1666666i,j GROUP_BY,
COMBINER
s3://
ou pu /
139
Pig sc ip comple ed in 2 minu es, 18 seconds and 764 milliseconds (138764 ms)
93
A Anhang
Tabelle A.7:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 100 KB
und Clus e g öße 1+8
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1447
8561_
0025
1 1 6 6 6 8 8 8
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/283
job_
1447
8561_
0026
1 1 4 4 4 4 4 4
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1447
8561_
0027
2 1 5 4 5 4 4 4
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1447
8561_
0028
1 1 5 5 5 4 4 4 g,h,lim GROUP_BY
job_
1447
8561_
0029
1 1 6 6 6 5 5 5 C,D GROUP_BY,
COMBINER
s3://
ou pu
/284
job_
1447
8561_
0030
1 1 6 6 6 5 5 5 i,j GROUP_BY,
COMBINER
s3://
ou pu /
139
Pig sc ip comple ed in 1 minu e, 56 seconds and 518 milliseconds (116518 ms)
Tabelle A.8:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 10 GB
und Clus e g öße 1+6
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1442
4099_
0049
159 11 55 12 35 179 22 135
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/128
job_
1442
4099_
0050
80 9 75 24 58 208 76 160
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1442
4099_
0051
160 18 73 13 43 795 439 632
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1442
4099_
0052
814 110 51 12 33 1110 56 156 g,h,lim GROUP_BY
job_
1442
4099_
0053
3 1 46 41 44 12 12 12 C,D GROUP_BY,
COMBINER
s3://
ou pu
/129
job_
1442
4099_
0054
110 12 47 11 34 103 12 75 i,j GROUP_BY,
COMBINER
s3://
ou pu /
130
Pig sc ip comple ed in 58 minu es, 57 seconds and 763 milliseconds (3537763 ms)
94
Tabelle A.9:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 GB
und Clus e g öße 1+6
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1442
4099_
0043
16 2 24 15 20 8 7 8
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/125
job_
1442
4099_
0044
8 1 70 51 58 52 52 52
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1442
4099_
0045
16 2 75 51 65 337 332 334
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1442
4099_
0046
80 11 54 14 39 135 71 110 g,h,lim GROUP_BY
job_
1442
4099_
0047
1 1 25 25 254 11 11 11 C,D GROUP_BY,
COMBINER
s3://
ou pu
/126
job_
1442
4099_
0048
11 2 28 19 25 9 8 8 i,j GROUP_BY,
COMBINER
s3://
ou pu /
127
Pig sc ip comple ed in 11 minu es, 37 seconds and 309 milliseconds (697309 ms)
Tabelle A.10:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 100
MB und Clus e g öße 1+6
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1442
4099_
0025
2 1 13 10 12 6 6 6
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/116
job_
1442
4099_
0026
1 1 17 17 17 12 12 12
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1442
4099_
0027
2 1 17 16 17 71 71 71
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1442
4099_
0028
8 2 43 16 31 48 48 48 g,h,lim GROUP_BY
job_
1442
4099_
0029
1 1666666C,D GROUP_BY,
COMBINER
s3://
ou pu
/117
job_
1442
4099_
0030
1 1 11 11 11 5 5 5 i,j GROUP_BY,
COMBINER
s3://
ou pu /
118
Pig sc ip comple ed in 4 minu es, 16 seconds and 315 milliseconds (256315 ms)
95

A Anhang
Tabelle A.11:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 10 MB
und Clus e g öße 1+6
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1442
4099_
0019)
1 1 8 8 8 5 5 5
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/113
job_
1442
4099_
0020
1 1 7 7 7 5 5 5
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1442
4099_
0021
2 1 7 7 7 12 12 12
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1442
4099_
0022
1 1 15 15 15 10 10 10 g,h,lim GROUP_BY
job_
1442
4099_
0023
1 1 8 8 8 6 6 6 C,D GROUP_BY,
COMBINER
s3://
ou pu
/114
job_
1442
4099_
0024
1 1 7 7 7 5 5 5 i,j GROUP_BY,
COMBINER
s3://
ou pu /
115
Pig sc ip comple ed in 2 minu es, 26 seconds and 269 milliseconds (146269 ms)
Tabelle A.12:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 MB
und Clus e g öße 1+6
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1447
8561_
0019)
1 1 7 7 7 5 5 5
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/280
job_
1447
8561_
0020
1 1 5 5 5 4 4 4
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1447
8561_
0021
2 1 5 5 5 6 6 6
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1447
8561_
0022
1 1 6 6 6 5 5 5 g,h,lim GROUP_BY
job_
1447
8561_
0023
1 1 6 6 6 5 5 5 C,D GROUP_BY,
COMBINER
s3://
ou pu
/281
job_
1447
8561_
0024
1 1 6 6 6 5 5 5 i,j GROUP_BY,
COMBINER
s3://
ou pu /
282
Pig sc ip comple ed in 1 minu e, 56 seconds and 606 milliseconds (116606 ms)
96
Tabelle A.13:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 100
KB und Clus e g öße 1+6
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1447
8561_
0013)
1 1777555
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/277
job_
1447
8561_
0014
1 1666555
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1447
8561_
0015
2 1656666
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1447
8561_
0016
1 1 5 5 5 4 4 4 g,h,lim GROUP_BY
job_
1447
8561_
0017
1 1666555C,D GROUP_BY,
COMBINER
s3://
ou pu
/278
job_
1447
8561_
0018
1 1666555i,j GROUP_BY,
COMBINER
s3://
ou pu /
279
Pig sc ip comple ed in 1 minu e, 57 seconds and 536 milliseconds (117536 ms)
Tabelle A.14:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 10 GB
und Clus e g öße 1+4
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1447
7696_
0036
159 11 55 18 34 266 6 119
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/268
job_
1447
7696_
0037
80 9 79 21 50 328 72 156
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1447
7696_
0038
160 18 76 13 46 898 423 592
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1447
7696_
0039
813 110 53 13 29 1552 55 140 g,h,lim GROUP_BY
job_
1447
7696_
0040
3 1 33 29 31 6 6 6 C,D GROUP_BY,
COMBINER
s3://
ou pu
/269
job_
1447
7696_
0041
110 12 48 11 33 168 5 75 i,j GROUP_BY,
COMBINER
s3://
ou pu /
270
Pig sc ip comple ed in 1 hou , 22 minu es, 5 seconds and 851 milliseconds (4925851 ms)
97
A Anhang
Tabelle A.15:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 GB
und Clus e g öße 1+4
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1447
7696_
0025
16 2 29 26 27 7 6 6
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/262
job_
1447
7696_
0026
8 1 73 56 62 43 43 43
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1447
7696_
0027
16 2 74 49 66 400 394 397
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1447
7696_
0028
82 11 57 14 34 187 58 119 g,h,lim GROUP_BY
job_
1447
7696_
0029
1 1 18 18 18 6 6 6 C,D GROUP_BY,
COMBINER
s3://
ou pu
/263
job_
1447
7696_
0030
11 2 47 25 39 19 19 19 i,j GROUP_BY,
COMBINER
s3://
ou pu /
264
Pig sc ip comple ed in 14 minu es, 2 seconds and 736 milliseconds (842736 ms)
Tabelle A.16:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 100
MB und Clus e g öße 1+4
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1447
7696_
0019
2 1 12 10 11 5 5 5
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/259
job_
1447
7696_
0020
1 1 17 17 17 8 8 8
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1447
7696_
0021
2 1 21 20 21 68 68 68
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1447
7696_
0022
8 2 50 23 39 48 48 48 g,h,lim GROUP_BY
job_
1447
7696_
0023
1 1 25 25 25 6 6 6 C,D GROUP_BY,
COMBINER
s3://
ou pu
/260
job_
1447
7696_
0024
1 1 11 11 11 5 5 5 i,j GROUP_BY,
COMBINER
s3://
ou pu /
261
Pig sc ip comple ed in 4 minu es, 21 seconds and 8 milliseconds (261008 ms)
98
Tabelle A.17:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 10 MB
und Clus e g öße 1+4
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1447
7696_
0013
1 1888555
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/256
job_
1447
7696_
0014
1 1666777
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1447
7696_
0015
2 1 7 6 6 14 14 14
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1447
7696_
0016
1 1 15 15 15 10 10 10 g,h,lim GROUP_BY
job_
1447
7696_
0017
1 1666666C,D GROUP_BY,
COMBINER
s3://
ou pu
/257
job_
1447
7696_
0018
1 1777555i,j GROUP_BY,
COMBINER
s3://
ou pu /
258
Pig sc ip comple ed in 2 minu es, 26 seconds and 311 milliseconds (146311 ms)
Tabelle A.18:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 MB
und Clus e g öße 1+4
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1447
7696_
0007
1 1777555
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/253
job_
1447
7696_
0008
1 1555555
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1447
7696_
0009
2 1777666
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1447
7696_
0010
1 1 7 7 7 5 5 5 g,h,lim GROUP_BY
job_
1447
7696_
0011
1 1777555C,D GROUP_BY,
COMBINER
s3://
ou pu
/254
job_
1447
7696_
0012
1 1666555i,j GROUP_BY,
COMBINER
s3://
ou pu /
255
Pig sc ip comple ed in 2 minu es, 6 seconds and 137 milliseconds (126137 ms)
99
A Anhang
Tabelle A.31:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 GB
und Clus e g öße 1+8; Reduce zahl 16+22
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1442
9455_
0019
16 2 17 14 16 6 5 6
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/161
job_
1442
9455_
0020
8 1 66 51 62 58 58 58
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1442
9455_
0021
16 16 74 49 64 86 48 76
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1442
9455_
0022
80 22 57 21 43 81 37 57 g,h,lim GROUP_BY
job_
1442
9455_
0023
1 1 19 19 19 5 5 5 C,D GROUP_BY,
COMBINER
s3://
ou pu
/162
job_
1442
9455_
0024
11 2 36 15 30 20 20 20 i,j GROUP_BY,
COMBINER
s3://
ou pu /
163
Pig sc ip comple ed in 6 minu es, 31 seconds and 849 milliseconds (391849 ms)
Tabelle A.32:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 GB
und Clus e g öße 1+8; 1 Mappe p o 32 MB
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1442
9455_
0001
16 2 17 15 16 5 5 5
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/152
job_
1442
9455_
0002
32 1 38 27 34 56 56 56
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1442
9455_
0003
64 2 39 14 34 423 412 417
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1442
9455_
0004
320 11 33 7 23 256 177 224 g,h,lim GROUP_BY
job_
1442
9455_
0005
2 1 24 19 22 13 13 13 C,D GROUP_BY,
COMBINER
s3://
ou pu
/153
job_
1442
9455_
0006
33 2 37 15 31 21 21 21 i,j GROUP_BY,
COMBINER
s3://
ou pu /
154
Pig sc ip comple ed in 14 minu es, 55 seconds and 473 milliseconds (895473 ms)
106

Tabelle A.33:
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 GB
und Clus e g öße 1+8; 1 Mappe p o 256 MB
JobID Maps Reds
Max
Map
Time
Min
Map
Time
A g
Map
Time
Max
Red
Time
Min
Red
Time
A g
Red
Time
Alias Fea u e Ou pu
job_
1447
8561_
0031
4 2 27 26 27 5 5 5
a,b,
callcen e ,
s a 3,
s a 4
MULTI
_QUERY,
COMBINER
s3://
ou pu
/286
job_
1447
8561_
0032
4 1 81 39 60 75 75 75
B,
bWi h-
Epoch,
jn,lim
GROUP_BY
job_
1447
8561_
0033
8 2 83 31 55 364 357 360
bWi h-
Epoch,
bWi h-
Epoch2,
d,e,
HASH_JOIN
job_
1447
8561_
0034
40 11 92 29 66 105 65 91 g,h,lim GROUP_BY
job_
1447
8561_
0035
1 1 16 16 16 8 8 8 C,D GROUP_BY,
COMBINER
s3://
ou pu
/287
job_
1447
8561_
0036
11 2 22 11 18 9 9 9 i,j GROUP_BY,
COMBINER
s3://
ou pu /
288
Pig sc ip comple ed in 11 minu es, 12 seconds and 803 milliseconds (672803 ms)
107
Abbildungs e zeichnis
1.1 G undlegende Funk ionsweise on P ocess Mining . . . . . . . . . . . . . 2
2.1 BPMLi ecycle.................................. 4
2.2 BPMN 2.0: Die wich igs en Elemen e . . . . . . . . . . . . . . . . . . . . . 5
2.3 Beispiel eines BPMN 2.0 P ozessmodells . . . . . . . . . . . . . . . . . . 7
2.4 Beispiel eine P ozessins anz . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.5 E mi el es P ozessmodell aus Tabelle 2.1 (angelehn an [8]) . . . . . . . 9
2.6 Aus e en logs e mi el e soziale Abhängigkei en . . . . . . . . . . . . . . 11
2.7 Beispiel eines C*-Ne zes zu Da s ellung eines P ozessmodells . . . . . . 12
2.8 E gebnisg a ik des Heu is ic Mine Beispiels mi Th eshold 4 und 0.6 . . . 15
2.9 E gebnisg a ik des Heu is ic Mine Beispiels mi Th eshold 6 und 0.7 . . . 16
2.10 Hando e o Wo k C*-Ne z . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.11 Schema ische Aus üh ung on MapReduce (angelehn an [14]) . . . . . . 19
2.12 MapReduce: Ablau ohne Reduce . . . . . . . . . . . . . . . . . . . . . . 20
2.13 MapReduce Phasen anhand eines Wo dCoun Beispiels . . . . . . . . . . 22
3.1 Hadoop So wa ea chi ek u [22] . . . . . . . . . . . . . . . . . . . . . . . 24
3.2 Beispiel ü ein YARN Clus e . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.3 YARN So wa e-A chi ek u mi Resou ceManage und NodeManage [5] 26
3.4 Beispiel ü ein HDFS Clus e . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.5 Ablau eines Sch eib o gangs ins HDFS . . . . . . . . . . . . . . . . . . . 30
3.6 Da en ypen in Pig La in . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.7 Beispiel ü einen MapReduce Plan . . . . . . . . . . . . . . . . . . . . . . 43
109
Abbildungs e zeichnis
4.1 So wa ea chi eku on P oDoop . . . . . . . . . . . . . . . . . . . . . . . 46
4.2 Au bau eines Tomca Webse e s . . . . . . . . . . . . . . . . . . . . . . 47
4.3 Ablau plan des Heu is ic Mine s in Pig . . . . . . . . . . . . . . . . . . . . 52
4.4 Anwendung des MVC Pa e ns mi Ja aEE . . . . . . . . . . . . . . . . . 53
4.5 Auswahl eine Da ei in P oDoop . . . . . . . . . . . . . . . . . . . . . . . 54
4.6 Zuo dnung de einzelnen Fields in P oDoop . . . . . . . . . . . . . . . . . 56
4.7 Hadoop Analyse unk ion auswählen in P oDoop . . . . . . . . . . . . . . 58
4.8 Beispiel ü einen Doughnu Cha in P oDoop . . . . . . . . . . . . . . . . 61
4.9 Beispiel ü einen Rada Cha in P oDoop . . . . . . . . . . . . . . . . . . 61
4.10 Beispiel ü einen Ba Cha in P oDoop . . . . . . . . . . . . . . . . . . . 62
4.11 Das E gebnis des Heu is ic Mine s mi Cy oscape.js . . . . . . . . . . . . 64
4.12 Das E gebnis de Social Ne wo k Analysis mi Cy oscape.js . . . . . . . . 65
5.1 Au bau eines Hadoop Clus e s in EMR . . . . . . . . . . . . . . . . . . . . 69
5.2 Zusammenspiel de e schiedenen AWS Se ices in EMR . . . . . . . . . 70
5.3 Au eilung des Pig Sk ip s in Jobs . . . . . . . . . . . . . . . . . . . . . . . 72
5.4 E gebnisse des Expe imen s . . . . . . . . . . . . . . . . . . . . . . . . . 73
5.5 Geschwindigkei de Be echnungen in Abhängigkei de Clus e g öße . . 75
6.1 Geschwindigkei on e schiedenen MapReduce F amewo ks . . . . . . . 78
6.2 Daue de Be echnungen bei Ve ände ung de Mappe und Reduce . . . 80
110
Tabellen e zeichnis
2.1 Beispiel ü ein E en Log (angelehn an [8]) . . . . . . . . . . . . . . . . . 10
2.2 |a >Lb|Tabelle des Heu is ic Mine s . . . . . . . . . . . . . . . . . . . . . 13
2.3 |a⇒Lb|Tabelle des Heu is ic Mine s . . . . . . . . . . . . . . . . . . . . 14
2.4 Hando e o Wo k Ma ix . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
A.1
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 10
GB und Clus e g öße 1+10 . . . . . . . . . . . . . . . . . . . . . . . . . . 91
A.2
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 10
GBundClus e g öße1+8........................... 91
A.3
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 GB
undClus e g öße1+8 ............................. 92
A.4
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 100
MBundClus e g öße1+8........................... 92
A.5
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 10
MBundClus e g öße1+8........................... 93
A.6
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 MB
undClus e g öße1+8 ............................. 93
A.7
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 100
KBundClus e g öße1+8 ........................... 94
A.8
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 10
GBundClus e g öße1+6........................... 94
A.9
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 GB
undClus e g öße1+6 ............................. 95
111

Tabellen e zeichnis
A.10
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 100
MBundClus e g öße1+6........................... 95
A.11
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 10
MBundClus e g öße1+6........................... 96
A.12
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 MB
undClus e g öße1+6 ............................. 96
A.13
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 100
KBundClus e g öße1+6 ........................... 97
A.14
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 10
GBundClus e g öße1+4........................... 97
A.15
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 GB
undClus e g öße1+4 ............................. 98
A.16
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 100
MBundClus e g öße1+4........................... 98
A.17
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 10
MBundClus e g öße1+4........................... 99
A.18
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 MB
undClus e g öße1+4 ............................. 99
A.19
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 100
KB und Clus e g öße 1+4 . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
A.20
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 GB
undClus e g öße1+2 .............................100
A.21
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 100
MB und Clus e g öße 1+2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
A.22
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 10
MB und Clus e g öße 1+2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
A.23
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 MB
undClus e g öße1+2 .............................102
A.24
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 100
KB und Clus e g öße 1+2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
112
Tabellen e zeichnis
A.25
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 GB
undClus e g öße1+1 .............................103
A.26
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 100
MB und Clus e g öße 1+1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
A.27
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 10
MB und Clus e g öße 1+1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
A.28
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 MB
undClus e g öße1+1 .............................104
A.29
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 100
KB und Clus e g öße 1+1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
A.30
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 GB
und Clus e g öße 1+8; Reduce zahl 8+11 . . . . . . . . . . . . . . . . . . 105
A.31
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 GB
und Clus e g öße 1+8; Reduce zahl 16+22 . . . . . . . . . . . . . . . . . 106
A.32
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 GB
und Clus e g öße 1+8; 1 Mappe p o 32 MB . . . . . . . . . . . . . . . . . 106
A.33
Aus üh ungs-Logda en des Heu is ic Mine s mi Eingabeda eig öße 1 GB
und Clus e g öße 1+8; 1 Mappe p o 256 MB . . . . . . . . . . . . . . . . 107
113
Lis ings
2.1 Map und Reduce Funk ion in Pseudo Code . . . . . . . . . . . . . . . . . 20
3.1 Umse zung des Wo dcoun Beispiels in Hi e . . . . . . . . . . . . . . . . 31
3.2 Umse zung des Wo dcoun Beispiels in Pig . . . . . . . . . . . . . . . . . 33
3.3 Beispiel ü die Funk ionsweise on Pig . . . . . . . . . . . . . . . . . . . 34
3.4 Beispiel ü ein LOAD, STORE und DUMP-Anweisungen . . . . . . . . . . 35
3.5 Beispiel ü FOREACH............................. 36
3.6 Beispiel ü Re e enz au Fields . . . . . . . . . . . . . . . . . . . . . . . . 36
3.7 Beispiel ü FILTER............................... 37
3.8 Beispiel ü GROUP .............................. 37
3.9 Beispiel ü ORDERBY ............................ 38
3.10 Beispiel ü DISTINCT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.11Beispiel ü JOIN................................ 38
3.12 Beispiel ü JOIN mi meh e en keys . . . . . . . . . . . . . . . . . . . . . 39
3.13Beispiel ü FLATTEN ............................. 39
3.14 Beispiel ü NESTED FOREACH . . . . . . . . . . . . . . . . . . . . . . . 40
3.15 Beispiel ü esul ie ende Da en ypen bei Ve wendung on UNION . . . . 41
3.16 Beispiel ü die Ve wendung de piggybank.ja . . . . . . . . . . . . . . . . 41
3.17 Beispiel ü den Ja a Code eine UDF . . . . . . . . . . . . . . . . . . . . 42
4.1 Umse zung des Heu is ic Mine s in Pig: Teil 1 . . . . . . . . . . . . . . . . 48
4.2 Umse zung des Heu is ic Mine s in Pig: Teil 2 . . . . . . . . . . . . . . . . 49
4.3 Umse zung des Heu is ic Mine s in Pig: Teil 3 . . . . . . . . . . . . . . . . 50
115