SPOZNAJ - 2. usposabljanje za podatkovne strokovnjake, 2. teden - Orodja za delo z delotoki

Orodja za delo z delotoki Maja Zagorščak 16.11.2025 Vsebina ➔Kaj je delotok? ➔Delotoki v naravoslovju - laboratorij (wet-lab) ➔Delotoki v naravoslovju - analiza podatkov (dry-lab) ➔Uporabljivost (Reusability) ➔Virtualizacija ➔Okolja za delo z delotoki v ukazni vrstici Delotok •Delotok (angl.pipeline/workflow)je zaporedje korakov vprocesu analize •Osnovni gradnik delotoka je vozlišče -posamezen korak Diagram delotoka (peka potice) Delotoki v laboratoriju https://www.pinterest.com/pin/image-250374--495888608955792059/ wet lab •Diagnostični rezultati - so podatki, pridobljeni s testi; so izidi specifičnih diagnostičnih procesov in se običajno uporabljajo za sprejemanje končnih zaključkov o vzorcu (npr. odkritje patogena) •Analiza – je set specifičnihtestov, ki jih je treba opraviti, glede na naravo vzorca in zahteve vzorčevalca •Sledenje vzorcu od vzorčenja do analize zagotavlja da so njegova zgodovina in ravnanje ustrezno dokumentirani: - podatki o vzorčenju in odvzemu vzorca - podatki o vzorcu - podatki o inštrumentih - protokoli - metapodatki https://www.mdpi.com/diagnostics/diagnostics-1201503/article_deploy/html/images/diagnostics-12-01503-g002.png https://www.nature.com/articles/s41563-020-00906-z/figures/1 •oblika podatkov, ki jih dobimo, je odvisna od metode in instrumentov •opisni (kvalitativni) ali kvantitativni (numerični) •analiza in interpretacija: intepretacija kontrol → veljavnost testa in rezultatov vzorca (QC) Bustin et al., 2009. The MIQE Guidelines: Minimum Information for Publication of Quantitative Real-Time PCR Experiments. Clinical Chemistry 55, 611–622. https://doi.org/10.1373/clinchem.2008.112797 priprava vzorca immunofluorescenca PCR v realnem času izolacija na gojiščih *.txt, *.rdml Cq test patogenosti ocena sumljivosti vzorca (na osnovi bolezenskih znamenj) poz / neg / sum koncentracija patogena poz / neg / sum relativna količina patogena poz / neg / sum dodatni testi poz / neg / sum dodatni testi quantgenius (R) Sistem kakovosti Akreditacija ISO 17025 Primer 1 Primer 2 Primer 2 Primer 2 Primer 3 Delotoki v analizi podatkov Uporabljivost (Reusability) •Vsaka odprta programska oprema mora biti opremljena z bogato dokumentacijo •Rezultati zaganjanja morajo biti ponovljivi, ne glede na to, na kakšnem računalniku ali operacijskem sistemu je programska oprema zagnana •Težave z odvisnostjo od različnih zunanjih knjižnic je mogoče rešiti preko ustvarjanja izoliranih okolij, ki vsebujejo vse odvisne komponente ali stabilne povezave do njih Delotoki v analizi podatkov •Delotok (angl.pipeline/workflow)je zaporedje korakov vprocesu analize •Osnovni gradnik delotoka je vozlišče -posamezen korak •Delotok mora imeti zagotovljen dostop do: oorodij, ki so potrebna za izvedbo posameznega koraka opotrebnih vhodnih podatkovnih virov opotrebnih izhodnih podatkovnih virov Virtualizacija •nadomeščanje strojne opreme z navidezno •virtualizacija računalnikov (Virtual Machine -VM) nam omogoča da na enem računalniku ali strežniku istočasno deluje več različnih sistemov, ki so med seboj neodvisni in imajo pripadajočo navidezno strojno opremo * hipervizor -nadzornik virtualnega stroja (VMM) -virtualizator Vsebnik (container) in okolje (enviroment) •skupina procesov z dovolj veliko mero izolacije •‘lahka virtualizacija’ •izolacija programov v ločenih imenskih prostorih •omogoča konsistenco izvajanja poslov: programska oprema +pripadajoče knjižnice + sistemske komponente -> možnost ponovitve eksperimentov in izvajanja poslov tudi v spremenjenem in posodobljenem okolju https://www.mrdbourke.com/get-your-computer-ready-for-machine-learning-using-anaconda-miniconda-and-conda/ Dry-lab Primer 1 http://quantgenius.nib.si/ OPTIMUM -upravitelji (workflow managers) pri pisanju ponovljivih delotokov •Ponovljivi delotoki -FAIRifikacija •Nadzor različic in vsebnikov •Odprta koda, strukturiranost, enostavno vzporedno delovanje •Povečanje obsega za delovanje, npr. HPC •Rastoča skupnost, standardizirani bioinfo delotoki Jezik (language) Python Groovy Podatki (data) datoteke (everything is a file)datoteke in vrednosti (can use both files and values) Izvajanje (execution) delovni direktorij (working directory)več direktorijev (each job in its own directory) ‘Dry runs’ + - Spremljanje spremembe kode - + https://github.com/nadjano/my-first-nextflow-pipeline https://github.com/NIB-SI/ARMOR/blob/master/README-NIB-SI.md Zaključek virtualizacija, vsebniki, programska okolja, delotoki: olajšajo analize in poenostavijo ponovljivost poenotenje / standardizacija ? interoperabilnost vsebnikov izmenljivost delotokov Centralna tehniška knjižnica Univerze v Ljubljani Central Technical Library at the University of Ljubljana Trg republike 3, SI-1000 Ljubljana Slovenija / Slovenia dr. Maja Zagorščak dr. Tanja Dreo dr. Ana Vučurović dr. Nadja Nolte dr. Carissa Bleker dr. Marko Petek dr. Anže Županič Valentina Levak Nacionalni inštitut za biologijo (NIB) Oddelek za biotehnologijo in sistemsko biologijo Večna pot 121, 1000 Ljubljana Slovenija