ML4MI Supplementary Material

Om os Vi hedder … Fra … , læser kandidat i XX I gang med vores speciale der skal omhandle hvordan man sætter krav og hele processen omkring det, når man udvikler medical imaging systemer/modeller til brug på hospitalerne. Er du ok med at vi optager vores interview? Introduktion Kan du fortælle os lidt om dig selv og din erfaring med at arbejde med Medical Imaging/billeddiagnostiske AI modeller? Hvis det er okay med dig, vil vi gerne høre om du vil fortælle os lidt om dit team? • Hvad er deres uddannelsesmæssige baggrunde? • Hvad er deres nationaliteter? • Alder køn eller andre karaktertræk? Proces Kan du give os et eksempel på et medical imaging system du har været med til at udvikle? Kan du beskrive de forskellige steps i udviklingsprocessen af systemet? • Hvilke kvaliteter var vigtige for systemet? o Brugervenlighed § Hvordan evaluerede i systemets brugervenlighed? § Hvad betød brugervenlighed for jer? o Accuracy – Hvordan evaluerede/bestemte I systemets accuracy? o Effektivitet – Var det vigtigt for systemet at det kunne gøre radiologerne arbejdsflow hurtigere på en eller anden måde og hvordan evaluerede i det så? o Trust/tillid – Gjorde I jer nogen overvejelser i forhold til om jeres brugere ville have tillid til systemet? o Fairness – Hvordan sikrer I at systemet virker for alle typer patienter/flest mulige forskellige patienter? o Adaptability/tilpasningsevne – Bygger I systemer som virker på forskellige diagnoser/sygdomme/organer? o Explainability – Inkorperer I explainability I jeres systemer så en radiolog kan forstå modellens svar (black-box-problem)? o Transparens – Hvor transparente er I, i forhold til jeres model, deler I f.eks. koden og hvilke datasæt I har anvendt? o Sikkerhed/lovgivning – Har noget lovgivning eller nogle sikkerhedskrav påvirket hvordan I har udviklet systemet? • Hvordan fandt I ud af hvilke funktioner systemet skulle have? • Hvilken data brugte I til at træne systemet/modellen? o Var der nogen særlige krav eller ønsker til datas kvalitet? • Hvem var involveret i udviklingsprocessen og hvornår i processen var de involveret? (Stakeholders, kollegaer, roller) • Hvilke udfordringer var der i udviklingsprocessen? o Prioritering af systemkvaliteter – Var der nogle funktioner/kvaliteter I måtte prioritere over andre? o Kommunikationsproblemer – Var der nogle kommunikationsproblemer enten internt i virksomheden eller med kunden? o Forventningsafstemning - Matchede kundens forventninger og systemets faktiske egenskaber? o Hvordan fik I løst eventuelle udfordringer? • Hvor lang tid tog det at udvikle systemet? • Evaluerede I det færdige system med kunden? o Hvor ofte gjorde I det? o Hvordan gjorde I det? o Hvis ikke, hvordan evaluerede I så systemet? • Er der fokus på vedligeholdelse af systemet efter det kommer/kom i drift? • Hvordan vil du generelt vurdere den måde I bestemmer systemets krav (funktioner/kvaliteter)? Refleksioner Tror du at AI systemer vil kunne hjælpe med de manglende ressourcer på hospitalerne (at der f.eks. ikke er nok radiologer til alle de undersøgelser som skal laves)? Hvordan tror du at radiologi og machine learning for medical imaging vil udvikle sig de næste 10 år? Kender du eventuelt andre der kunne være interessante for os at snakke med? (internt/eksternt)