Visualiseringsverktøy for ortopedisk diagnose – OUS/Metronor

For at visualiseringen av skjelettet skal bevege seg sammen med pasienten, må vi vite hvor i rommet pasienten befinner seg relativt til HoloLensen. For dette bruker vi et optisk sporingssystem, som bestemmer posisjonen og orienteringen av objekter med stor nøyaktighet. For øyeblikket bruker vi Northern Digital’s Polaris system. Vi jobber nå sammen med selskapet Metronor om å erstatte Northern Digital’s sporingssystem med Metronor sitt (Orthopedic Navigation - Metronor), da dette har en høyere nøyaktighet. Metronor sitt system er også så lite at det muligens kan settes på toppen av HoloLensen, og brukes som et mobilt sporingssystem (Figur 2). Dette er noe som ikke har blitt gjort før, og ville ha fjernet en av transformeringene som nå må gjennomføres.

Figur 2: Versjon 1 vs. Fremtidig versjon 2. I versjon 1 beveger kirurgen seg uavhengig av sporingssystemet, og en transformering må beregnes for dette. I versjon 2 er målet at sporingssystemet festes til HoloLensen/kirurgen.

Oppgaven:

Det overordnede målet til oppgaven er å lage en ny versjon av visualiseringsverktøyet vårt ved hjelp av Metronor’s sporingssystem, teste nøyaktigheten til det nye systemet og teste det på enten en pasient eller et menneske-lignende fantom.

Oppgaveoversikt:

1. Skrive om Metronor’s Software Developer Kit (SDK) til å være kompatibel med Plus Toolkit
2. Sette opp Versjon 2 av visualiseringsvertøyet (Figur 2)
   1. Designe nye sporingsreferanser
   2. Feste Metronor systemet til HoloLensen
3. Gjennomføre en sammenligning av versjon 1’s og versjon 2’s nøyaktighet
4. Teste visualiseringen på enten pasient eller fantom i den grad tiden tillater det

1. Plus Toolkit

Plus Toolkit (Plus Toolkit) fungerer som en server, som får inn målinger fra sporingssystemer og sender disse videre til programvaren som bruker målingene. I vårt tilfelle tillater Plus Toolkit kommunikasjon mellom Northern Digital’s sporingssystem og Unity. Vi bruker Unity for utvikling av HoloLens programvaren vår. Metronor’s SDK tillater ikke kommunikasjon med Plus Toolkit akkurat nå, og må derfor implementeres. Fremgangsmåten for dette beskrives i denne linken: Adding a Device (plustoolkit.github.io) og skal være noenlunde rett frem. Metronor vil bistå med opplæring i bruk av deres SDK og selve integreringen.

2. Sette opp versjon 2

For at et sporingssystem skal kunne spore et objekt, må en referanse festes til objektet. Vi fester for eksempel referanser til pasienten og HoloLensen i versjon 1 av visualiseringsverktøyet vårt. Referanser kan designes og 3D printes etter behov. Referansene vi bruker nå er tilpasset Polaris sitt system, og kan ikke spores av Metronor. Det må derfor designes og printes nye referanser for Metronor systemet. Inger, Metronor og HoloCare (firma som er ansvarlig for Unity og HoloLensen i dette prosjektet) vil bistå studenten i denne delen av oppgaven.

Videre må også sporingssystemet festes på HoloLensen, noe som ikke er blitt gjort før.

3. Evaluere nøyaktigheten til Versjon 2

Det er ulike måter å teste nøyaktigheten til systemet på. Evalueringen av versjon 1 er beskrevet i denne artikkelen: Mixed reality as a novel tool for diagnostic and surgical navigation in orthopaedics - PubMed (nih.gov). Hvordan testingen av den nye versjonen gjennomføres vil kunne bestemmes av studenten. Inger vil bistå og gi råd under denne delen av oppgaven. Det burde inkluderes en sammenligning med versjon 1.

4. Testing på pasient/fantom

I den grad tiden tillater det, vil studenten også kunne gjennomføre en brukertest ved å teste systemet på et fantom (Figur 3) eller muligens en pasient. Både denne delen og del 3 vil kunne gjennomføres i operasjonsstuer ved IVS.

Figur 3: Brukertest gjennomført på et fantom

Forkunnskaper studenten bør ha:

1. C++
2. Grunnleggende statistikk
3. Det vil være en fordel om studenten har jobbet med CMake og XML tidligere, og har vært borti C# og/eller Unity.

Studenten vil læres opp i bruken av sporingssystemene som skal brukes, Metronor’s SDK, og andre programvarer som trengs for å gjennomføre oppgaven. Studenten vil muligens også komme borti 3D-printing for å produsere referanser. Det forventes at studenten setter seg inn i hvordan optiske sporingssystem fungerer. Oppgaven passer godt til studenter som ønsker å jobbe i krysset mellom industri, innovasjon og forskning.

Involverte veiledere, og deres ansvarsområde:

• Prof. Ole Jakob Elle, Professor II ved IFI og seksjonsleder ved IVS
  • Hovedveileder 
• Inger Grünbeck, PhD-student ved IVS
  • Inger jobber med dette prosjektet til daglig som doktorgradsstudent, og vil være den direkte kontakten til studenten og gjennomføre den daglige oppfølgingen.
  • Hun vil være ansvarlig for koordinering av alle samarbeidspartnere (Metronor, IVS og HoloCare, som er ansvarlige for HoloLensen og Unity programmet).
  • Hun vil også stå for deler av opplæringen, bistå studenten med å planlegge og gjennomføre sammenligningen av visualiseringsverktøyene, og bistå med statistisk analyse av resultatene.
• Jørgen Høklie, Programvareutvikler ved Metronor
  • Jørgen vil bistå studenten med integrasjon av Metronor’s sporingssystem i Plus Server. Han vil også gi opplæring i Metronor’s sporingssystem og SDK, og gi råd ved referanse-design.
• Ola Wiig, Ortopedisk kirurg ved OUS
  • Ola vil bidra med testing og evaluering av sluttproduktet