Deteksjon av objekter i sonarbilder basert på dyp læring
Deteksjon av objekter i Syntetisk Apertur Sonar (SAS) eller Side Scan Sonar (SSS) bilder er en viktig operasjon i fjernmåling av havbunnen. Flere typer objekter kan være av interesse avhengig av applikasjon. For eksempel, ønsker vi å detektere miner i automatisk minerydding eller objekter som skipsvrak i arkeologiske undersøkelser. Det finnes en rekke kjente algoritmer for objektdeteksjon basert på dyp læring som Fast-RCNN, YOLO og SSD. Disse er utviklet for deteksjon av objekter i optiske bilder og antar ingen a-priori kunnskaper om bildene. For sonarbilder av objekter på havbunnen, sitter vi ofte med nyttig informasjon om bildene. Det kan være informasjon om avbildningsgeometri, avstand eller selve objektets egenskaper størrelse i bildepiksler. Det er da mulig å modifisere algoritmer som ble nevnt over for å utnytte informasjon av denne typen og dermed øke ytelsen i objektdeteksjon.
«Unsupervised» (ikke-ledet) læring for behandling av sonarbilder
Dyp læring fungerer bedre når det er anvendt i sammenheng med såkalt «supervised» (ledet) læring. For å utnytte «supervised» læring trenger vi en stor mengde data sammen med en relevant fasit for hvert enkelt bilde i databasen. Selv om tilgjengelige data typisk akkumuleres over tid, er det å lage fasit eller «labelling» fortsatt en arbeidsintensiv prosess. «Unsupervised» eller «semi-supervised» læring er et svar for denne utfordringen, hvor vi prøver å benytte data uten fasit/label for flere forskjellige anvendelser. En mulig anvendelse av denne fremgangsmåten er klassifisering av sonarbilder. Ideen her er å trene et nevralt nett for å generere egenskaper («features») på en «unsupervised» måte og deretter bruke de egenskapene som input til en klyngeanalyse-algoritme. Det er flere måter å utføre «unsupervised» egenskapsgenerering på, hvorav den mest utbredte metoden er basert på såkalte enkoder-dekoder arkitekturer. Prinsippet her er å transformere et gitt bilde til egenskap-rommet ved hjelp av enkoderen og deretter transformere egenskap-vektoren tilbake til det opprinnelige (eller et beslektet) bilde. Da kan systemet trenes ende-til-ende uten behov for manuelt generert fasit. «Unsupervised» læring kan også anvendes i objektdeteksjon og segmentering av bilder, hvor hovedprinsippene likner på dem som er benyttet i objekt klassifisering. Studenten kan i denne oppgaven studere en eller flere anvendelser av «unsupervised» teknikker som klassifisering, deteksjon og segmentering i forbindelse med sonarbilder.
Generering av konfidensmål i klassifisering og deteksjon
Vanlige klassifisering- eller deteksjon-systemer gir ut punkt-estimater av sannsynligheter. Disse kan brukes som konfidensmål for beslutningen foretatt av systemet, men det kan oppstå tilfeller der slike mål er ikke pålitelige. For eksempel når systemet får inn et objekt av en hittil ukjent klasse, kan systemet klassifisere dette til en kjent klasse og gi en urimelig høy konfidens. Vi vil unngå slike situasjoner og ønsker at systemet kan flagge ut det når det er usikkert på beslutningen. Dette kan oppnås ved å modellere variansen til output gjennom den Bayesianske tilnærmingen. I denne oppgaven skal kandidaten undersøke nærmere hvordan dette bør gjøres.
Estimering av objekt-egenskaper i sonarbilder
Estimater av egenskaper som størrelse og orientering, til interessante objekter i sonarbilder er nyttig i flere sammenhenger. For eksempel i minejakt gir fysiske dimensjoner til detekterte objekter en indikasjon om det er faktisk en mine og eventuelt hvilken type. Et dyp læring nettverk kan brukes til å oppnå dette. I denne oppgaven skal kandidaten først gjøre en litteraturstudie og velge ut egnede teknikker som skal implementeres. Det er også nødvendig å generere datasett med korrekte labels til trening og evaluering, hovedsakelig basert på verktøy som er allerede tilgjengelig. Til slutt skal systemene trenes og ytelse evalueres.
Fusjon av simulerte og virkelige data
Utilstrekkelig mengde av annoterte eksempeldata er et vanlig problem ved trening av dyp læring nettverk. For eksempel kan det være få eksempler av en bestemt type havbunn eller en bestemt klasse av objekter. Generering av kunstige data er en vanlig løsning i slike situasjoner. Man kan bruke fysikk-baserte simulatorer eller datadrevne simulatorer som Generative Adversarial Networks (GAN). For å unngå å simulere hele scenen, går en strategi ut på å kombinere kunstige objekt-responser med ekte bakgrunnsdata. Et avgjørende spørsmål er hvordan en skal fusjonere forskjellige typer simulerte data og virkelige data. I denne oppgaven skal studenten undersøke strategier for å oppnå bedre samspill mellom simulerte og virkelige data, som dermed kan forbedre system-ytelsen til det trente nettverket.
Endringsdeteksjon
Endringsdeteksjon er en prosesseringsteknikk der interessante objekter detekteres som forskjeller i to bilder som er tatt av samme scene, men på forskjellig tidspunkt. Teknikken brukes i mange ulike sensordomener og er svært viktig innen anvendelser som f.eks. medisinsk avbildning, industriell kvalitetskontroll og fjernmåling. Innføringen av autonome undervannsfarkoster utstyrt med avanserte treghetsnavigasjonssystemer og syntetisk apertur-sonar (SAS) har muliggjort automatisk endringsdeteksjon ned på pikselnivå også i sonarbilder av sjøbunnen. I denne oppgaven skal studenten gjøre en litteraturstudie på state-of-the-art algoritmer for endringsdeteksjon, implementere de mest lovende kandidatene og utføre testing og optimalisering på virkelige SAS-bilder samlet inn med HUGIN AUVer. Litteraturstudien bør omfatte resultater fra syntetisk apertur-radar (SAR), i tillegg til SAS, fordi data fra disse to sensortypene har mange likhetstrekk og det på verdensbasis er lagt ned betydelig større forskningsinnsats innen prosessering av SAR-data.
Kontaktpersoner:
- Narada Warakagoda Narada-Dilp.Warakagoda@ffi.no
- Øivind Midtgaard Oivind.Midtgaard@ffi.no