Autonomy through stereo vision near the seashore

I henhold til trafikkreglene på sjøen skal alle fartøy alltid være på utkikk etter andre fartøy med syn og andre midler. For autonome skip medfører dette en utfordring fordi det er vanskelig å replisere evnene til det menneskelige synet, som har blitt utviklet gjennom naturlig evolusjon over millioner av år. Likefullt så kan autonome navigasjonssystemer tilby mange fordeler som overgår evnene til en menneskelig operatør, som vedvarende oppmerksomhet, fusjon mellom visuelle data og aktive sensorer som radar og lidar, og overlegen presisjon i målfølging, navigasjon og bevegelsesstyring. For å øke nytteverdien av datasyn i maritim overflateautonomi så fokuserer Autosight-prosjektet på stereo-syn. I perioden 2024–2025 har Autosight-prosjektet publisert flere artikler som tar opp sammenhengende kjerneemner innen persepsjon for maritim overflateautonomi. Ett slikt tema er scene flow, dvs. det tredimensjonale bevegelsesfeltet til alle synlige punkter i en scene, estimert fra bilde- eller sensordata, som beskriver hvordan hvert punkt i rommet beveger seg over tid. Vi har brukt scene flow både til å forbedre deteksjon av bevegelige objekter, og som et verktøy for å estimere rotasjonsbevegelse til fartøy. Et annet tema er hvordan man kan skille mellom vann, kystlinje, fartøy som ligger til kai og fartøy i bevegelse. Til dette har vi brukt både scene flow, segmenteringsteknikker og metoder som kombinerer forhåndsdefinerte kart med kartlegging i sanntid. Autosight-prosjektet har hatt et sterkt fokus på datainnsamling. Flere datasett med både lidar- og stereodata er blitt samlet inn ved bruk av den autonome passasjerfergen milliAmpere 2. Parallelt har prosjektet også utforsket teknikker for bevegelsesstyring på den tidligere prototypen milliAmpere 1, med mål om å gjøre både milliAmpere 1 og milliAmpere 2 til nyttige testplattformer for Autosight-prosjektet i dets siste år.

The project will establish knowledge about how stereo vision can be used to enable precise and safe operations for autonomous surface vessels in the close vicinity of the shore and other vessels, such as during docking operations of an autonomous ferry. Building upon recent breakthroughs of maritime autonomy and inspired by the advances in vision-based automotive autonomy, the project will critically compare and combine solutions based on both probabilistic models and machine learning. The project will develop tailor-made solutions to localization and extended object tracking in the harbor environment and demonstrate how these solutions can be used to strengthen the safety of an autonomous ferry.