Autonomy through stereo vision near the seashore

I henhold til trafikkreglene på sjøen skal alle fartøy alltid være på utkikk etter andre fartøy med syn og andre midler. For autonome skip medfører dette en utfordring fordi det er vanskelig å replisere evnene til det menneskelige synet, som har blitt utviklet gjennom naturlig evolusjon over millioner av år. Likefullt så kan autonome navigasjonssystemer tilby mange fordeler som overgår evnene til en menneskelig operatør, som vedvarende oppmerksomhet, fusjon mellom visuelle data og aktive sensorer som radar og lidar, og overlegen presisjon i målfølging, navigasjon og bevegelsesstyring. For å øke nytteverdien av datasyn i maritim overflateautonomi så fokuserer Autosight-prosjektet på stereo-syn. I 2023 og 2024 har Autosight-prosjektet benyttet den autonome passasjerfergen milliAmpere 2 til å ta opp flere datasett av relevans for prosjektets målsetninger. Prosjektet har addressert en rekke problemstillinger av relevans for overflate-autonomi. Vi har utviklet en løsning med dobbel grunnlinje for stereosyn, som gjør det mulig kombinere fordelene med kort og lang grunnlinje. Vi har studert maritim målfølging i stereodata, og sammenlignet dette med målfølging via fusjon av stereo og lidar. Vi har studert bruk av optisk flyt og sceneflyt i det maritime miljøet, både via stereo og fusjon av kamera og lidar. Vi har brukt slike flyt-teknikker til å forbedre initialiseringen av spor i et målfølgingsystem, og til å muliggjøre bedre hastighets-estimering for målfølging med ustrekning. Vi har utviklet teknikker for segmentering av vann i stereodata, som bruker både maskinlæring og romlige sannsynlighetsmodeller i kombinasjon. Vi har utviklet løsninger for å estimere hindrings-frie områder på vannet via stereosyn, og vi har utviklet nye representasjoner av den autonome båtens omgivelser basert på stereo-data.

The project will establish knowledge about how stereo vision can be used to enable precise and safe operations for autonomous surface vessels in the close vicinity of the shore and other vessels, such as during docking operations of an autonomous ferry. Building upon recent breakthroughs of maritime autonomy and inspired by the advances in vision-based automotive autonomy, the project will critically compare and combine solutions based on both probabilistic models and machine learning. The project will develop tailor-made solutions to localization and extended object tracking in the harbor environment and demonstrate how these solutions can be used to strengthen the safety of an autonomous ferry.