Integrert maritim sensorplattform for deteksjon og klassifisering av sikkerhetskritiske objekter rundt et skip

The innovation project has contributed to the development of a new integrated maritime sensor platform for detection and classification of safety-critical objects around a ship. Real sensor data from a larger ship has been used as test data in the project and new methods and algorithms have been developed that have been used in Kongsberg Seatex's new autonomy products. The project has primarily focused on data processing of image data from radars and cameras and can detect objects that are around the entire ship (360 degrees). For detection and classification of objects, machine learning algorithms has been used. This together with new methods in detection extraction, camera calibration and automatic tracking of objects provide information about the type of object, ie whether it is a ship or a beacon, land, etc. Throughout the project, the algorithms for tracking objects on the sea surface have been further developed with new functionalities to develop the robustness of the sensor platform. This can improve sensor models, as well as robust handling of error detections and for objects to be temporarily gone. The sensor platform can be used on existing manned ships, remote-controlled ships and also for completely unmanned autonomous ships. In order to achieve the same operational safety as with manual navigation that is common today, it is important to develop a robust automation solution that ensures operational safety and good user interaction. During the project, field studies have therefore been carried out on both ferries and larger ships to investigate what information the user uses as a decision basis for navigation. The field study concluded that the navigator/captain uses both vision, camera and information from various navigation aids depending on the type of operation and whether it takes place in light or dark. Based on interviews with captains and navigators, concepts for god user interaction were developed that can be used as a basis for further development of autonomous control systems. The project also highlights challenges for insurance for autonomous ships. This gave us a good basis for issues around guilt issues if, for example, there are errors in hardware or software that go directly beyond operational safety. The project concludes that developing a safe autonomous navigation solution requires multidisciplinary collaboration with various actors in the maritime value chain to ensure the necessary maritime safety when human navigation is completely or partially replaced by sensors and computers.

Innovasjonsprosjektet har bidratt med følgende: - Utviklet en ny integrert maritim sensorplattform for deteksjon og klassifisering av sikkerhetskritiske objekter rundt et skip. - Resultater har blitt brukt i utviklingen av Kongsberg Seatex sine nye autonomiprodukter og kan brukes på eksisterende bemannede skip, fjernstyrte og for helt ubenammede autonome skip. - Kartlagt utfordringer rundt forsikring av autonome skip, samt vurderinger rundt skyldspørsmål ved feil på maskinvare og programvare som kan ha innvirkning på operasjonell sikkerhet.

Innovasjonsprosjektet skal utvikle en sikker og robust sensorplattform for deteksjon og klassifisering av sikkerhetskritiske objekter rundt et skip. Det betyr at data fra ulike sensorer som radar/lidar, GPS, bevegelsessensorer, IR kamera, akustiske sensorer, avstandssensorer og andre datakilder som eksempelvis AIS og værtjenester skal brukes på best mulig måte for å gi navigatørene informasjon om omgivelsen rundt fartøyet (proximity awareness). Sensorplattformen vil kunne brukes på eksisterende bemannede fartøy, fjernstyrte fartøy og mot helt ubemannede autonome fartøy. Det vil kreve en robust og sikker løsning som ivaretar maritim sikkerhet og god brukerinteraksjon. Vi ønsker å overføre kompetanse fra bilindustrien og robotikk der graden av autonomi har kommet lenger. Når man går fra land til sjø, er det en del utfordringer som ikke overføres direkte. Skip vil kunne bevege seg fritt, det er større bevegelser og mer krevende miljø (vær, vind og bølger) som gjør objektdeteksjon vanskeligere. Prosjektet er sammensatt av partnere med komplementær kompetanse fra utstyrsleverandør, industridesigner, sluttbruker, forsikringsselskap og forskningsmiljø med maritim domenekunnskap og muliggjørende teknologier. Testområdet Trondheimsfjorden blir brukt for å verifisere og validere innovasjonen med fartøy fra Kongsberg Seatex og Kystekspressen som trafikkerer strekningen Trondheim-Kristiansund.