Neste generasjons analyseverktøy for overvåkning av hav- og kystområder

The surveillance of Norway's coastal and ocean areas is largely based on airborne surveillance. Specially adapted aircraft with a wide range of sensors are widely used for e.g. mapping of fishing activities, characterization of oil spills, and search and rescue missions. On board the aircraft, operators are closely watching what the sensor outputs, and report on illegal fishing, oil spill type, etc. on a continuous basis. Norwegian Special Misson (NSM) develops, manufactures and supplies monitoring systems that today are widely used for monitoring the ocean areas along the Norwegian. Andøya Space provides advanced drone services with large fixed-wing drones that can be operated beyond radio line-of-sight. Unmanned aircrafts represent great benefits for monitoring coastal and ocean areas in the form of reduced costs, support for very long operations (up to several days), and the ability to carry out assignments that involve too much risk for manned missions. However, a central challenge when using drones for ocean surveillance is a limited capacity to transmit large amounts of sensor data via satellite. The vision for this innovation project is to develop solutions that automatically interprets sensor data from the airborne coastal and marine surveillance. An automated interpretation will make it possible for NSM and ASC to offer future solutions that utilizes drones with high capacity and advanced sensors for operational maritime surveillance beyond radio line-of-sight. An automated solution will also reduce the need for manual interpretation for operations using small manned aircrafts. We have developed AI-based systems that automatically detect and locate ships in optical surveillance videos and images from airborne cruises along the coast. The results so far are very uplifting. The methodology is based on the deep learning algorithm Mask R-CNN, which is state-of-the-art within object detection in images. Efforts are now being made to increase the image material to include more ships acquired with a greater variety. This will result in even better performance. NSM is also working on adapting the solution to existing manned aircraft for coastal surveillance for testing a real-time solution on surveillance cruises.

Dette innovasjonsprosjektet skal utvikle en løsning som automatisk tolker data fra flybåren kyst- og havovervåkning for blant annet kartlegging av fiskeriaktiviteter, karakterisering av oljesøl og søk-og-redningsoppdrag. Løsningen skal implementeres på bemannede overvåkingsfly, men også i droner med lang rekkevidde og avanserte sensorer. Prosjektet er et samarbeidsprosjekt mellom Norwegian Special Misson (NSM), som utvikler og produserer overvåkningssystemer for fly, Andøya Space Center (ASC), som leverer avanserte dronetjenester til en rekke formål, og Norsk Regnesentral, som utvikler AI-løsninger for blant annet tolkning av bildedata. Droner representerer meget store fordeler for overvåking av kyst- og havområder i form reduserte kostnader og støtte for svært lange operasjoner. Helt avgjørende er at dronene kan operere uavhengig i lange perioder. Utfordringen er at dronen ofte befinner seg utenfor radiokontakt, og at det ikke er kapasitet til å overføre mengden sensor-data via satellitt. Automatisk tolkning av sensordataene om bord i dronen er derfor nødvendig. I prosjektet vil vi utvikle løsninger for automatisk tolkning av sensor-data fra flybåren kyst- og havovervåkning. Vi vil basere løsningene på nyere forskning innen kunstig intelligens, ofte omtalt som «deep learning» (dyp læring). Innovasjonen vil bli blant annet bli benyttet til å effektivisere analysen av sensor-data fra dages bemannede fly, men også være en helt sentral komponent for bruk av droner til havovervåkning.