OceanEye - All-weather, high-precision intelligent payload for sea surface object detection

I dette prosjektet har Maritime Robotics, SINTEF, NTNU, NORCE og PGS jobbet sammen om teknisk design og prototyping av et UAS-sensorsystem. I 2019 ble innledende flytester utført for å utforme systemkrav. Data fra disse flyvningene ble i 2020 brukt for innledende forskning på maskinlæringsmetoder for objektdeteksjon til sjøs (Arnegaard et al, 2021). Tidlig i 2020 ble det avholdt en workshop for prosjektet, for å samle alle prosjektpartnere for å diskutere sensorvalg og arkitektur. Deretter ble designfasen videreført ved å utforme dokumenter som beskriver den overordnede arkitekturen og planene for sensorkonfigurasjoner. Et sett med sensorer ble anskaffet og kombinert med NTNUs Sentiboard, for å lage en sensorpod for UAS. Maritime Robotics har arbeidet med å sette sammen denne nye sensorkapselen, og har også designet mekanikk for montering på UAS. I mellomtiden har SINTEF og NTNU arbeidet med deteksjons- og klassifiseringsmetoder, og har utviklet en første tilnærming til objektdeteksjon og representasjon av dataene til operatører. I 2021 ble felttestforberedelse gjort av alle prosjektpartnere, og Maritime Robotics utførte flere felttester, nå med den nye sensorpoden. Innledende dataanalyse ble gjort av SINTEF, NTNU og Maritime Robotics som forberedelse til videre analyse og testing. SINTEF har også arbeidet videre med metoder for å presentere resultatene for UAS-operatører. Sommeren 2021 begynte MR og SINTEF også å utvikle anomalideteksjonsmetoder for deteksjon av havoverflateobjekter. Dette arbeidet vil bli tatt videre for å sammenligne ulike tilnærminger når det gjelder deteksjonsytelse og sanntidsbehandlingsytelse. Som forberedelse til felttesting og prosessering ombord, bidrar NORCE med Cryocore for å fasilitere effektive strategier for deling av data fra UAS til operatør. NORCE har satt opp et dedikert bakkesegment (Cryorack) for kommunikasjon med dronene ved hjelp av Cryocore. En fleksibel løsning for å lansere flere løsninger er utviklet ved hjelp av Red Hat Ansible-automatiseringsplattformen. 2022 og 2023 ble brukt til videre testing og konseptutvikling. Testing ble gjort også med enklere nyttelaster av typen kameragimbal, nyttelaster allerede i markedet. Bruk av anomalidetektoren på en slik nyttelast ble etterhvert fokus for avslutnignen av prosjektet for å kunne dele opp utvikling av hardware og software. Tester viser at konseptet er godt, og modulene tas inn i situasjonsforståelserammeverket til Maritime Robotics.

Prosjektet har bidratt til å forske frem teknologier som binder sensorteknologi, maskinlæring og dataoverføring som gjør det mulig å utvikle fremtidig bruk av systemer for situasjonsforståelse for flygende og flytende fartøy. Kunnskap fra prosjektet er allerede tatt i bruk i videreutvikling av produkter i Maritime Robotics portefølje.

This project will create a sensor and data acquisition system for Uncrewed Aircraft Systems (UAS) that gives the ability to find and identify small floating objects on the sea surface. The system will do systematic search, data capture and automatic data analysis from UAS in harsh Northern weather conditions. The system is primarily motivated by an industrial need from project partner PGS, but the results from having a system that is able to find small objects floating on the sea-surface will have a wide range of market opportunities in applications such as search and rescue, ship surveillance, military, oil spill detection and ice management operations in the high north. Autonomous systems are outlined as a decisive capacity for monitoring and controlling the ocean space. From a flying drone, there are typically floating or sailing objects in the ocean that are of interest. In the search phase we would like the sensor to cover every area of the surface, but the big challenge is that almost all the imagery is unlikely to contain anything but sea. If there is a 24-hour surveillance service it is an inhumane task to sift through such image material. In practice, low bandwidth SatCom at high prices (e.g. Iridium) will also prevent transmission of sensor data. We therefore need an autonomous sensor system that that is economically sound to integrate on UAS and that itself detects specific objects, and that prioritizes what should be sent back to the back station. In areas where communication bandwidth are limited the UAS could benefit from a higher level of autonomy, and this sensor system could be used to guide the UAS into, for example, a circling pattern over a sea surface object of interest.