Mapping of Algae and Seagrass using Spectral Imaging and Machine Learning

MASSIMAL utvikler nye metoder for å kartlegge undervannsvegetasjon som ålegras, tang, tare og ruglbunn. Denne type vegetasjon danner artsrike enger og "blå skoger" i havet, og bidrar med primærproduksjon, karbonfangst, og opptak av næringssalter i havet. Menneskelig aktivitet, klimaendringer og overbeiting av kråkeboller utgjør betydelige trusler for disse økosystemene. I prosjektet avbildes vegetasjonen med et hyperspektralt kamera montert på en drone som flyr 50 meter over havoverflaten. De hyperspektrale bildene kombineres med manuelle stikkprøver fra havbunnen, for å trene maskinlærings-algoritmer som lager kart over de ulike artenes utbredelse, tetthet, og «helsetilstand». Gjennom prosjektet har man så langt samlet inn data fra flere områder langs Norges kyst; i nærheten av Bodø, Vega, Smøla og Larvik. Datasettene representerer stor variasjon i plantearter, naturtyper, værforhold og vannets optiske egenskaper, og forhåpentligvis gir dette også grunnlag for å trene opp robuste maskinlærings-algoritmer. Under arbeid i felt har man testet mange ulike metoder for dokumentasjon av vegetasjon og naturtype (såkalt "ground truth"). Tidlig i prosjektet ble dette gjort gjennom nøyaktig dokumentasjon av små områder. I de siste feltarbeidene har prosjektet fokusert mer på å dekke større områder, og å ha gode eksempler som spenner over hele variasjonen innenfor et område. Dokumentasjonen gjøres først og fremst gjennom å undervannsavbildning fra båt (vanlig eller autonom), sammenstilt med måling av nøyaktig posisjon, som gir et stort datasett med "geotaggede" undervannsbilder. Innsamlede data må organiseres, etterbehandles og annoteres før de kan brukes til trening av maskinlærings-algoritmer, og utvikling av metodikk for å gjøre dette har tatt mye tid i prosjektet. Mange ulike datakilder (bilder / video av havbunn, posisjonsdata og hyperspektrale bilder) må samordnes for at annotering av innsamlede data skal være mulig. Ferdig annoterte datasett vil bli publisert sammen med resultatene fra prosjektet. Tidlige resultater fra prosjektet viser at det er mulig å finne distinkte spektrale mønstre for ulike vegetasjons- og bunntyper. Et tidlig datasett fra Bodø med sjøgress og tang har blitt brukt for å finne gode metoder for "feature selection", dvs. utvelgelse av de bølgelengdene som fungerer best for kartlegging av ulike arter. En masteroppgave basert på data fra Larvik-området har gitt lovende resultater når det gjelder å kartlegge sjøgress, "lurv" (trådalger), sand og tang. Et forsøk på å bruke "clustering" på et datasett fra Bodø med tett sammenblanding av ulike klasser har vist at "semi-supervised learning" kan være nyttig i tilfeller der eksakt annotering av bilder ikke er praktisk mulig. En "U-Net"-maskinlæringsmodell trent på et datasett fra Vega har vist at det er mulig å kartlegge tare, tang og ruglbunn med relativt god nøyaktighet. De siste forskningskampanjene i prosjektet ble gjennomført i 2023, i områder nært Smøla, Larvik og Bodø. Data fra Smøla-området hadde mange tydelige eksempler på effekten av kommersiell tråling av tare. I nylig trålte områder viste drone- og undervannsbildene tydelige "trålgater" med bart berg, mens man i andre områder så eldre trålgater med gjenvekst av ung, lav tare. Kampanjen i Larvik-området ble gjennomført kort tid etter ekstremværet "Hans", som rammet Sør-Norge i august 2023. Avrenning fra land ga opphav til brun farge på vannet og til dels svært dårlig sikt. Mot slutten av kampanjen ble imidlertid sikten bedre, og prosjektet fikk samlet data fra flere områder med ålegras, tang og tare. Kampanjen i Bodø gjaldt ble gjennomført i slutten av 2023 og gjaldt ny avbildning av et område med sjøgress som har vært avbildet tidligere i prosjektet. Data fra denne kampanjen er per november 2023 ikke ferdig behandlet. I prosjektets siste år (2024) vil hovedaktivitetene i prosjektet være videreutvikling av maskinlæringsalgoritmer og publisering av vitenskapelige resultater. En masteroppgave publisert i 2022 har blitt videreutviklet til et manuskript til journalartikkel, og dette sendes sannsynligvis inn rundt årsskiftet 2023-2024. En konferanseartikkel publisert under IGARSS 2023 vil sannsynligvis også videreutvikles til en journalartikkel. De store datasettene samlet inn i prosjektet gir forhåpentligvis grunnlag for publikasjon av flere journalartikler i tillegg til disse. Populærvitenskapelig formidling av prosjektresultatene vil også være en prioritert aktivitet i 2024.

Seagrass meadows and kelp forests are two of the most important marine habitats along the Norwegian coast. These are exposed to stressors such as eutrophication, ocean warming and ocean darkening, which all impact their distribution and health. At present, mapping of these species in Norway is done at a small number of sampling points using underwater “drop cameras”, recording coverage or state parameters of the species at points or along line transects. There is a need for cost efficient tools to map and monitor the distribution and ecological state of blue forests over larger areas and extended time periods. Large-scale mapping based on imaging from satellites or airplanes is possible, but has several drawbacks: Satellites have limited spatial resolution and depend on cloudless days, and airplane missions are costly. We propose using unmanned aerial vehicles (UAVs) equipped with hyperspectral cameras for mapping medium-sized areas. UAVs enable flexible, low-cost imaging missions with high spatial resolution, and hyperspectral imaging will provides detailed spectral information within each pixel. The spectrum of light reflected from underwater vegetation and the seafloor can be used as a “spectral fingerprint” to estimate parameters such as plant coverage, species, biomass and physiological state. Scuba divers, drop cameras and ROVs will be used to aquire “ground truth” measurement of these parameters, and machine learning methods will be used to train mathematical models relating the hyperspectral data to the field measurements. This enables estimation of biophysical parameters for each image pixel. Through statistical analysis of the mapped spatial and temporal changes, we will identify the main drivers that cause the observed patterns. Understanding how the structure and function of these species varies across environmental gradients is essential knowledge for sustainable coastal management.