Ubiquitous cognitive computer vision for marine services

Deep learning er en maskinlæringsmetode som har revolusjonert bildeanalyse-fagfeltet de siste 10 årene med nøyaktighet som nærmer seg menneskelig ytelse. Metodene er datadrevet og baserer seg på dype nevrale nettverk som lærer seg sammenhengen mellom data og beskrivelse fra eksempler. En viktig forutsetning er imidlertid at en har store datasett å lære fra. COGMAR-prosjektet har fokusert på analyse av komplekse marine bildedata, ofte med begrenset mengde annoteringer. Store mengder marine data fra for eksempel ekkolodd og trålkameraer samles inn av både Havforskningsinstituttet og fiskebåter, og tolkning av disse er en viktig kilde til informasjon om bestander og fiske. Stadig mer data samles inn og sanntids-analyser av materialet vil bli aktuelt i neste generasjons marine tjenester. Målet i prosjektet er derfor å bidra til utvikling av metoder for mer effektiv automatisk tolkning av marine data som muliggjør utnyttelse av disse dataene på et nytt nivå og til nye tjenester. Vi har utviklet flere deep learning metoder for å analysere forskjellige typer marine data: trålkamera, otolittbilder og akustiske data. For trålkameradata har vi utviklet teknikker som automatisk detekterer hvert fiskeindivid og klassifiserer fiskeslag. Siden vi har begrenset mengde treningsdata har vi utviklet en simuleringsmetodikk, som simulerer fisk i trål i forskjellige situasjoner. Disse simulerte data blir brukt til trening av nettverket. Metodene for å detektere og klassifiser fisk i trålvideo er planlagt implementert i Scantrol Deep Visions trålkamera system. For otolittbilder, har vi utviklet metoder som automatisk estimerer alder til blåkveiteindivider ved å analysere bilder av otolittene. Vi har gjennomført studier med å forstå hvordan nettverket tolker otolittbildene, og funnet at deep learning teknikkene finner alder helt annerledes enn mennesker. For otolittdataene har vi også funnet ut at ytelsen blir dårligere med bilder fra et annet laboratorium. Vi har derfor utviklet metoder derfor tilpasser nye datakilder til nettverket trenet på norske otolittbilder. Prosjektets resultater har også blitt inkludert i web-portalen DeepOtolith. For akustikkdataene har vi utviklet metoder for å bestemme mengde og estimere fiskeslag fra akustiske data, og utvidet disse til å håndtere kontekstinformasjon som f.eks. dybde og avstand til havbunn for å øke ytelsen. Vi har også utviklet metoder som klarer å utnytte data som ikke er annotert til læring av nevrale nettverk (såkalt semi-supervised learning). Metodene for analyse av akustiske data som er utviklet i COGMAR har nå blitt implementert i Kongsberg Maritimes Blue Insight Platform.

Det faglige fotavtrykket fra prosjektet er stort, med blant annet 14 publikasjoner (og flere er i pipeline) i internasjonal vitenskapelige tidsskrift. Prosjektet har også medført at prosjektdeltakere har fått sentrale roller internasjonalt innen maskinlæring anvendt på marine data, blant annet i ICES-systemet. Prosjektet har styrket kompetansen til partnerne innen maskinlæring anvendt på marine data, samt stryket samarbeid mellom partnerne NR, HI og UiT. Dette har vært viktig for etableringen av SFIene CRIMAC og Visual Intelligence. CRIMAC og Visual Intelligence vil bidra til at resultater i COGMAR kan videreutvikles og dermed potensielt få enda større utnyttelse. Resultater fra prosjektet er og vil bli tatt i bruk av industrien. Kongsberg Maritime har implementert prosjektresultatene på analyse av akustiske data i sin Blue Insight plattform, og Scantrol Deep Vision planlegger å lansere Deep Vision plattformen for kommersielt fiskeri i løpet av 2022 og teste ut metodikken utviklet i COGMAR på dette systemet. Planen er at dette skal bli et kommersielt produkt for trålfiske, som kan bidra til identifisering av fangst og på den måten mer bærekraftig fiske. Havforskningsinstituttet vil benytte resultater fra prosjektet i sin satsing på autonome farkoster. Kongsberg Maritime leverer Sounder plattformen til HI i løpet av 2022. Sounder er en autonom overflatefarkost utrustet med ekkolodd til å overvåke fiskebestander. Planen er å analysere akustikkdata i nær sanntid ombord i plattformen.

Deep learning has been called the revolutionary technique that quietly changed machine vision forever, but is at present mainly applicable to standard RGB images of natural scenes or objects, or otherwise only for other types of imagery when a substantial amount of labelled data is available, which is seldom the case. This project aims at enabling this technology for computer vision problems anywhere, by developing easy-to-use cognitive solutions also for non-standard images and thereby extending the use of autonomous cognitive computer vision systems to new application areas. The methodology will be general and transferable to other domains such as medical imagery, remote sensing and various industrial applications. Within the project the aim is to solve key big data computer vision challenges in the marine sector. The overall concept of the project is to exploit the power of deep convolutional neural networks (CNNs) by developing new solutions for learning necessary to classify, localize and segment objects in non-standard, sparsely labelled, image data. Motivated by the methods' ability to generalize and the fact that unlabelled data is often inexpensive to acquire, our approach for solving this will be based on three main concepts; (i) cross-domain transfer learning, (ii) semi-supervised learning and (iii) data augmentation and simulation. Fisheries and aquaculture are major industries in Norway, and marine image data are acquired in a wide range of formats and modalities for various tasks. Automatic solutions for extracting information from these big non-standard image data will bring exploitation of these data in the marine science to a new level, enabling extraction of new knowledge and continuous monitoring of marine ecosystems. Solutions from the project will also contribute to innovation for industries manufacturing solutions for automated monitoring of fish and marine environments.