Autonomous Drone Based Survey of Ships in Operation

Klasseselskapet DNV har utført droneassisterte inspeksjoner av skipstanker siden 2016, som har resultert i kostnadsbesparelser og økt personellsikkerhet. Prosjektets mål har vært å utvikle og demonstrere en intelligent, autonom drone for inspeksjoner av skip og offshorefartøy. Hovedmålet er å redusere behovet for å gå inn i tanker ved å muliggjøre fjerninspeksjon. Visjonen er en drone som kan fly av seg selv, vite hvor den er, samle informasjon om tilstanden til tanken, og oppdage defekter som rust og sprekker og også måle ståltykkelse. Det forventes at droneassistert fjerninspeksjon vil redusere inspeksjonskostnadene for kundene, forbedre sikkerheten for inspektørene, redusere miljøfotavtrykket og forbedre inspeksjonskvaliteten, og dermed skipssikkerheten. Skreddersydde inspeksjonsdroner kreves for visuell inspeksjon på nært hold i trange, mørke skipstanker uten GPS-dekning. ADRASSO-prosjektet, et samarbeid mellom DNV, Scout Drone Inspection, NEO, Jotun, Idletechs og NTNU, har forsket på og utviklet semi-autonome droner med kunstig intelligens for automatisert deteksjon av defekter i bilder; videre hyperspektrale analysemetoder og programvare for sanntidsanalyse av store datamengder, for automatisk å bl.a. vurdere tilstanden til den dekkmalingen som brukes i ståltanker. Bildeanalysesystemet oppdager automatisk sprekker i bilder og videoer. Programvaren er basert på Deep Learning. Tusenvis av bilder fra DNVs databaser ble samlet inn og klargjort for å trene Deep Learning-algoritmen. Deteksjonsytelsen er tilfredsstillende, men AI gjør feil, noen ganger ser den ikke en sprekk, og andre ganger rapporterer den feilaktig en sprekk. Derfor er det også utviklet et videoinspeksjonsverktøy for å hjelpe inspektøren med å gjennomgå og rette opp feilene gjort av AI. Det er arbeidskrevende å forberede bildene for trening av AI. Et verktøy ble utviklet for å redusere manuelt arbeid. Det ble også utviklet en korrosjonsdetektor parallelt i et DNV-internt prosjekt. En sanntids sprekkdetektor ble utviklet som kjører ombord på dronen på en Jetson TX2 GPU (Graphical Processing Unit). Den hyperspektrale analyseprogramvaren klassifiserer den kjemiske sammensetningen med høy nøyaktighet, og i sanntid ved behov for det. Flere andre bruksområder for hyperspektral avbildning ble undersøkt i prosjektet, for eksempel korrosjonsgrad, påvisning av korrosjon under maling, vurdering av tilstand eller alder på malingen, vurdering av gjenværende sinkbeleggtykkelse på galvanisert stål, og påvisning og klassifisering av forurensninger på tankflater, for å vurdere hvor godt det er rengjort. Disse bruksområdene er fortsatt under forskning og utvikling. To designer av et lite, lett hyperspektralt kamera ble utviklet, for brukstilfeller med ulike optiske krav. Inspeksjonsdronen er kablet. Kabelen har både strøm og datakommunikasjon, og dronen har derfor ubegrenset driftstid, i motsetning til batteridrevne droner. Den har en robust fysisk design, og er utstyrt med en kraftig lyskilde og et 4K-kamera. Ved hjelp av en innebygd 3D-laserskanner kan den navigere innendørs og unngå kollisjoner. Den vet hvor den er og kan kartlegge tanken; den holder en stabil posisjon når navigasjonskontrollene slippes, og den betjenes med kommandoer på høyt nivå i stedet for med joystick, og den har et grafisk brukergrensesnitt for enkel betjening. Dronen demonstrerte også tykkelsesmåling med en påmontert ultrasonisk tykkelsesmålingssensor. Et skysystem ble utviklet for å fange og visualisere dataene i 3D, inkludert dronens posisjon inne i tanken i sanntid. Dette gir muligheter for fjernnavigering av dronen, fra utsiden av tanken, såkalt BLOS (Beyond Visual Line of Sight). To vellykkede demonstrasjoner ombord på flytende produksjons-, lagrings- og losseskip (FPSO) ble gjennomført under prosjektet. ADRASSO-prosjektet videreføres i det NFR-finansierte prosjektet REDHUS som startet i januar 2021. REDHUS bygger videre på ADRASSO, og tar enda et skritt mot virkelig fjerninspeksjon, dvs. at inspektøren ikke går ned i skipstanken. REDHUS skal også detektere andre typer defekter automatisk, f.eks. deformasjoner, groper og lekkasjer. Dronen skal bli mer autonom for å kunne navigeres utenfra tanken, BLOS. Det skal videre utvikles en mikrodrone for å inspisere også ballastvanntanker i dobbeltskrog. Inspeksjonsplanlegging, utførelse og rapportering skal være mer automatisert og basert på 3D-verktøy. Retningslinjer for automatiserte dronebaserte inspeksjoner skal utvikles i forbindelse med nye arbeidsflyter og infrastruktur for en digital inspeksjonssprosess. Det kommersielle fokuset vil være sterkere siden ADRASSO utforsket teknisk gjennomførbarhet og demonstrerte teknisk proof-of-concept.

DNV has demonstrated the technical feasibility of navigating intelligent drones in GPS-denied environments and detect cracks and corrosion. NEO has developed two optical designs of a compact, light-weight HSI camera suitable for a low-payload drone. Jotun has demonstrated that HSI can detect chemical binders in paints, and chemical changes over time. Idletechs has demonstrated how hyperspectral images can be analyzed in real time on a computational platform for drones. Developed new versions of their EMSC module. ScoutDI has developed a tethered drone for GPS-denied confined spaces, flying on position control for easy operation. It has unlimited flight time, robust data communication, and a cloud service. NTNU has demonstrated Proof-of-concept for identifying pinholes and binders with HSI. Integration of do-it-yourself hyperspectral imager with Scout drones; Developed approach for using Independent Component Analysis to identify spectral signatures in hyperspectral data.

Inspections of ships and offshore structures is mandatory (imposed by national governmental bodies as well as international bodies) in order to ensure vessel safety, and planning of maintenance and repair. Such inspections are time consuming, expensive, and potentially dangerous. Inspections today require extensive human effort. The underlying idea is to use autonomous drones equipped with RGB and HSI cameras and onboard image recognition/computer vision systems to survey the tanks and other structures. In order to be successful the project will perform research and development within diferent disciplines and research areas, such as imgage recognintion/computer vision, compact hyperspectral imaging systems and multichannel pattern recognition (hardware and software), and integrate the equipment with an autonomous drone. We believe that the proposed consortium consisting of DNVGL (one of the world's leading Classification Societies), Norsk Elektro Optikk - NEO (a world leader in Hyper Spectral Imaging Sensors and image analysis software), Idletechs (which is at the forefront of handling big quantitative data, providing tools for analysis and compression of multidimensional, dynamic data), NTNU (Norway's leading technical university; in this project NTNU and contributes with competence within real time image analysis hardware and software (together with Idletechs), drone autonomy (in cooperation with Scout DI), and compact hyperspectral camera - together with NEO); Jotun is one of the world´s major coating manufacturers with more than 200 people working with R&D on professional coatings.