SENTIENT: Science of resiliENt auTonomy In pErceptually-degraded eNvironmenTs

Dette prosjektet jobber mot forskningen for og utviklingen av SENTIENT - Robust autonomi i perseptuelt utfordrende omgivelser" som nye metoder og systemer som kan muliggjøre robust utforskning, kartlegging og karakterisering av industrielle omgivelser ved hjelp av små og luftbårne roboter, slik som skipsballasttanker eller petroleumsinstallasjoner. For å nå målet vil forskningen først prøve å revolusjonere hvordan roboter enser, lokalisere seg selv og i stor detalj kartlegger sine omgivelser, spesielt når tilstandene er utfordrende eller omgivelsene i seg selv er i begevelse. Spesielt jobbes det med hvordan man kan kombinere et mangfold av komplimentære sensorer slik som kameraer, termisk syn og lysdeteksjon og avstandsmåling kan best kombineres mot en enhetlig metode for robotsyn og forståelse. I forlengelsen av dette vil SENTIENT fortsette med å identifisere nye måter små, luftbårne roboter kan planlegge sine baner og handlinger slik at de kan autonomt kartlegge fullstendig og presist karakterisere komplekse industrielle omgivelser. For å kunne levere systemer som er robuste i alle tilstander skal vi undersøke og utvikle en ny vitenskapsgren for motstandsdyktig autonomi for roboter som forlater laboratorieomgivelsen og kan bli brukt i den virkelige verden, i et mangfold av utfordrende omgivelser. Denne nye vitenskapsgrenen innen motstandsdyktighet vil muliggjøre bruken av roboter som tåler mye og som kan autonomt utføre utofordrende inspeksjon i omgivelser med høy risiko på en presis måte, uten å behøve å bli manuelt kontrollert av en teleoperatør. Et samarbeid mellom universitetet og industrien blir dannet for å videre muliggjøre ny forskning for teknologiske løsninger som kan muliggjøre pålitelig inspeksjon av skipsballasttanker, godstanker, så vel som olje- og gasstanker og prosesseringsfartøy. Framgangen i dette prosjektet har muliggjort fullstendig autonom utforskning og inspeksjon av ballasttanker på skip ved bruk av droner. Resultater som viser eksempler på dette inkluderer felt testing inni ballasttanker på produksjonsskip og tankskip i samarbeid med prosjektets industrielle partnere. Dette inkluderer blant annet flere roms og flere etasjers kartlegging av ballasttanker med droner som opererer autonomt og traverserer gjennom trange mannhull åpninger. På forsknings siden har vi utviklet en ny type drone som er deformerbar og metoder for robust lokalisering og karlegging ved å fusjonere data fra LiDAR, datasyn, og IMU, sammen med fullstendig autonom baneplanlegging for utforsking av omgivelsene og generell visuell inspeksjon slik som er praksis på maritime skip. Til det formålet har vi demonstrert at uten noe form for fjernstyring kan robotene fusjonere deres data til å vite sin posisjon og orientering i forhold til omgivelsene, lage presise 3D-kart med centimeter presisjon, resonere rundt hvilke spesifikke objekter i miljøet som har betydning for inspeksjon, og planlegge robotens egen bane gjennom omgivelsene helt selv. Dette har ført til flere publikasjoner og åpen kildekode og datasett som vi har offentliggjort til nytte for forskningsmiljøet.

This project envisions the research and development of "SENTIENT: Science of resiliENt auTonomy In pErceptually-degraded eNvironmenTs" as the new theory, methodological tools, and field experiments-verified system realization that give rise to a new generation of cognizant small (3kg) and micro (0.25kg) aerial robots capable of resilient autonomy, versatile exploration and inspection inside challenging, GPS-denied, visually-degraded, geometrically complex and dynamic environments such as vessel ballast tanks, cargo tanks, and oil & gas facilities. Motivated by the core hypothesis that there exists a comprehensive science of resilient autonomy for aerial robots seamlessly operating in challenging, high-risk and degraded environments, the envisioned research will be holistically organized around three cross-cutting objectives. In particular, SENTIENT will research on a) designing resilient collision-tolerant aerial robots, b) redundant, resourceful and robust robotic perception for autonomous localization and scene understanding through the fusion of diverse sensing technologies, and c) cognizant informative path planning and machine learning-based navigation. Capable of resilient autonomy in challenging settings, the SENTIENT robots are driven by important needs of the maritime and energy industry. The project partnership involves the collaboration of NTNU with Scout Drone Inspection (SDI), DNV GL, ALTERA and Equinor, while extensive real-life evaluations in ship ballast tanks, cargo tanks, and oil & gas installations are planned. Capitalizing on the importance of the scientific and application domain, the team has also established collaboration with NASA JPL, UC Berkeley and ETH Zurich. Overall, SENTIENT pushes the frontier in scientific research in robotics and artificial intelligence, while simultaneously building vital competence in industry-needed domains paving the way to offer new opportunities and societal benefits both at short- and long-term horizons.