Tilbake til søkeresultatene

IKTPLUSS-IKT og digital innovasjon

GentleMAN-Gentle and Advanced Robotic Manipulation of 3D Compliant Objects

Alternativ tittel: GentleMAN-Skånsom og Avansert Robotisert Manipulasjon av 3D Føyelige Objekter

Tildelt: kr 16,0 mill.

Mennesker har høyt utviklede evner når det kommer til å utnytte våre visuelle og taktile sanser. Når vi lærer nye oppgaver gjør vi det ofte ved å kombinere tidligere erfaring med nye sanseinntrykk. Vi kan også lære gjennom en demonstrasjon av oppgaven, eller rett og slett ved å selv prøve seg frem til en løsning. Hvis vi skal få robotene i stand til å gjennomføre komplekse manipulasjonsoppgaver så må vi utvikle ny teknologi som klarer å gi robotene kunstig 'syn', for å se bedre omverden og objektene som skal håndteres, kunstig taktilføling slik at de kan få fintfølende sanser, og en 'hjerne' som kan kombinere disse sansene til ny læring. GentleMAN tar fatt på dagens problemstillinger og utvikler ny robotteknologi som vil utstyre robotene med avansert 3D syn, taktil føling, og 'hjerne', via kunstig intelligens, for å lære nye håndteringsevner og gjenskape disse på nivå med menneskelig håndtering og finmotorikk. 'Hjernen' som utvikles via robotlæringen i GentleMAN vil gi robotene nye ferdigheter, slik at de kan utføre komplekse oppgaver og jobbe sammen med mennesker. Forskningen i GentleMAN fokuserer på utvikling av ny teknologi for robotisert håndtering av føyelige objekter, fordi disse objektene er ekstra utfordrende å håndtere og robotisert manipulasjon av slike objekter er vesentlig for bærekraftig vekst og grønn omstilling i flere sektorer som for eksempel mat, landbruk, hav, og vareproduserende industri. Roboten må få kunstig øye og vi har så langt i prosjektet utviklet det i form av 3D syn som muliggjør en rask (sanntid og GPU-støttet), nøyaktig, og høyt oppløselig 3D rekonstruksjon av scenen og objektene som er relevant for robotisert manipulasjon. Mens 3D kameraet montert på roboten beveger langs robotens bevegelsesbaner så bygger vi raskt en 3D modell av det objektet som skal håndteres. Dette gjør at vi er i stand til å raskt og med høy nøyaktighet fange opp objektet's 3D geometri som er viktig for griping og manipulasjon. Inspirert av menneskelige fintfølende evner under griping og manipulasjon av objekter, og evnen til å lære fra demonstrasjon, har vi utviklet en menneskelig inspirert, haptisk basert, "robothjerne" som baseres seg på læring fra demonstrasjon og taktile sanser. Ved å kombinere data fra teleoperasjon med en haptisk grensesnitt, og menneskelig læring ved griping, klarer den nye 'robothjernen' å koble menneskelig intensjon ved griping med selve griperinteraksjon. Resultatene viser at 'robothjernen' klarer å få roboten til å automatisk gripe nye føyelige objekter med høy nøyaktighet og slår, med god margin, flere etablerte og nylig publiserte metoder. Evnen til å lære selv ved å prøve seg frem til vi mestrer en oppgave er noe som er unikt med oss mennesker. Like unikt er at vi generaliserer raskt. Vi trenger bare noen få eksempler før vi kan bruke ny kunnskap til å løse andre lignende oppgaver. 'Robothjernen' i GentleMAN har fått en evne til å lære ved å prøve seg frem til roboten lærer oppgaven og kan bruke denne kunnskapen til å håndtere nye objekter. Læringen av roboten skjer i simuleringsmiljø for å kunne fremskynde betraktelig læringsprosessen samt utelukke uønsket atferd fra roboten, som kunne fått følger hvis treningen ville pågått i den reelle fysiske verden. Det som er spesielt interessant med denne 'hjernen' er at selv om roboten har aldri sett bestemte objekter verken i simulering eller den virkelige verden, så klarer den utmerket å gripe de nye ukjente objektene når de blir presentert for roboten. Dette viser at 'robothjernen' utviklet i GentleMAN viser en tilfredsstillende generaliseringsevne for slike oppgaver. Arbeidet er publisert i ICRA'20 IEEE Conference in Robotics and Automation. Arbeidet er den første i verden som kobler Deep Reinforcement Learning (DRL) og Generative Adversarial Network (GAN) i transfer læring for robotisert griping av nye ukjente objekter. I GentleMAN, i neste periode, vil vi jobbe videre med å utvikle ny og avansert 3D syn for roboten, taktil sansing og å berike 'robothjernen' med nye læringsmetoder som gjør roboten i stand til å gripe og håndtere føyelige objekter under interaksjon og slik at flere roboter kan jobbe i lag for å fullføre en kompleks håndteringsoppgave.

GentleMAN will result in a novel robot control and learning framework enabling real-world manipulation of 3D compliant objects. This framework will be based on visual and force/tactile sensing modalities and multi-modal learning models by careful balance and tighter integration between the components responsible for object localization and pose estimation, based on visual information, and the one responsible for manipulation based on the force/tactile information. The robotic manipulation of 3D compliant objects remains a key, yet relatively poorly-researched, field of study. Currently, most approaches to robotic manipulation focus on rigid objects. These are primarily vision-based and require a 3D model of the object or attempt to build one. The interaction of a robot with 3D compliant objects is one of the greatest challenges facing robotics today, due to complex aspects such as shape deformation during manipulation, and the need for real-time perception of deformation and the compliancy of the objects. To these are added coordination of the visual, force and tactile sensing required to control and accomplish specific manipulation tasks. These challenges become even more acute if the objects are slippery, made of soft tissue, or have irregular 3D shapes. Such objects are common in the agriculture, manufacturing, food, ocean space, health and other sectors in both industrial and non-industrial settings. The GentleMAN addresses these challenges by focusing on providing robots with advanced manipulation skills that reproduce human-like movements and fine motor skills. Robots will thus learn intelligently how to induce and apply the necessary manipulative forces while generating occlusion-resilient vision control, real-time 3D deformation tracking and a shape-servoing strategy. A highly qualified and expert interdisciplinary consortium, consisting of SINTEF, NTNU, NMBU, INRIA, MIT and QUT has been assembled to conduct the proposed research.

Publikasjoner hentet fra Cristin

Ingen publikasjoner funnet

Ingen publikasjoner funnet

Aktivitet:

IKTPLUSS-IKT og digital innovasjon