GentleMAN prosjektet har levert banebrytende fremskritt innen robotmanipulasjon, med fokus på høyoppløselig 3D-rekonstruksjon, deformasjonssporing, formservoing, taktil sensing og innovative grep- og manipulasjonsteknikker.
En av de viktigste prestasjonene i prosjektet er utviklingen av et øye-i-hånd robotkonfigurasjon for rask og høyoppløselig 3D-skanning av objekter, som betydelig overgår eksisterende metoder når det gjelder hastighet og oppløsning. Denne tilnærmingen, publisert i Computers and Electronics in Agriculture, demonstrerer sitt potensial for applikasjoner som krever presis 3D-rekonstruksjon av særlig matobjekter. Som en videreutvikling er en ny metode for automatisk valg av synsvinkel, som optimaliserer rekonstruksjonsprosessen, klar for innsending til ICRA 2026. Denne metoden bygger på innsikter fra tidligere arbeid og baner vei for mer effektive og autonome systemer for 3D-rekonstruksjon.
Parallelt har prosjektet gjort store fremskritt innen 3D-deformasjonssporing ved å introdusere to innovative tilnærminger som integrerer fysisk modellering av myke objekter. Disse metodene, presentert på ICARCV 2022 og IROS 2023, benytter en 3D-mesh og en massefjær-modell for å fange opp de mekaniske egenskapene til deformable objekter, noe som muliggjør sanntidssporing. I tillegg er en kurvetilpasningsbasert tilnærming for deformasjonssporing utviklet, som ikke bare overvåker objektets deformasjoner, men også gir økt bevisthtet om miljøet i arbeidsromet til roboten. Dette arbeidet er publisert i International Journal of Mechanical Engineering and Robotics Research (IJMERR) og understreker betydningen av å fremme robotmanipulasjon av myke og deformable objekter.
Prosjektet har også gjort betydelige fremskritt innen formmanipulering, med introduksjonen av en ny AI-basert tilnærming som kombinerer diskrete prehensile bevegelser med dyp forsterkningslæring av langhorisont. Denne banebrytende metoden, presentert på ICRA 2024, er den første som oppnår “zero-shot” prestasjon på volumetriske objekter, med en imponerende suksessrate på 94,2 % for tidligere ukjente målformer. En annen komplementær tilnærming, som fokuserer på modellbasert formservoing med kontinuerlig manipulasjon ved bruk av ett kontaktpunkt, ble presentert på IROS 2023. Samlet representerer disse fremskrittene et stort steg fremover i roboters evne til å manipulere komplekse former med presisjon og tilpasningsevne.
Taktil sensing har også vært en hjørnestein i prosjektet, med flere innovative bidrag. En menneskeinspirert tilnærming til taktil sensing, som etterligner hvordan mennesker griper objekter, ble publisert i det IEEE Transactions on Systems, Man, and Cybernetics (SMC: Systems) journalen. Dette arbeidet understreker potensialet til taktil sensing for å forbedre robotisk grep og manipulasjon. Ytterligere forskning har utforsket bruk av taktile sensorer for å utlede egenskaper ved objekter, med funn presentert på IROS 2023. Et spesielt bemerkelsesverdig bidrag innebærer vurdering av grepstyrker fra objektets perspektiv, en ny tilnærming publisert i IEEE Robotics and Automation Letters(RA-L). Prosjektet har også gjort fremskritt innen bildebasert taktil sensing, med utviklingen av den omnidireksjonale GelSight 360-taktile sensoren for fingerferdig manipulasjon, presentert på RoboSoft 2023, som fremhever dens allsidighet og effektivitet i komplekse manipulasjonsoppgaver.
Prosjektet har pushet grensene for robotisk griping gjennom integrasjonen av dyp forsterkningslæring (DRL), generative adversarial networks (GANs) og posisjonsbasert visuell servoing. Denne innovative kombinasjonen, den første for robotisk grep, ble publisert på ICRA 2020. På dette grunnlaget ble det utviklet et generelt rammeverk for å gripe ukjente objekter, og dette rammeverket oppnår en bemerkelsesverdig “zero-shot” suksessrate på 95,5 %. I tillegg ble en ny tilnærming til 6-DoF griping med lukket visuell tilbakekopblingssløyfe, ved bruk av dyp forsterket læring, presentert på ICRA 2024, og denne demonstrerer potensialet for simuleringstrening med forsterkningslæring for å gripe ulike utfordrende objekter i den virkelige verden uten noe tillegsprogrammering eller trenning.
Prosjektet har også utforsket anvendelsen av robotteknologi i matindustrien, med en gjennomgang av ensidige grippere for håndtering av store matobjekter, som kjøttkropper, publisert i Trends in Food Science and Technology. Videre er en omfattende gjennomgang av visjonsbaserte skjæreteknologier under vurdering hos Robotics and Autonomous Systems, noe som reflekterer prosjektets bredere innvirkning på industriell automatisering og matprosesseringsteknologier.
Prosjektet har hatt en betydelig innvirkning på feltene robotikk gjennom banebrytende bidrag innen 3D-rekonstruksjon, deformasjonssporing, taktil sensing, og avansert robotmanipulasjon. Ved å utvikle høyoppløselig og hurtig 3D-skanning har prosjektet muliggjort presis rekonstruksjon for applikasjoner som spenner fra landbruk til industriell produksjon. Innovasjoner innen deformasjonssporing, som integrerer fysisk modellering av myke objekter, har åpnet nye muligheter for sanntidsrobotikk i dynamiske miljøer. Innen manipulasjon har prosjektet introdusert AI-baserte metoder som kombinerer diskrete grep basert på dyp forsterket læring med langtidshorisont, noe som gir imponerende “zero-shot”-prestasjon på komplekse former. Videre har banebrytende arbeid innen taktil sensing forbedret roboters evne til å tilpasse seg objekters egenskaper, med potensielle anvendelser innen mat- og industriell automatisering. Disse resultatene, publisert i ledende tidsskrifter og presentert på ledende fagfellekonferanser i fagfeltet, styrker prosjektets rolle som en drivkraft for fremtidig innovasjon innenfor robotteknologi.
GentleMAN will result in a novel robot control and learning framework enabling real-world manipulation of 3D compliant objects. This framework will be based on visual and force/tactile sensing modalities and multi-modal learning models by careful balance and tighter integration between the components responsible for object localization and pose estimation, based on visual information, and the one responsible for manipulation based on the force/tactile information. The robotic manipulation of 3D compliant objects remains a key, yet relatively poorly-researched, field of study. Currently, most approaches to robotic manipulation focus on rigid objects. These are primarily vision-based and require a 3D model of the object or attempt to build one. The interaction of a robot with 3D compliant objects is one of the greatest challenges facing robotics today, due to complex aspects such as shape deformation during manipulation, and the need for real-time perception of deformation and the compliancy of the objects. To these are added coordination of the visual, force and tactile sensing required to control and accomplish specific manipulation tasks. These challenges become even more acute if the objects are slippery, made of soft tissue, or have irregular 3D shapes. Such objects are common in the agriculture, manufacturing, food, ocean space, health and other sectors in both industrial and non-industrial settings. The GentleMAN addresses these challenges by focusing on providing robots with advanced manipulation skills that reproduce human-like movements and fine motor skills. Robots will thus learn intelligently how to induce and apply the necessary manipulative forces while generating occlusion-resilient vision control, real-time 3D deformation tracking and a shape-servoing strategy. A highly qualified and expert interdisciplinary consortium, consisting of SINTEF, NTNU, NMBU, INRIA, MIT and QUT has been assembled to conduct the proposed research.
