Tilbake til søkeresultatene

IKTPLUSS-IKT og digital innovasjon

GentleMAN-Gentle and Advanced Robotic Manipulation of 3D Compliant Objects

Alternativ tittel: GentleMAN-Skånsom og Avansert Robotisert Manipulasjon av 3D Føyelige Objekter

Tildelt: kr 16,0 mill.

Mennesker har høyt utviklede evner når det kommer til å utnytte våre visuelle og taktile sanser. Hvis vi skal få robotene i stand til å gjennomføre komplekse manipulasjonsoppgaver så må vi utvikle en ny teknologi som klarer å gi robotene kunstig 'syn', for å se omverden og objektene som skal håndteres bedre, kunstig taktil føling slik at de kan få fintfølende sanser, og en 'hjerne' som kan kombinere disse sansene til ny læring. GentleMAN tar fatt på dagens problemstillinger og utvikler ny robotteknologi som vil utstyre robotene med avansert 3D syn, taktil føling og 'hjerne', via kunstig intelligens Dette for å lære nye håndteringsevner og gjenskape disse på nivå med menneskelig håndtering og finmotorikk. 'Hjernen' som utvikles via robotlæringen i GentleMAN vil gi robotene nye ferdigheter, slik at de kan utføre komplekse oppgaver og jobbe sammen med mennesker. Når det gjelder griping, har vi ferdigstilt vårt 4DoF-gripende rammeverk som kombinerer Deep Reinforcement Learning, GAN og IBVS i et sammensveiset kontrollerskjema. Rammeverket er validert på fire benchmarks, inkludert ett benchmark for deformerbare objekter, og rammeverket oppnår, via en lukket visuell tilbakekoblingsløyfe , en bemerkelsesverdig suksessrate på over 90%. Dette gjør rammeverket vårt til ett av de gripende rammeverkene med høyest gripesuksessrater. Når det gjelder bildebasert taktil sansing, er i prosjektet utviklet en fingertupplignende, rundstrålende, kamerabasert taktil sensor som er i stand til å produsere dybdekart av objekter som deformerer sensorens overflate. I tillegg er sensordesignen av en slik art at sensoren enkelt kan rekonfigureres og festes til forskjellige gripere med forskjellige DOF-er. Med dette arbeidet er målet å hjelpe robotikere til raskt og enkelt å tilpasse høyoppløselige taktile sensorer for å passe deres robotsystems behov. I tillegg til dette har vi undersøkt hvordan man kan etablere stabile grep for å utlede objektegenskaper ved å bruke fingertupp-taktile sensorer. Basert på empiriske eksperimenter har ny innsikt for fremtidig fingertupp-taktil sensorbruk og design blitt tilegnet: én taktil sensor i stedet for et par sensorer er tilstrekkelig for symmetriske objekter og interaksjonsbevegelser; tette taxeller er fordelaktige for teksturrelaterte adjektiver, men kan være distraherende for ikke-teksturrelaterte. Vi har også utviklet en kontrolltilnærming som er avhengig av en grov modell av det myke objektet som skal manipuleres. Denne modellen er sammensatt av et 3D-nettverk og vi valgte å representere den mekaniske oppførselen til objektet ved å bruke en massefjærmodell (MSM) fordi den gir sanntidskapasitet. Basert på denne grove modellen, utledet vi det analytiske uttrykket til kontrolleren som gjør det mulig å indirekte flytte et funksjonspunkt som tilhører det myke objektet til en ønsket 3D-posisjon ved å handle med en robotmanipulator på et fjernt manipulert kontaktpunkt. Siden MSM gir en tilnærming av objektets oppførsel, som i praksis kan føre til en drift mellom det virkelige objektet og dets modell, ble en online rejustering av modellen utført ved visuelt sporing av objektets 3D-deformasjon.

GentleMAN will result in a novel robot control and learning framework enabling real-world manipulation of 3D compliant objects. This framework will be based on visual and force/tactile sensing modalities and multi-modal learning models by careful balance and tighter integration between the components responsible for object localization and pose estimation, based on visual information, and the one responsible for manipulation based on the force/tactile information. The robotic manipulation of 3D compliant objects remains a key, yet relatively poorly-researched, field of study. Currently, most approaches to robotic manipulation focus on rigid objects. These are primarily vision-based and require a 3D model of the object or attempt to build one. The interaction of a robot with 3D compliant objects is one of the greatest challenges facing robotics today, due to complex aspects such as shape deformation during manipulation, and the need for real-time perception of deformation and the compliancy of the objects. To these are added coordination of the visual, force and tactile sensing required to control and accomplish specific manipulation tasks. These challenges become even more acute if the objects are slippery, made of soft tissue, or have irregular 3D shapes. Such objects are common in the agriculture, manufacturing, food, ocean space, health and other sectors in both industrial and non-industrial settings. The GentleMAN addresses these challenges by focusing on providing robots with advanced manipulation skills that reproduce human-like movements and fine motor skills. Robots will thus learn intelligently how to induce and apply the necessary manipulative forces while generating occlusion-resilient vision control, real-time 3D deformation tracking and a shape-servoing strategy. A highly qualified and expert interdisciplinary consortium, consisting of SINTEF, NTNU, NMBU, INRIA, MIT and QUT has been assembled to conduct the proposed research.

Publikasjoner hentet fra Cristin

Ingen publikasjoner funnet

Budsjettformål:

IKTPLUSS-IKT og digital innovasjon