Tilbake til søkeresultatene

FRINATEK-Fri prosj.st. mat.,naturv.,tek

BIFROST - A Visual-Tactile Perception and Control Framework for Advanced Manipulation of 3D Compliant Objects

Alternativ tittel: BIFROST - Et Visuell-Taktil persepsjons- og styringsrammeverk for avansert manipulasjon av føyelige objekter

Tildelt: kr 11,9 mill.

For å utvikle robuste robot-baserte automasjonsløsninger er vi avhengige av god visuell og taktil følingsteknologi som gjør roboten i stand til å se og føle miljøene den skal operere i og objektene den skal behandle. For å kunne automatisere komplekse oppgaver, som per i dag bare gjennomføres av mennesker, trenger vi at disse teknologiene utvikles til å utstyre morgendagens roboter. En robot mangler slike evner til å tolke det den ser eller kjenner på. Dette er spesielt utfordrende dersom roboten skal behandle føyelige, myke og skjøre objekter. BIFROST tar sikte på å adressere disse utforingene. Dette skal gjøres ved å utvikle et nytt rammeverk for robotpersepsjon, -kontroll og -læring som benytter visuell og taktil informasjon som gjør roboten i stand til å håndtere de utfordringene som er nevnt over i flere forskjellige scenarioer. BIFROST vil med dette generere banebrytende forskning og tilegne ny kunnskap som legger grunnlaget for at roboter i fremtiden kan håndtere, for eksempel, føyelige og skjøre matobjekter på en bedre måte og derfor kunne utføre flere komplekse oppgaver innenfor samfunnskritiske funksjoner knyttet til, for eksempel, håndtering og foredling av matobjekter innenfor sjømatsektoren. Når det gjelder griping, har vi ferdigstilt vårt 4DoF-gripende rammeverk som kombinerer Deep Reinforcement Learning, GAN og IBVS i et enkelt kontrollerskjema. Rammeverket er validert på fire benchmarks, inkludert ett benchmark for deformerbare objekter, og rammeverket oppnår en bemerkelsesverdig suksessrate på over 90 %. Dette gjør rammeverket vårt til et av de gripende rammeverkene med høyest gripesuksessrater. I tillegg har vi også utviklet et 6DoF griperammeverk, basert på dyp reinforcement læring for å kunne gripe utfordrende 6DoF-objekter som ikke kan gripes med et 4DoF-skjema. Når det gjelder avansert manipulering av deformerbare objekter, har vi utviklet en dyp reinforcement læringsbasert tilnærming for å bringe et spesifikt objekt fra den opprinnelige til målfasongen, som et resultat av gripende bevegelser på objektet. Resultatene er meget lovende med tanke for å utstyre roboter med finere manipulasjonsferdigheter for å kunne manipulere deformerbare objekter uten å risikere deres integritet. Når det gjelder avansert manipulering av deformerbare objekter, har vi i tillegg utviklet en kontrolltilnærming som er avhengig av en grov modell av det myke objektet som skal manipuleres. Denne modellen er sammensatt av et 3D-nettverk og vi valgte å representere den mekaniske oppførselen til objektet ved å bruke en massefjærmodell (MSM) fordi den gir sanntidskapasitet. Basert på denne grove modellen, utledet vi det analytiske uttrykket til kontrolleren som gjør det mulig å indirekte flytte et funksjonspunkt som tilhører det myke objektet til en ønsket 3D-posisjon ved å handle med en robotmanipulator på et fjernt manipulert kontaktpunkt. Siden MSM gir en tilnærming av objektets oppførsel, som i praksis kan føre til en drift mellom det virkelige objektet og dets modell, ble en online rejustering av modellen utført ved visuelt å spore objektets 3D-deformasjon. Når det gjelder bildebasert taktil persepsjon og læring, har vi utviklet en tilnærming som, fra taktil persepsjon, er i stand til å skjelne materielle egenskaper, gjenkjenne teksturer og bestemme mykhet, mens med fingernemhet er i stand til å samhandle sikkert og trygt med objektene og miljøet rundt oss. Kombinasjonen av disse to evnene har kulminert i en ny og nyttig, myk robotgriper som er i stand til å gripe et stort utvalg av forskjellige objekter og også utføre enkle manipulasjonsoppgaver.

BIFROST involves the development of a novel visual-tactile perception and control framework for the advanced robotic manipulation of 3D compliant objects. The ability of robots to manipulate such objects remains key to the advancement of robotic manipulation technologies. Despite tremendous progress in robotic manipulation, modern robots are generally only capable of manipulating rigid objects. As with humans, in order to plan and perform complex manipulation tasks on 3D compliant objects, robots need to "see" and "feel by touch" the objects they manipulate, and to understand their shape, compliancy, environment and context. Current visual-only robotic manipulation suffers from an inability to perceive 3D information due to real-world physical occlusions and intra-object or self-occlusions. BIFROST will enable the simultaneous perception of 3D object shapes and their compliancy by means of visual perception by an RGB-D sensor, augmented with touch through active exploration using an image-based tactile sensor for physically occluded objects, inaccessible to the visual sensor. Based on visual and tactile perception, BIFROST will achieve active manipulation and shape servoing of 3D compliant objects by which robot control tasks are generated in sensor space by mapping raw sensor observations to actions. In order to achieve the learning of complex manipulation tasks and active deformation, we will develop a high-level multi-step reasoning framework for the automatic selection of action types designed to achieve desired states and shapes. As with the rainbow bridge of Norse mythology, BIFROST connects two worlds. Inspired by human innate perception, understanding, manipulation and learning, the aim is to develop similar capabilities in robots.

Budsjettformål:

FRINATEK-Fri prosj.st. mat.,naturv.,tek