Tilbake til søkeresultatene

FRINATEK-Fri prosj.st. mat.,naturv.,tek

BIFROST - A Visual-Tactile Perception and Control Framework for Advanced Manipulation of 3D Compliant Objects

Alternativ tittel: BIFROST - Et Visuell-Taktil persepsjons- og styringsrammeverk for avansert manipulasjon av føyelige objekter

Tildelt: kr 11,9 mill.

For å utvikle robuste robot-baserte automasjonsløsninger er vi avhengige av god visuell og taktil følingsteknologi som gjør roboten i stand til å se og føle miljøene den skal operere i og objektene den skal behandle. For å kunne automatisere komplekse oppgaver, som per i dag bare gjennomføres av mennesker, trenger vi at disse teknologiene utvikles til å utstyre morgendagens roboter. Det er kun da robotene vil være i stand til å gjennomføre komplekse manipulasjonsoppgaver. Mennesker har en fantastisk evne til å tolke det vi ser og kjenner på. Hendene våre kan utføre tunge løft samtidig som de kan utføre delikate operasjoner. I tillegg er vi svært gode til å lære nye ting på en måte som vi ikke helt ennå forstår. Alle disse evnene gjør oss i stand til å lære nye, komplekse operasjoner på kort tid. En robot, derimot, mangler slike evner til å tolke det den ser eller kjenner på. Dette er spesielt utfordrende dersom roboten skal behandle føyelige, myke og skjøre objekter. For eksempel flytte en fiskefilet, håndtere det, pakke et egg eller plukke et jordbær. Slike objekter er vanskelig å håndtere ved hjelp av en robot. Utfordringen ligger, blant annet, i det å holde objektet fast uten å miste det, samtidig som man ikke påfører det så mye kraft at det skades, og i tillegg vite hva man skal gjøre med et slikt objekt etter at det er grepet. Det gjenstår store vitenskapelige og teknologiske utfordringer knyttet til visuell og taktil persepsjon, og hvordan roboten skal styres og læres opp til å utføre slike oppgaver ved hjelp av en slik persepsjon. BIFROST tar sikte på å adressere disse utforingene. Dette skal gjøres ved å utvikle et nytt rammeverk for robotpersepsjon, -kontroll og -læring som benytter visuell og taktil informasjon som gjør roboten i stand til å håndtere de utfordringene som er nevnt over i flere forskjellige scenarioer. BIFROST vil med dette generere banebrytende forskning og tilegne ny kunnskap som legger grunnlaget for at roboter i fremtiden kan håndtere, for eksempel, føyelige og skjøre matobjekter på en bedre måte og derfor kunne utføre flere komplekse oppgaver innenfor samfunnskritiske funksjoner knyttet til, for eksempel, håndtering og foredling av matobjekter innenfor sjømatsektoren. Dette er et nylig startet prosjekt. I neste fase videre i prosjektet vil vi fokusere på visuell og taktil persepsjon ved å utvikle og utteste metoder som egner seg til robotpersepsjon basert på integrasjon av visuell og bildedannede taktil sensor. Metodikken som skal utvikles vil adressere situasjoner når objektet er okkludert av andre objekter eller når det ikke er fysisk mulig for den visuelle sensoren å nå til den delen av objektet som skal manipuleres vha robot.

BIFROST involves the development of a novel visual-tactile perception and control framework for the advanced robotic manipulation of 3D compliant objects. The ability of robots to manipulate such objects remains key to the advancement of robotic manipulation technologies. Despite tremendous progress in robotic manipulation, modern robots are generally only capable of manipulating rigid objects. As with humans, in order to plan and perform complex manipulation tasks on 3D compliant objects, robots need to "see" and "feel by touch" the objects they manipulate, and to understand their shape, compliancy, environment and context. Current visual-only robotic manipulation suffers from an inability to perceive 3D information due to real-world physical occlusions and intra-object or self-occlusions. BIFROST will enable the simultaneous perception of 3D object shapes and their compliancy by means of visual perception by an RGB-D sensor, augmented with touch through active exploration using an image-based tactile sensor for physically occluded objects, inaccessible to the visual sensor. Based on visual and tactile perception, BIFROST will achieve active manipulation and shape servoing of 3D compliant objects by which robot control tasks are generated in sensor space by mapping raw sensor observations to actions. In order to achieve the learning of complex manipulation tasks and active deformation, we will develop a high-level multi-step reasoning framework for the automatic selection of action types designed to achieve desired states and shapes. As with the rainbow bridge of Norse mythology, BIFROST connects two worlds. Inspired by human innate perception, understanding, manipulation and learning, the aim is to develop similar capabilities in robots.

Budsjettformål:

FRINATEK-Fri prosj.st. mat.,naturv.,tek