Neodroid - Creating a reality-ready robot brain in virtual reality

Mennesker lærer gjennom en relativt sakte process som utspiller seg over flere år, fra babystadiet, til barndom og videre til voksen alder. I Neodroid vil vi utvikle en robothjerne i et akselerert læringsmiljø, slik at roboten kan lære i løpet av dager eller uker det som kan ta mennesker flere år å lære. Det perfekte akselererte læringsmiljøet er virtuell virkelighet (VR), hvor tiden kan akseleres og hvor roboter kan bevege seg og lære raskere og tryggere enn i virkeligheten. Visjonen bak Neodroid er å lære roboter å gjennomføre oppgaver som kombinerer syn og motorikk, ved å trene robotenes hjerner i VR. Dette er samme filosofi som ble observert i filmen "The Matrix", hvor Neo lærte kung fu over en periode på flere timer i en simulator - som kun varte i noen sekunder i den virkelige verden. På samme måte vil vi i Neodroid skape en robothjerne ved bruk av "deep learning" (en form for kunstig intelligens) ved å trene den mye hurtigere og tryggere i VR enn det er mulig å gjøre i den virkelige verden. Prosjektet har implementert en robothjerne. Det er i robothjernen det dannes koblinger mellom hva 3D kamera (robotens øye) ser og hvor roboten kan plassere sin griper. Robothjernen har blitt testet i VR, på en enkel men vanskelig oppgave - å plukke opp virtuelle fisk fra en eske. Robothjernen ble testet i en virkelig robot og med ekte fisk. Dette fungerte overraskende bra. Roboten klarte å plukke ekte fisk med en suksessrate på ca. 80%. Dette er overraskende fordi roboten aldri hadde sett eller tatt i en ekte fisk før. Det ble jobbet videre med å forbedre robothjernen på de områdene som den gjorde feil på under de første eksperimentene med ekte fisk. Spesifikt så ble det jobbet med å gjøre det mulig for roboten å tenke raskere. Tenkning i 3D tar mye beregningskapasitet og det måtte utvikles spesifikke deep learning algoritmer for å minske behovet for beregningskapasitet, slik at roboten både kunne tenke raskere og samtidig gjøre oppgaven bedre. Den forbedrede robothjernen ble lært opp til å plukke fisk i et forbedret virtuelt miljø, og fikk så prøve seg på ekte fisk. Nøyaktigheten nå var tilnærmet perfekt, og beregningene gikk mye raskere enn tidligere. Neodroid har vist at det er mulig å lage en robothjerne i en simulert virkelighet, som er i stand til å gjennomføre vanskelige oppgaver - i den virkelige verden - som krever en kombinasjon av syn og motorikk.

Robothjernen sin AI-arkitektur forventes på sikt å ha betydning for forskningsfeltet, i at det muliggjør å løse komplekse oppgaver som krever en kombinasjon av visuelle og motoriske ferdigheter. Prosjektet har vært uvurderlig for kompetanseutvikling i SINTEF Ocean, innenfor AI og robotikk. Medarbeidere som har bygget kompetansen i prosjektet har allerede bidratt til å skape flere nye prosjekter med bakgrunn i den kompetansen, og økt det internasjonale samarbeid innenfor AI og robotikk. På sikt vil resultatene komme næringslivet til nytte, spesielt der hvor automasjon er for kostbart eller vanskelig å få til i dag. Dette gjelder spesielt innenfor bærekraftig utnyttelse av råvarer fra havet, som i dag ikke foredles fordi manuelt arbeid er for kostbart. Prosjektet har posisjonert SINTEF Ocean til å inneha den kunnskapen som er nødvendig for fremtidens bærekraftige automasjonssystemer basert på AI og robotikk.

The idea of Neodroid is to create a reality-ready robot brain in virtual reality (VR). We specifically focus on creating a robot brain capable of humanoid visual-motor ability. Visual-motor ability is the integration between visual perception and motor skills. More specifically, it is the ability to perform constructive tasks integrating both visual perception and motor skills. The motivation behind Neodroid is to enable robots to assist humans in performing such tasks. The primary objective of Neodroid is: - Develop deep learning architectures for creating a reality-ready robot brain in virtual reality. The secondary objectives are: - Implement a virtual reality environment for training a virtual robot. - Develop deep learning architectures for visual-motor tasks. - Implement human operation of a robot in virtual reality. - Demonstrate robot deep learning in virtual reality. - Demonstrate transfer-learning between virtual reality and the real world. The essence of Neodroid is a two-stage learning process in VR, followed by introduction to reality. The VR learning stages are first a 'baby' phase with environment-assisted learning, and a 'school' phase where a human enters VR to teach more complex tasks. After the school phase, the brain is transferred from the virtual to the real robot, so learnt visual-motor skills can be applied in the real world. The key challenges to enabling near-human level robot visual motor skill, using deep learning, are to generate a large set of training examples and to discover the best deep learning architectures. We believe that these challenges are best met by prototyping deep learning in VR, since this provides greater flexibility and a more cost-efficient and timely data acquisition and teaching process than using real robots and sensors. Once this architecture is found, it can be transferred to a real robot and refined.