Interactive robot operation using multi-modal man-machine communication

Små- og mediumstore bedrifter (SMB) i Vest-Europa er i dag i en utfordrende situasjon. På den ene siden, er det små, fleksible og har lav overhead-kostnad sammenliknet med store bedrifter. På en annen side, er de ofte avhengig av manuell arbeidskraft noe som gjøre dem følsomme for de økende lønn- og sosiale kostnadene. For å bedre konkurranseevnen og HMS, er SMBer avhengige av å investere i industrirobotsystemer. Dette krever imidlertid at robotsystemene er enkle i bruk, enkle å omstille samt ha mulighet til brukerinteraksjon under kjøring, for å kunne kompensere for uforutsette endringer i de operasjonelle omgivelsene. På dagens robotsystemer, er mangel på intuitive og effektiv brukerkommunikasjon en av hovebegrensningene for å få kunne bruke roboten kostnadseffektivt i SMBer. I denne PhDen, vil derfor fokuset være å utvikle nye, effektive kommunikasjonsløsninger, som utnytter flere menneskelige sanser i parallell feks. kombinert bruk av syn, lyd, berøring etc. Ved hjelp av denne multimodale mann-maskin kommunikasjonen (4MC), forventes det at brukerinteraksjonen forbedres til et helt nytt nivå, hvor informasjonen kan overføres vesentlig raskere og mer intuitivt enn dagens løsninger som kun benytter keyboard og skjerm. PhDen vil fokusere på grunnleggende forskning på 4MC samt utvikle nye, 4MC-baserte løsninger for industrielle robotanvendelser. Prosjektet, Interaktiv bruk av industriroboter ved hjelp av multi-modal mann-maskin kommunikasjon, er et samarbeid mellom University of West England (Bristol, UK) i deres FoU-organisasjon, Bristol Robotics Laboratory og høyteknologiselskapet, PPM AS, som er prosjektleder.

Outcomes and impacts: - Virtual fixtures based control for a monitoring robot to inspect industrial processes in difficult scenarios. The framework allows autonomous motion and safe navigation in tele-operation mode, in contrast with other approaches that focus on autonomous behaviour only. - Study on the effects of the virtual fixtures control on performance and navigation for a static inspection task with untrained participants. - Investigation on the positive impact of multimodal feedback modalities for the control of the monitoring robot. The selected feedback (haptic and visual) has shown positive effects on the navigation performance while not affecting the cognitive load for the operators.

Small- and medium sized enterprises (SME) are currently in a challenging situation. On one hand, they are small, flexible and have low overhead costs. On the other hand, they are dependent on manual work force which makes their competitiveness dependent on the wage level. Due to this, the SMEs have a high pressure to invest in industrial robot systems to reduce the wage. To lower the threshold for SMEs to invest in robot systems, the robots have to be easy to use and be capable to utilize human knowledge during run time. However, this puts high requirements on efficient and intuitive communication between the operator and the industrial robot. The current robot technology, offers a good solution for large volume production. However, small series productions, requires frequently reconfiguration, and requires a more efficient and intuitive interface for man-machine communication. This PhD will develop new technology for man-machine communication which is utilizing multiple human senses in parallel, i.e., vision, audio, haptic etc. By this, the intuitiveness and the efficiency of man-machine communication is intended to be brought to a new level. The Industrial PhD project, will focus on basic research on multi-modal man-machine communication and demonstrate it on selected industrial related robot applications. The focus will be industrial applications where the bottleneck is the man-machine communication, such as man-in-the-control loop, robot systems where the human operator is interacting in real time with a running robot system. This project, Interactive robot operation using multi-modal man-machine communication, is a collaboration between the University of West England and the high tech, industrial robot system integrator, PPM AS in Trondheim. The project is intended to run during September 2016 - August 2019.