Tilbake til søkeresultatene

IKTPLUSS-IKT og digital innovasjon

Multi-Sensor Data Timing, Synchronization and Fusion for Intelligent Robots

Alternativ tittel: Synkronisering, tidsstempling og fusjonering av data fra multiple sensorer for intelligente roboter

Tildelt: kr 12,0 mill.

Autonome roboter og fartøy må navigere med høy nøyaktighet og sikkerhet. Dette betyr at de trenger å bygge en situasjonsforståelse ved å prosessere data fra mange forskjellige sensorer. Dette må skje hurtig og gjentas mange ganger i sekundet for å fange opp endringer både på grunn av egen bevegelse og endringer i omgivelsene. For en robot som kartlegger sine omgivelser med for eksempel et kamera som tar bilder 100 ganger i sekundet, vil nøyaktigheten til kartet avhenge av at den vet sin egen posisjon og hvor kameraet peker for hvert eneste bilde. Utvikling av systemer for sensorfusjon som kan løse de problemene som er nevnt ovenfor vil kreve betydelig innsats og medføre høye kostnader på grunn av hardwareutvikling og integrasjon. Dagens typiske løsninger er spesialutviklede, og må derfor endres hver gang en av sensorene endres. Vårt mål er å lage et fundament for en nøyaktig navigasjon- og sensorfusjonsplattform med hardware og software som er uavhengig av hvilke sensorer som er valgt. Dette vil muliggjøre hurtigere og mer lønnsomme autonome systemer. I dette prosjektet vil NTNU samarbeide med ledende industriaktører som vi sørge for at forskningen er drevet av industriens behov. SentiSystems er et spinoff selskap fra NTNU som kommersialiserer løsninger for sensor timing og fusjon. Maritime Robotics leverer ubemannede fly og overflatefartøy for kartlegging og overvåking. Zeabuz utvikler autonome utslippsfrie urbane passasjerferger.

The intelligence of autonomous systems and service robots critically depend on the ability to fuse data from multiple sensors for perception, navigation and remote sensing tasks such as mapping, monitoring or surveillance. Precision, data rates, cost, size, weight and power consumption of sensor technologies are improving at rapid pace. This includes sensors such as inertial measurement units (IMU), global navigation satellite systems (GNSS), cameras, radar, LiDAR, ultrasound ranging, ultrawideband (UWB) radio ranging, and magnetometers. However, the data from such sensors must be fused into user-centric data such as the robot’s position coordinates, velocity vector, angles representing orientation, maps of the environment, and states of static or dynamic objects in the environment. This requires first a sequence of sensor data processing steps (front-end), before the data is available for use in a multi-sensor data fusion algorithm (back-end). The standard choice of back-end algorithm is a nonlinear least-squares or Kalman filter that can extract estimates of the user-centric variables of interest. Artificial intelligence (AI) systems with machine learning (ML) algorithms may be part of the front-end processing chain to extract features, such as landmarks, based on raw images or LiDAR point clouds. These challenges are addressed by the project through the following main work packages: - Hardware architecture for sensor timing and low-latency data processing - SW/HW co-design, middleware and network synchronization - Autonomous ferry navigation case study - Robotic mapping and surveillance case studies

Budsjettformål:

IKTPLUSS-IKT og digital innovasjon