Attention-driven odometry estimation and Spatial AI

Til tross for enestående fremgang innen robotpersepsjon (roboters evne til å tolke sanseinntrykk), inkludert oppgaver som nøyaktig kartlegging eller veiledet objektdeteksjon, har ikke roboter den samme allsidigheten eller evnene, når det kommer til å forstå og å operere i ulike miljøer mens de utfører komplekse oppgaver. Motivert av å håndtere slike utfordringer, har vi som mål i dette prosjektet å studere modelleringen av menneskelig visuell oppmerksomhet med mål om å fremme robotoppfattelse. Vår hypotese er at studiet av modellering av menneskelige visuelle oppmerksomhetsmekanismer muliggjør utviklingen av sikrere og mer robuste autonome robotoperasjoner. Visuelle oppmerksomhetsmekanismer inkluderer prosesser som blant annet er involvert i håndteringen av den overveldende mengden visuelle data som kommer inn i hjernen mens man utfører daglige oppgaver. Spesielt er vi interessert i hvordan romlig oppmerksomhet fungerer, dvs. evnen til å fokusere på et spesifikt område i synsfeltet. Mennesker gjør raske øyebevegelser kjent som sakkader og fester blikket på visse områder av den visuelle scenen. Dette kan visualiseres som skannebaner (eng: scan paths) av øyefikseringer i et 2D/3D-bilde. Med fiksering refererer vi bredt til punktet der øyet fokuserer i tilstrekkelig lang tid. Innenfor denne rammen studerer vi hvor man ser neste gang i synsfeltet, modellerer denne mekanismen og kombinerer den deretter med robotsynsalgoritmer for oppgaver av interesse. Mens de fleste av studiene av modellering av det menneskelige visuelle oppmerksomhetssystemet har konsentrert seg om eksperimenter som involverer mennesker som ser på stillbilder uten å ha en spesifikk oppgave eller hensikt i tankene, er målet vårt å samle inn data som inkluderer opptak av øyefiksering i eksperimenter som inkluderer bevegelse og spesifikt registrering av øyefiksering av motivet mens det er engasjert i en gitt oppgave. Vi bruker de registrerte dataene for å modellere skannebaner for øyefiksering og deretter integrere dem i robotpersepsjonsalgoritmer. De avledede modellene vil bli evaluert opp mot det siste innen visuell oppmerksomhetsmodellering og andre teknikker innen robotsyn.