Tilbake til søkeresultatene

BIA-Brukerstyrt innovasjonsarena

DeepStruct: Deep learning for 3D imaging of transparent objects

Alternativ tittel: DeepStruct: Dyp læring for 3D avbildning av gjennomsiktige deler

Tildelt: kr 15,8 mill.

Prosjektet er fortsatt i tidlig fase, men vi har så langt utviklet første versjon av et simuleringsverktøy som gjør det mulig å både gi realistiske data av relevante 3D scener sammen med referansedata. Det blir et av flere viktige verktøy i forhold til utvikling av nye metoder for håndtering av krevende objekter. Umiddelbart har dette gitt oss ny innsikt i ytelsen til metodene våre, og det blir også viktig i forhold til videre arbeid med maskinlæring. Vi har også jobbet med nye optikk og avbildningsstrategier for å håndtere vanskelige objekt og vil fortsette arbeidet med dette. Vi vil også jobbe videre med nye maskinlæringsstrategier.

Dagens 3D kameraer er ikke i stand til å se gjennomsiktige deler, noe som fører til utfordringer ift. automatisering av flere applikasjoner, eksempelvis: 1. Full automatisering av flere typer logistikk- og lager operasjoner er ikke oppnåelig. Dette begrenser markedet ettersom mulige kjøpere av automatiseringsløsninger krever at løsningsleverandører håndterer alle delene i lageret, både ikke-gjennomsiktige og gjennomsiktige deler. 2. Det generelle robot plukke markedet innen produksjon er begrenset med hensyn til hvilke problemer og markedsmuligheter som kan løses. Gjennom å kombinere de siste forskningsresultatene innen 3D maskinsyn og dyplæring, i innovativ kombinasjon med ny billedtagning og maskinvare design vil Zivid utvikle løsninger som muliggjør 3D avbildning av svært utfordrende gjennomsiktige objekter. De mest sentrale FoU-utfordringene vi regner med å møte er utvikling av nye avbildningsmetoder som håndterer fysikken når lys interagerer med gjennomsiktige deler, bygge nok representative treningsdata for dyplæring, og å utvikle ny 3D maskinvare som understøtter og muliggjør avbildningen av gjennomsiktige deler. Utgangspunktet for prosjektet er neste generasjons Zivid kamera, et 3D-fargekamera som er spesielt egnet for robotikk og som har en del nye unike egenskaper som vi tror kan utnyttes på innovativ måte for avbildning av vanskelige gjennomsiktige deler. Gjennom DeepStruct vil Zivid jobbe sammen med Norges ledende FoU miljø innen 3D-bildebehandling og maskinlæring på SINTEF. Dette vil gi både verdensledende forskning; og danne grunnlag for en fortsatt suksesshistorie for 3D-kamerateknologi utviklet i Norge. Zivid er i dag velplassert i 3D automasjonsmarkedet med en portefølje av kunder internasjonalt. DeepStruct antas å utløse et verdiskapingspotensial på 320 MNOK, og vil kunne sørge for at Zivid befester sin posisjon ytterligere og kan ta del i et voksende, stadig mer avansert automasjonsmarked.

Budsjettformål:

BIA-Brukerstyrt innovasjonsarena