DeepStruct: Deep learning for 3D imaging of transparent objects

The project is still in the early phases, but we have so far developed the first version of a simulation tool that makes it possible to provide both realistic data of relevant 3D scenes along with reference data. It will be one of several important tools in relation to the development of new methods for handling demanding objects. This has immediately given us new insights into the performance of our methods, and it also becomes important in relation to further work with machine learning. We have also worked with new optics and imaging strategies to handle difficult objects and will continue to work on this, in addition to exploring new machine learning strategies.

Dagens 3D kameraer er ikke i stand til å se gjennomsiktige deler, noe som fører til utfordringer ift. automatisering av flere applikasjoner, eksempelvis: 1. Full automatisering av flere typer logistikk- og lager operasjoner er ikke oppnåelig. Dette begrenser markedet ettersom mulige kjøpere av automatiseringsløsninger krever at løsningsleverandører håndterer alle delene i lageret, både ikke-gjennomsiktige og gjennomsiktige deler. 2. Det generelle robot plukke markedet innen produksjon er begrenset med hensyn til hvilke problemer og markedsmuligheter som kan løses. Gjennom å kombinere de siste forskningsresultatene innen 3D maskinsyn og dyplæring, i innovativ kombinasjon med ny billedtagning og maskinvare design vil Zivid utvikle løsninger som muliggjør 3D avbildning av svært utfordrende gjennomsiktige objekter. De mest sentrale FoU-utfordringene vi regner med å møte er utvikling av nye avbildningsmetoder som håndterer fysikken når lys interagerer med gjennomsiktige deler, bygge nok representative treningsdata for dyplæring, og å utvikle ny 3D maskinvare som understøtter og muliggjør avbildningen av gjennomsiktige deler. Utgangspunktet for prosjektet er neste generasjons Zivid kamera, et 3D-fargekamera som er spesielt egnet for robotikk og som har en del nye unike egenskaper som vi tror kan utnyttes på innovativ måte for avbildning av vanskelige gjennomsiktige deler. Gjennom DeepStruct vil Zivid jobbe sammen med Norges ledende FoU miljø innen 3D-bildebehandling og maskinlæring på SINTEF. Dette vil gi både verdensledende forskning; og danne grunnlag for en fortsatt suksesshistorie for 3D-kamerateknologi utviklet i Norge. Zivid er i dag velplassert i 3D automasjonsmarkedet med en portefølje av kunder internasjonalt. DeepStruct antas å utløse et verdiskapingspotensial på 320 MNOK, og vil kunne sørge for at Zivid befester sin posisjon ytterligere og kan ta del i et voksende, stadig mer avansert automasjonsmarked.