Back to search

PETROMAKS2-Stort program petroleum

Advanced 3D visualization and AR for industrial operations

Alternative title: Avansert 3D-visualisering og AR for industri

Awarded: NOK 5.0 mill.

Project Number:

296709

Project Period:

2019 - 2022

Organisation:

Location:

This project aims to streamline the operation and maintenance of advanced industrial facilities with large amounts of sensor data by making data available for offshore personnel when and where they need it. This will be accomplished by making use of technology for 3D and augmented reality, and improved planning tools for inspection robots. The outcome will improve the efficiency of navigation and present sensor data and other relevant information in an intuitive manner. This information will be retrieved from the already existing Cognite Data Platform which is a cloud platform for collecting, handling and displaying large amounts of industrial data. Today, offshore personnel are largely depending on documentation on paper in the form of user manuals and floor plans of the plants that are time-consuming to keep up to date, cumbersome to look up and difficult to take with them when performing work. The lack of good access to static data, such as drawings and documents, as well as dynamic sensor data, mean that efficiency is lower than it can be. This solution has the potential to dramatically change the everyday lives of the personnel by providing quick access to exactly the information they need on site. The project will consist of two main parts. The first part will involve development of methods for robust and precise localization of the user / robot and its view. Inspection robots take photos and record video that is used to recognize visual features that are used for localization. This happens by lookups in a visual database with images with tagged locations. Lookups are implemented by combining traditional computer vision methods and state-of-art deep learning algorithms for extracting visual features that will be used for localization of the user. In the second part of the project, we will work on efficient rendering of complex 3D geometries and augmented reality to visualize important information in real time in a good and intuitive way. This is done by breaking the 3D CAD models into primitives (like boxes, pipes, etc.) and by recognizing duplicated geometry and only storing one instance. This compressed 3D models drastically, which reduces the bandwidth requirements during transfer to the visualization client. Furthermore, the 3D model is divided into regions based on position, complexity and extent of the individual objects. When a client is visualizing a 3D model a priority is assigned to each region based on the camera pose. The client loads data within a given budget. 3D model rendering is driven by specialized techniques for the individual primitives, which results in high performance. This is done to enable visualization of extremely complex 3D models on commodity hardware. The project's innovations and technology will complement and expand Cognite's already existing platform technology, and contributes to the transformation from a platform for data collection, processing and storage, to also become a platform for insight and understanding.

SINTEF og Cognite har utviklet metoder for mer effektivt stedfeste posisjon basert på bildedata på industrielle anlegg. Dette kan brukes til å forenkle fjernstyring av industrielle roboter og kan dermed bidra til å redusere behovet for personell til rutinemessig driftsoppgaver. Det har også blitt utviklet teknikker for høy-ytelses visualisering av komplekse 3D modeller av industrielle anlegg, noe som resulterer i at man kan bygge og tilgjengeliggjøre digitale tvillinger. Cognite mener dette er med på å drive det digitale skiftet framover og kan bidra til en bedret konkurransesituasjon for norsk industri.

Idé: Se for deg følgende fremtidsscenario: En arbeider på et prosessanlegg i drift skal ut for å justere en ventil på et rør. Hun setter på seg vanlig arbeidsutstyr og i tillegg en AR-hjelm, før hun beveger seg til aktuelt område, visuelt rettledet av hjelmen. Den identifiserer og oppdaterer kontinuerlig hva hun ser, med informasjon fra en rekke sensorer tegnet inn. Hjelmen viser henne ventilen som skal justeres, og når hun gjør det blir bildet umiddelbart oppdatert med ny informasjon fra sensorer inne i røret, og hun kan visuelt se effekten av justeringen i sanntid. Med AR-hjelmen har hun begge hendene frie til å utføre arbeidet. Samtidig kan en ikke-tilstedeværende ekspert følge hennes posisjon i en nettleser, se det hun ser, og støtte henne i arbeidsprosessen. For å lykkes med prosjektet har vi satt opp følgende delmål: 1) Robust gjenkjenning av 3D-geometrier fra 3D-skanning og 2D-bildedata AR-enheter lager sine egne 3D-verdenskart av sine omgivelser. Utfordringen er å gjenkjenne objekter fra CAD-modellen i AR-enhetens verdenskart, både for å kunne gi informasjon om det konkrete objektet og for å støtte (2) i å lokalisere brukeren i CAD-modellen. 2) Lokalisering og 3D-sporing i komplekse omgivelser i sanntid Kombiner informasjon fra detekterte objekter med lokalisering-og sporingsfunksjonalitet i AR-enheten for robust og nøyaktig lokalisering (posisjon og synsretning) av brukeren i CAD-modellen. 3) Visualisering av store mengder sanntids-sensordata på en intuitiv måte Utvide situasjonsforståelsen ved intuitiv sanntidsvisualisering av sensordata fra den sentrale datamodellen. 4) Rask sanntidsvisning av 3D-geometri Det kreves en løsning som skalerer, både mht. antall brukere og mengde data per bruker, installasjon samtidig som den lar seg tegne på an AR-enhet med begrensede ressurser. 5) Integrasjon av sanntidsvideo, sensordata-visualisering og 3D-geometri i en AR-modul Det kreves en løsning som fungerer godt både på 2D-skjerm og på 3D-AR-hjelm/-brille.

Publications from Cristin

No publications found

No publications found

No publications found

No publications found

Funding scheme:

PETROMAKS2-Stort program petroleum