This project aims to streamline the operation and maintenance of advanced industrial facilities
with large amounts of sensor data by making data available for offshore personnel when and
where they need it. This will be accomplished by making use of technology for 3D and augmented
reality, and improved planning tools for inspection robots. The outcome will improve the efficiency
of navigation and present sensor data and other relevant information in an intuitive manner. This
information will be retrieved from the already existing Cognite Data Platform which is a cloud
platform for collecting, handling and displaying large amounts of industrial data.
Today, offshore personnel are largely depending on documentation on paper in the form of user
manuals and floor plans of the plants that are time-consuming to keep up to date, cumbersome
to look up and difficult to take with them when performing work. The lack of good access to static
data, such as drawings and documents, as well as dynamic sensor data, mean that efficiency is
lower than it can be. This solution has the potential to dramatically change the everyday lives of the
personnel by providing quick access to exactly the information they need on site.
The project will consist of two main parts. The first part will involve development of methods for
robust and precise localization of the user / robot and its view. Inspection robots take photos and
record video that is used to recognize visual features that are used for localization. This happens
by lookups in a visual database with images with tagged locations. Lookups are implemented
by combining traditional computer vision methods and state-of-art deep learning algorithms for
extracting visual features that will be used for localization of the user.
In the second part of the project, we will work on efficient rendering of complex 3D geometries and
augmented reality to visualize important information in real time in a good and intuitive way. This
is done by breaking the 3D CAD models into primitives (like boxes, pipes, etc.) and by recognizing
duplicated geometry and only storing one instance. This compressed 3D models drastically, which
reduces the bandwidth requirements during transfer to the visualization client. Furthermore, the
3D model is divided into regions based on position, complexity and extent of the individual objects.
When a client is visualizing a 3D model a priority is assigned to each region based on the camera
pose. The client loads data within a given budget. 3D model rendering is driven by specialized
techniques for the individual primitives, which results in high performance. This is done to enable
visualization of extremely complex 3D models on commodity hardware.
The project's innovations and technology will complement and expand Cognite's already
existing platform technology, and contributes to the transformation from a platform for data
collection, processing and storage, to also become a platform for insight and understanding.
SINTEF og Cognite har utviklet metoder for mer effektivt stedfeste posisjon basert på bildedata på industrielle anlegg. Dette kan brukes til å forenkle fjernstyring av industrielle roboter og kan dermed bidra til å redusere behovet for personell til rutinemessig driftsoppgaver. Det har også blitt utviklet teknikker for høy-ytelses visualisering av komplekse 3D modeller av industrielle anlegg, noe som resulterer i at man kan bygge og tilgjengeliggjøre digitale tvillinger. Cognite mener dette er med på å drive det digitale skiftet framover og kan bidra til en bedret konkurransesituasjon for norsk industri.
Idé:
Se for deg følgende fremtidsscenario: En arbeider på et prosessanlegg i drift skal ut for å justere en ventil på et rør. Hun setter på seg vanlig arbeidsutstyr og i tillegg en AR-hjelm, før hun beveger seg til aktuelt område, visuelt rettledet av hjelmen. Den identifiserer og oppdaterer kontinuerlig hva hun ser, med informasjon fra en rekke sensorer tegnet inn. Hjelmen viser henne ventilen som skal justeres, og når hun gjør det blir bildet umiddelbart oppdatert med ny informasjon fra sensorer inne i røret, og hun kan visuelt se effekten av justeringen i sanntid. Med AR-hjelmen har hun begge hendene frie til å utføre arbeidet. Samtidig kan en ikke-tilstedeværende ekspert følge hennes posisjon i en nettleser, se det hun ser, og støtte henne i arbeidsprosessen.
For å lykkes med prosjektet har vi satt opp følgende delmål:
1) Robust gjenkjenning av 3D-geometrier fra 3D-skanning og 2D-bildedata
AR-enheter lager sine egne 3D-verdenskart av sine omgivelser. Utfordringen er å gjenkjenne objekter fra CAD-modellen i AR-enhetens verdenskart, både for å kunne gi informasjon om det konkrete objektet og for å støtte (2) i å lokalisere brukeren i CAD-modellen.
2) Lokalisering og 3D-sporing i komplekse omgivelser i sanntid
Kombiner informasjon fra detekterte objekter med lokalisering-og sporingsfunksjonalitet i AR-enheten for robust og nøyaktig lokalisering (posisjon og synsretning) av brukeren i CAD-modellen.
3) Visualisering av store mengder sanntids-sensordata på en intuitiv måte
Utvide situasjonsforståelsen ved intuitiv sanntidsvisualisering av sensordata fra den sentrale datamodellen.
4) Rask sanntidsvisning av 3D-geometri
Det kreves en løsning som skalerer, både mht. antall brukere og mengde data per bruker, installasjon samtidig som den lar seg tegne på an AR-enhet med begrensede ressurser.
5) Integrasjon av sanntidsvideo, sensordata-visualisering og 3D-geometri i en AR-modul
Det kreves en løsning som fungerer godt både på 2D-skjerm og på 3D-AR-hjelm/-brille.