CAIM - Context Aware Image Management

Caim (Context-Aware Image Management) prosjektet benytter kontekstinformasjon til bilder (slik som dato og sted et bildet ble tatt) for automatisk å finne mer informasjon om det man ser i bildet (for eksempel i form av Wikipedia artikler og web-sider) og tilby nye typer bildesøk. Vi tilbyr for eksempel søk etter bilder knyttet til spesifikke hendelser og sosialt bildesøk. Ved sosialt bildesøk benyttes blant annet informasjon om sosialt nettverk (for eksempel hentet fra Facebook) for å la brukeren effektivt søke etter bilder knyttet til sine nærmeste venner og familie. Basert på et minimalt sett med kontekstinformasjon har prosjektet utviklet metoder for å utvide mengden informasjon knyttet til bildet, for eksempel ved å legge til lokasjonsnavn, værinformasjon fra da bildet ble tatt og tilby automatisk tagging av bilder. Det utvidede settet med informasjon benyttes blant annet til å generere tekstlige beskrivelser av bildesamlinger, som igjen kan benyttes for å velge ut samlinger som er særlig relevante for et spesifikt bildesøk. Vi har også utviklet metoder for detektering av hendelser basert på metadata i bildesamlinger. Prosjektet har utviklet systemer for bildefremhenting der et bilde med kontekstinformasjon benyttes som utgangspunkt for å finne og presentere andre relevante bilder til brukeren. Vi har utviklet bilde- og informasjonsinnhentingssystemer for både mobilt og stasjonært utstyr. Vi har videre utviklet en turistguide der brukeren slår opp i guiden ved å ta et bilde av objektet han/hun ønsker mer informasjon om. Vi har også utviklet et system for innhenting av metadata til bilder basert på NFC (Near Field Communication) teknologi. Prosjektet har utviklet og testet et antall prototyper, utført brukertesting av systemer og generert flere bildesamlinger.

In the CAIM project we introduce image context-awareness as a means of supporting image-based information retrieval in distributed and mobile environments. An image can be associated with multiple contexts and knowledge of these contexts can enhance the q uality of the information retrieval process. We believe that context-awareness can be used for identifying image semantics and relationships, and may thus contribute to closing the semantic gap between user information requests and the shortcomings of cur rent content-based image retrieval techniques. The CAIM project will focus on research and the development of tools for context-aware image management, where image description, query formulation, retrieval from heterogeneous distributed environments, an d ranking are designed for using context information. Important application domains are those requiring image capture and multimodal retrieval in mobile environments. An objective in the CAIM project is to design a system that is flexible enough to suppo rt context-aware image management for a vide variety of applications. To do so, a component-based architecture, using components and component frameworks, will form the basis for a context-aware image management system. The project will develop a prototyp e implementation of a context-aware image management system and a set of end-user applications that demonstrate the usefulness of CAIM concepts. The research builds on previous research at University of Tromsø, University of Bergen, Munich University of T echnology, Univ. of Hawaii at Manoa and Telenor R&D in the areas of data management, image processing, information retrieval, multimedia and mobile systems.