CCSF-Quality: Defining new Chromatic Contrast Sensitivity Functions for improved quality assessment and quality enhancement

Det menneskelige synssystemet har lenge vært et inter-disiplinært forskningsområde for felt som psykologi, kognitiv vitenskap, nevrovitenskap, men også for forskere innen felt som maskinsyn, bildebehandling, og fargevitenskap. Forskning på forskjellige aspekter relatert til kontrast i bilder (som estimering av kvalitet, bildeforbedring, og modellering), spesielt med tanke på kromatisk kontrast, er av stor interesse for forskjellige forskningsgrupper. Mulige applikasjoner for slik forskning innenfor maskinsyn og bildebehandling er objektiv kvalitetsvurdering av bilder og video, bilde- og videokompresjon, fargeomfangalgoritmer, og rastrering. I alle disse applikasjonene prøver forskere å modellere synssystemet best mulig for å oppnå en presis metode og tilnærming. Etter en grundig litteraturgjennomgang av tidligere arbeid ble det subjektive eksperimentet nøye planlagt. Datainnsamlingen start i februar 2018. Vi har samlet data fra et større antall observatører sammenlignet med de fleste eksisterende arbeid. Resultat av datainnsamlingen er publisert på Color and Imaging conference 2019, og arbeidet med å skrive en tidsskriftartikkel med utdypende informasjon og analyse er i gang. I tillegg til å utføre det subjektive eksperimentet, har vi utviklet ved hjelp av en CNN-basert tilnærming en ny bildekvalitetsmålingsmetode. Dette arbeidet er presentert på Color and Imaging Conference 2018 (CIC). To andre publikasjoner om kontrast evaluering og kontrastforbedring ble publisert på EUVIP 2019, som resultat av veiledning av en master student. Prosjektlederen Dr. Seyed Ali Amirshahi har vært hos Laboratoire de Traitement et Transport de l'Information ved Universitetet i Paris 13 de to første årene, og han besøkte The Norwegian Colour and Visual Computing Laboratory ved Norges teknisk-naturvitenskapelige universitet (NTNU) i Gjøvik tre ganger (17 dager i november 2017, 18 dager i februar og 28 dager i september 2018). Siste året av prosjektet har Dr. Amirshahi vært hos The Norwegian Colour and Visual Computing Laboratory ved Norges teknisk-naturvitenskapelige universitet (NTNU). Etter prosjektet ble Dr. Amirshahi ansatt som førsteamanuensis ved NTNU.

The finding of the project would help researchers to better model the human visual system and allow the introduction of new image and video quality metrics and enhancement methods, image and video compression, gamut mapping and halftoning. The subjective dataset is the largest of such datasets in the field and it will soon be publicly released. We anticipate that this dataset will be an important resource for the scientific community. The project has further strengthened the collaboration with University Paris 13. The Project Leader (PL) also attended the Huawei Future Device Technology Summit at Helsinki, Finland as an invited speaker. At the end of the project the PL has been employed as an associate professor at NTNU. This is in line with the goal of the FRIPRO Mobility Grant which is to train researchers for the Norwegian research community.

The Human Visual System (HVS) has long been an inter-disciplinary field of research for different scientific communities such as psychologists, cognitive scientists, and neuroscientists but also researchers in fields such as computer vision, image processing, and color science. Among different topics addressed in research on the HVS, dealing with different aspects of contrast in an image (such as evaluation, enhancement, and modeling) especially with regards to chromatic contrast is of high interest for different research groups. Possible applications of such research especially in the field of computer vision and image processing are objective image and video quality assessment, image and video compression, gamut mapping, and halftoning. In all such applications researchers try to model the HVS in the best possible way to provide an accurate method and approach. Through subjective tests, this project aims to first find a new Chromatic Contrast Sensitivity Function (CCSF) to model observer's sensitivity towards changes in the chromatic contrast of an image. Using the introduced function, new Image Quality and Video Quality Metrics will be introduced. With the huge amount of images and videos in our daily life there has been a significant increase in research on metrics which are able to evaluate their quality. Finally, work on image and video quality enhancement will be performed taking advantage of the new image and video quality metrics and using the new CCSF. The project which will be managed by Dr. Seyed Ali Amirshahi includes two prestigious national and international groups, the Norwegian Colour and Visual Computing Laboratory at Gjøvik University College and the Laboratoire de Traitement et Transport de l'Information at University of Paris 13. Being awarded such opportunity will most definitely benefit the project manager (Dr. Amirshahi) who as a young and less experienced researcher plans to continue his career in academia and especially in Norway.