Spectral Skin Modelling and Rendering for Realistic Digital Faces

I filmproduksjon og digitale effekter er generering av realistiske digitale ansikter et viktig problem, for eksempel for å skape en skuespillers «digitale dobbeltgjenger». I tillegg til å nøyaktig registrere ansiktets geometri, så er en realistisk generering av hudens utseende et meget viktig element. Det er kjent at vi mennesker ofte vil føle en sterk avsky mot ting som virker nesten menneskelig, men ikke helt. Dette fenomenet kalles «uncanny valley» som kan oversettes som den uhyggelige dalen. Menneskeskehud har en kompleks struktur, med flere lag som inneholder blodkar, bindevev, fett og hårfollikler. Imidlertid er hudfargen hovedsakelig avhengig av konsentrasjonen av enkelte molekyler (kromoforer), som melanin og hemoglobin. Denne siste finnes i to forskjellige varianter, og deres relative forhold har forskjellige effekter på hudens farge. En ytterligere komplikasjon er at deres konsentrasjon endres med tiden, og avhenger av emosjonell tilstand. Derfor er hudfargen og ansiktets utseende i kontinuerlig endring. Vårt prosjekt, i samarbeid med eksperter i datagrafikk ved Imperial College London, vil utvide kunnskaps- og teknologifronten innen både analyse og gjengivelse av ansiktsutseende og menneskelig hud, både under statiske og dynamiske forhold. Vi vil bruke ny bildebasert spektral måleteknologi tilgjengelig på NTNU og på Imperial College for å måle sentrale hudegenskaper, som brukes til å lage en ny modell for hudutseende for datagrafikkapplikasjoner, og dermed øke realismen til digitale ansikter i filmer og videospill. Videre vil nye teknikker for å estimere hudens kromoforer fra bilder bli utarbeidet. Potensielt vil dette ha flere bruksområder innen kosmetikk, for eksempel for valg av passende farger for å tilpasse sminke eller valg av den mest passende solkremen. Og kanskje enda viktigere, den forbedrete estimeringen av hudens kromoforer vil kunne finne medisinske anvendelser, spesielt for hudkreft. Spectraskin-prosjektet startet i April 2019. Colourlab sin nettside (http://www.colourlab.no) gir de siste oppdateringene og detaljer om aktivitetene i prosjektet, mens forskningen publisert til nå kan følges på Cristin (https://app.cristin.no/projects/show.jsf?id=678057).

A longstanding goal of computer graphics is the creation of realistic digital faces. The difficulties behind this task partly lie in human perception, which creates a strong revulsion toward things that appear almost human (the uncanny-valley). Moreover, the complex structure of the skin, and the dependency of facial appearance on both the physical and emotional state, cause continuous changes in the color of facial skin. Skin color is mostly determined by the concentrations of the chromophores melanin and hemoglobin, each of them present in two different forms. Previous work focused on the estimation of some of these parameters, generally from a patch of skin in static conditions, used to synthesize the skin for the whole face. Our project will extend the state of the art on both acquisition and rendering, thanks also to the collaboration with a world-leading scholar in computer graphics, Prof. Ghosh at Imperial College London. We will use the hyper-spectral acquisition devices available at NTNU and the new multispectral light stage for facial appearance capture at Imperial College, in order to estimate skin reflectance properties and skin chromophores concentration maps, including the ratio between eumelanin and pheomelanin. The latter causes important differences in the skin appearance, and plays a role in both ultraviolet-radiation dependent and independent skin cancer. The novel image-based skin chromophores estimation method will be used along with the light stage to capture the entire face of subjects, recording also changes from static static to dynamic conditions. Furthermore, a new skin model will be derived. Overall, our work will help increasing the photo realism of digital faces in movies and video games, and could have important application also in medicine, dermatology and cosmetology.