NAERINGSPH-Nærings-phd

DNB har i flere år brukt et rammeverk for modellutvikling til å utvikle prediksjonsmodeller for blant annet salg av ulike produkter. Slike modeller gjør det mulig å personalisere digital kommunikasjon til kundene, samt å oppnå flere salg ved færre ringerunder hos kundesenteret. Kundene er vant til personlig kommunikasjon fra de store tech-bedriftene som Facebook og Netflix, så terskelen for hva som oppleves som god, relevant markedsføring øker stadig. Å henge med på den teknologiske utviklingen er derfor svært viktig. Nye algoritmer og analyseplattformer gjør at mulighetsrommet innen modellbygging stadig øker. En sentral del av modellbyggingsprosessen er å velge hvilke innstillinger som skal brukes i algoritmen, en prosess som gjerne kalles hyperparametertuning. Metoder for å gjøre dette eksisterer, men de vanligste er lite systematiske, kan kreve mange kjøringer, har problemer i høydimensjonale rom og gir lite læring om hvordan parameterne påvirker funksjonaliteten til algoritmen. Det er dessuten gjort begrenset sammenligning av metodene. I dette prosjektet var planen derfor å teste en mer metodisk tilnærming til hyperparametertuning ved å ta i bruk forsøksdesign for å finne de hyperparameterne som påvirker prediksjonsevnen til algoritmen mest. Slik kan antallet innstillinger som må testes snevres inn i tillegg til at påvirkningen fra hver enkelt hyperparameter kan estimeres. Ved siden av praktisk testing i rammeverket ble nye metoder for analyse og blokkdeling innen forsøksdesign utarbeidet for å gi prosjektet et faglig fundament innenfor statistikk. I den anvendte delen av prosjektet ble en ny type markedsføringsmodeller benyttet, for å potensielt få utvidet spekteret av prediksjonsmodeller i rammeverket og dermed gi økt nytte for DNB. Denne modelltypen heter uplift-modeller, og hensikten med disse er å identifisere kundene som får økt kjøpssannsynlighet av å motta kommunikasjon. Til tross for flere runder med datainnsamling fra ulike kampanjer gav modellene for liten prediksjonskraft til å kunne brukes i videre markedsføring. I mellomtiden hadde en velfungerende hyperparameteroptimaliseringsmetode blitt implementert i rammeverket, så det ble besluttet å dreie prosjektet mot arbeid innen forsøksdesign. Den endelige avhandlingen består derfor fire arbeider innen blokkdeling og analyse av forsøksdesign, i tillegg til en beskrivelse av bruksområder for dette innen DNB. Forsøksdesign kan ha nytteverdi innen en rekke områder relevante for banken, blant annet online controlled experiments, conjoint analysis, online active learning og, som tidligere nevnt, hyperparametertuning.

Den opprinnelige planen var å bruke forsøksdesign til hyperparametertuning for å finne innstillinger for maskinlæringsalgoritmene benyttet til personalisering hos DNB. Et stykke ut i prosjektet ble det besluttet å utvide planen til å også omfatte testing av hyperparametertuning på en ny type markedsføringsmodeller, uplift-modeller. Dette er modeller som tar sikte på å identifisere kundene med størst økning i kjøpssannsynlighet som følge av en kommunikasjon, og er dermed veldig relevante for DNB, som har et fokus på kostnadseffektiv personalisert markedsføring. Ved å teste metodikken på uplift-modeller ville DNB kunne få en ny modelltype i rammeverket og dermed økt nytte av prosjektet. Data til modellering ble samlet inn i tre forskjellige sammenhenger, men ingen av testene resulterte i modeller med god nok prediksjonsevne til å være nyttige i praksis. Dette skyldes trolig svake signaler i dataen og datainnsamling som kunne vært gjort på en bedre måte. Dette har vært diskutert internt, samt presentert på Math meets industry-konferansen i Trondheim i 2022. Uplift-tankegangen har blitt gjort kjent i relevante miljøer, og koden er tilgjengelig for ytterligere testing om det skulle dukke opp relevante bruksområder. En velfungerende automatisert prosedyre for hyperparametertuning ble implementert i rammeverket mens kandidaten hadde foreldrepermisjon, så ved gjenopptakelse av prosjektet ble det besluttet at fokuset i resten av prosjektperioden skulle legges på forsøksdesign. Avhandlingen består derfor av fire arbeider innenfor forsøksdesign, samt en oversikt over bruksområder knyttet til forsøksdesign som kan være relevante for banken. Bruksområdene omfatter conjoint analyse, online controlled experiments, online active learning samt tuning av hyperparametre. Resultatene i paperne er generelle, og kan være nyttige i mange sammenhenger der man vurderer bruk av screening-design. Dette er spesielt relevant i industrielle settinger der gjennomføring av forsøk er kostnadskrevende. To av arbeidene omhandler gjennomføring av forsøk under ulike forhold (blokkdeling), de to andre fokuserer på analyse av screening-design.

Design of Experiments (DoE) is a field within statistics in which the goal is to plan the collection of data to accommodate analysis and possibly optimization of a process. Typically, one wants to find the variables impacting the response, model the relationships and suggest settings for maximizing the response. This can be done using sequential testing. In the first step, called screening, a large number of variables are tested in a limited number of runs, trying to identify the few important ones. Then follow-up runs are used to further investigate the relationship between the selected variables and the response. If all runs cannot be performed under the same conditions, they must be divided into blocks, and the impact of the blocks must be considered when performing the analysis. In this thesis, the emphasis is on improving the screening phase by suggesting new methods for blocking and analyzing popular screening designs. This methodology is general and can be useful in a wide variety of settings where the data collection can be planned and gathering information is costly. One of the objectives of the thesis is to review how DoE can be applied within the field of machine learning, especially considering use cases within finance.