Kongsberg Defence and Aerospace (KDA) is a leading company in the defense industry with specific challenges related to that segment. A long life cycle, small volumes and few tests of the complete system characterize the products. KDA has during this PhD-study served as a research laboratory to see how testing of complex systems can be improved through automation and design of experiments.
The PhD-study has researched how the test coverage capacity of the company’s test system can be increased, as well as how inherent unexpected system behavior arises when assemblies of large sub-systems create a complex system. The latter has been a challenging, where the PhD-study has found the research front and contributed with new knowledge. The PhD-study has found that it is extremely important how good the test campaign overlaps with variations in the factors that actually impact what is triggered of unexpected behavior, and with success tested a methodology that quickly provides a good overview of when the system meets defined acceptance criteria.
The market in which KDA operates is changing to demand more concurrent project executions, performed at an increasingly higher pace. In order to stay competitive in a changing market, the company needs to produce more automated and effective solutions. The PhD-study has been an essential part of preparing and transforming the company to the future working environment.
The research has identified tasks suitable for automation to increase the test coverage in an ongoing development project concerning tasks where machines outperform humans and automating the tasks are cost-effective. A bi-product of this research has been the identification of tasks where humans outperform machines or automating the tasks are not cost-effective. The findings related to automation can be generalized for application in other areas of our society that experience similar issues concerning exploitation of man versus machine capacity. Further, the research has investigated a methodology that quickly provides good test coverage and detects inherent undesired system behavior as a form of early validation of the system. The findings related to design of experiments can be generalized to all systems that need testing to detect potential errors and see the need to do it more effectively.
This study in use of automation processes and design of experiments for detection of unforeseen system behavior during integration testing has been a 4-year industrial PhD project, and the candidate has been an employee of the company where he conducted the actual research. The candidate was part of the PhD program in Technology at the University of South-Eastern Norway (USN), which cooperated closely with the candidate and the company in this project. The candidate received guidance from both company and university, including access to cutting-edge expertise from both relevant industry and academia.
Arbeidet fra dette PhD prosjektet har ført til at bedriften har automatisert aktiviteter innenfor test gjennomføring, test resultat analyse, og dokumentering rundt testing. Denne automatiseringen har ført til en effektivisering på 40-50% i et pågående utviklingsprosjekt i bedriften. Automatiseringen er bygd inn i et rammeverk som rulles ut til stadig flere deler av bedriften som ser stor nytte av dette. Det er frigjort mye tid fra tidligere arbeidsprosess som ingeniørene kan bruke på utviklingsoppgaver istedenfor rutinemessige oppgaver som igjen hjelper bedriften i en stadig mer hektisk hverdag.
PhD prosjektet har sett på hvordan design av eksperimenter kan brukes for å raskt opparbeide god test dekning og finne iboende uønsket system oppførsel. Denne systematiske og statistiske tilnærmingen har vist stort potensiale i å kunne gi et overblikk over hvor godt systemet klarer å operere i sitt tiltenkte miljø, som igjen kan hjelpe med å sette i verk nødvendige eller ønskede tiltak. Funnene kan tyde på at det ved en slik tilnærming er mulig å sikre vesentlig høyere robusthet på komplekse produkter innenfor tidsrammene av et typisk utviklingsprosjekt, som til slutt vil gagne sluttbrukerne av slike produkter.
PhD arbeidet har hjulpet bedriften på kort sikt med å effektivisere test prosessen, og vil potensielt hjelpe bedriften i enda større grad på lang sikt ved å smartere opparbeide god test dekning tidlig. Andre bedrifter som utvikler produkter av samme type kompleksitet kan også dra nytte av lærdommer fra dette PhD prosjektet. Forskjellige deler av arbeidet er publisert i diverse kanaler hvem som helst kan finne.
Universitetet i Sørøst Norge har gjennom dette prosjektet opparbeidet seg ny kunnskap om bruk av automatiseringsprosesser og design av eksperimenter. Lærdommen kan tas inn i undervisning som da igjen nye studenter kan dra nytte av i sin studie- og yrkeskarriere.
Bakgrunnen for prosjektet er et behov bedriften har til å effektivisere system testing. Det er i dag altfor tidkrevende å teste, analysere, finne og rette feil. Fremtidens krav til å kjøre prosjekter raskere, og kjøre flere prosjekter i parallell, vil ytterligere forsterke dette behovet.
Bedriften utvikler kompliserte systemer innen forsvarsindustri, og kompliserte systemer har risiko for uønsket oppførsel (emergent behavior). Det søkes i denne oppgaven å detektere emergens på et tidlig stadium, slik at dette i størst mulig grad unngås utover i prosjektene hvor det blir dyrere å rette feil.
Formålet med dette PhD arbeidet er å øke forutsigbarheten til et komplisert system sin oppførsel i test gjennomføring ved bruk av metoder for å automatisere test prosesser. Prosjektet søker å forbedre metoder for effektiv høsting av kunnskap fra test gjennomføringer. Prosjektet tar mål av seg å utvikle nye tilnærminger til system testing som gir fornuftig bruk av automatisering og data analyse til å øke effektiviteten og tidlig oppdage uønsket system oppførsel.
De mest sentrale FoU utfordringene vil sannsynligvis være:
1. Å finne de mest fornuftige metodene / teknikkenen å bruke på å automatisere test prosessene i bedriften, slik at vi oppnår mest mulig effekt på bedriftens prosjekter.
2. Å sikre nok konfidens på resultatene i løpet av dette prosjektet, slik at det bør jobbes med videre for å kunne konkludere på et bedre og bredere grunnlag.
3. Å finne de mest sentrale miljøene med tanke på automatiseringsprosesser, slik at nyeste kunnskap kan benyttes i dette arbeidet og at dette arbeidet kan bidra til å strekke forskningsfronten enda lenger.
