Use of Automation Processes for Detection of Emergent Behavior during Systems Integration Testing

Kongsberg Defence and Aerospace (KDA) is a leading company in the defence industry with specific challenges related to that segment. A long life cycle, small volumes and few tests of the complete system characterize the products. The company serves as a research laboratory to see how testing can be improved through automation. Increasing the test coverage capacity of the company test system is a goal of the PhD study, as well as to detect unexpected behavior that arises when assemblies of large sub-systems create a complex system. The latter is a challenging issue to manage, where we are to find the research front and contribute with new knowledge. We have by use of statistical methods found that it is extremely important how good the test campaign overlaps with variations in the factors that actually impact what is triggered of unexpected behavior. The market in which KDA operates is changing to demand more concurrent project executions, performed at an increasingly higher pace. In order to stay competitive in a changing market, the company needs to produce more automated and effective solutions. The PhD study is an essential part of preparing and transforming the company to the future working environment. The research will identify tasks suitable for automation, i.e. tasks where computers outperform humans. A bi-product of this research is the identification of tasks where humans outperform machines. The findings can be generalized for application in other areas of our society that experience similar issues concerning exploitation of man versus machine capacity. This study in use of automation processes for detection of emergent behavior during system integration testing is a 4-year industrial PhD project, and the candidate is an employee of the company where he conducts the actual research. The candidate attends the PhD program Process, Energy and Automation Engineering at the University of South-Eastern Norway (USN), which cooperates closely with the candidate and the company in this project. The candidate receives guidance from both company and university, with access to expertise from both relevant industry and academia.

Bakgrunnen for prosjektet er et behov bedriften har til å effektivisere system testing. Det er i dag altfor tidkrevende å teste, analysere, finne og rette feil. Fremtidens krav til å kjøre prosjekter raskere, og kjøre flere prosjekter i parallell, vil ytterligere forsterke dette behovet. Bedriften utvikler kompliserte systemer innen forsvarsindustri, og kompliserte systemer har risiko for uønsket oppførsel (emergent behavior). Det søkes i denne oppgaven å detektere emergens på et tidlig stadium, slik at dette i størst mulig grad unngås utover i prosjektene hvor det blir dyrere å rette feil. Formålet med dette PhD arbeidet er å øke forutsigbarheten til et komplisert system sin oppførsel i test gjennomføring ved bruk av metoder for å automatisere test prosesser. Prosjektet søker å forbedre metoder for effektiv høsting av kunnskap fra test gjennomføringer. Prosjektet tar mål av seg å utvikle nye tilnærminger til system testing som gir fornuftig bruk av automatisering og data analyse til å øke effektiviteten og tidlig oppdage uønsket system oppførsel. De mest sentrale FoU utfordringene vil sannsynligvis være: 1. Å finne de mest fornuftige metodene / teknikkenen å bruke på å automatisere test prosessene i bedriften, slik at vi oppnår mest mulig effekt på bedriftens prosjekter. 2. Å sikre nok konfidens på resultatene i løpet av dette prosjektet, slik at det bør jobbes med videre for å kunne konkludere på et bedre og bredere grunnlag. 3. Å finne de mest sentrale miljøene med tanke på automatiseringsprosesser, slik at nyeste kunnskap kan benyttes i dette arbeidet og at dette arbeidet kan bidra til å strekke forskningsfronten enda lenger.