Addressing Operator Performance in Shore-based Control Centres for Autonomous Shipping

Den maritime industrien investerer i avanserte teknologier for å redusere sitt miljømessige fotavtrykk, bli mer attraktivt for personell, forbedre sitt sikkerhetsnivå og forbedre sin motstandskraft mot ugunstige forhold, samtidig som den opprettholder lønnsomheten. For å bidra til å nå disse målene, forventes at kunstig intelligens (AI) vil spille en sentral rolle i å støtte navigatører i kritiske beslutninger og muligens til og med la skip seile uten direkte menneskelig involvering. Med tanke på den sikkerhetskritiske karakteren til maritim navigasjon, betyr dette at AI-aktiverte systemer må demonstrere en høy grad av pålitelighet og robusthet på tvers av et bredt spekter av situasjoner. Gitt begrensningene til slike systemer for å fungere i nye og komplekse situasjoner, kreves det imidlertid nøye utforming, implementering, administrasjon og tilsyn når disse skal distribueres i virkelige miljøer. Derfor bruker foreslåtte autonome skipskonsepter typisk menneskelige operatører til å monitorere, overvåke og potensielt gripe inn i systemet for å sikre at de nødvendige ytelses- og sikkerhetsnivåene oppnås. Tiår med forskning har vist at det er betydelige utfordringer knyttet til å tildele mennesker en overvåkende rolle for høyt automatiserte systemer. Ikke desto mindre har nyere forskning antydet at ved å avsløre systemets beslutninger, planlagte handlinger og interne analyser til operatøren, det vil si ved å gjøre systemet "gjennomsiktig", kan noen av disse utfordringene bli lindret. Med tanke på det nye med bruken av AI-aktiverte systemer i sikkerhetskritiske domener, er det imidlertid begrenset erfaring med effekten av dette. Som sådan er det et presserende behov for å generere ny kunnskap, metoder og verktøy med hensyn til hvordan mennesker kan lykkes med å samhandle med denne typen teknologier. Derfor har denne avhandlingen som mål å utforske følgende overordnede forskningsspørsmål: Hvordan støtter transparens menneskelig ytelse i overvåking og styring av autonome systemer? For å besvare hovedspørsmålet ble en blanding av kvantitative og kvalitative metoder brukt i denne avhandlingen. Den litteraturstudien fant en lovende effekt av transparens på SA og oppgaveytelse, uten å påvirke mental arbeidsbelastning, for studier der deltakerne svarte på systemforslag eller overvåket autonome systemer. Den målrettede oppgaveanalysen (GDTA) kartla og analyserte målene, beslutningene og kognitive oppgavene knyttet til konvensjonell og overvåket kollisjon og unngåelse av jording. En modell for menneskelig informasjonsbehandling ble tilpasset og gjenbrukt for å fungere som en modell for transparens. Basert på de strukturerte informasjonskravene fra GDTA og modellen ble HMI-konsepter utviklet for å gjøre et autonomt kollisjonsforebyggelsessystem transparent for operatøren. Til slutt ble effekten av åpenhet på SA, mental arbeidsbelastning og oppgaveytelse evaluert ved hjelp av en kontrollert eksperimentell tilnærming. Resultatene viste en lovende effekt av åpenhet på SA uten å påvirke mental arbeidsbelastning. Imidlertid økte tiden for å forstå den gitte informasjonen med økt grad av transparens. Disse resultatene indikerer fordelene ved å bruke transparensprinsipper på autonome kollisjonsunngåelsessystemer når det gjelder SA, men forsiktighet bør utvises i tidskritiske forhold der den ekstra transparensinformasjonen kan påvirke rettidige beslutningstaking. Videre, med tanke på fraværet av effekten av transparens på mental arbeidsbelastning, indikerer disse resultatene også verdien av å anvende en strukturert og systematisk menneskesentrert designprosess, slik den er brukt i denne avhandlingen. For å konkludere, resultatene har implikasjoner for vitenskapelig forskning og for bruk av transparens som designprinsipp for autonome agenter. I tillegg har denne avhandlingen gjort eksplisitt den rolleendringen som kan forventes ved innføring av autonome systemer. Med denne nye innsikten kan meningsfylt menneskelig arbeid skapes der de kombinerte egenskapene til menneske-automasjon-team kan optimaliseres. Til syvende og sist tar denne avhandlingen til orde for relevansen av å gi menneskelige operatører innsikt i resonnementet til autonome systemer og etablert transparens som en viktig forutsetning på veien mot sikker og effektiv menneskelig overvåking.

This dissertation investigated the role of agent transparency in supervisory control and contributed with knowledge, methods, and tools regarding transparency in general and its application to the maritime domain specifically. As humans are foreseen to play a critical role in overseeing the functioning of AI-enabled systems, the operator’s ability to understand, predict, and evaluate agent behaviour becomes a critical aspect of the human’s supervisory task repertoire. Consequently, it is essential that humans are informed and supported in making accurate decisions to enable timely and appropriate control when needed. Therefore, the aim of this dissertation was to generate and advance the knowledge on how supervisory control can be supported through agent transparency. This dissertation has contributed to this aim by recognising the importance of transparency in safety critical domains in terms of human performance, understanding the impact of autonomy on the operator’s cognitive tasks, constructing a model for transparency, operationalising transparency for the maritime context, and assessing its effects in an experimental setting. The results have implications for scientific research and for the application of transparency as a design principle for autonomous agents. In addition, this dissertation has made explicit the role-change that may be anticipated when introducing autonomous systems. With these new insights, meaningful human work may be created where the combined capabilities of human-agent teams can be optimised. Ultimately, this dissertation advocates the relevance of affording human operators with insight into the reasoning of autonomous systems and established transparency as an important prerequisite on the path towards safe and effective human-supervisory control.

The maritime industry is constantly looking for ways to reduce cost, increase safety and improve operational efficiency. Given current trends in technology development, it is expected that, in the near future, at least some functions on vessels will be fully automated. This has consequences for the roles of seafarers. The primary role of seafarers, especially bridge crew, is to maintain safety during the vessel’s voyage at all times. Changing the roles of seafarers as a result of technological advancements (i.e. automation) has consequences for how safety is ensured and how a shipowner can prove adherence to safety requirements. Shore-based control centres (SCC) are proposed for meeting safety requirements for remote monitoring and control of autonomous vessels (AV). Therefore, it is essential to understand, evaluate and assess SCC operator functions, tasks and performance when monitoring and controlling autonomous vessels. The primary objective of the research is to understand, evaluate and assess the performance of shore control center (SCC) operators when monitoring and controlling autonomous vessels. Secondary objectives include mapping the distribution of functions between vessels and SCC, what tasks the SCC operators are expected to perform, and what information and interaction requirements can be defined to enable task performance, including proposals for design. Given the novelty of autonomy in the Maritime industry, there is a need to generate knowledge and understanding the role of SCCs, and the functions and tasks operators perform in achieving safe operation of autonomous vessels. The outcomes of the research, therefore, is relevant for developing knowledge and concrete methods for designing for SCC solutions, development of international maritime regulations regarding autonomous vessels, the development of class requirements such that the performance and safety of the system as a whole is ensured.