From manual to AI-assisted airport safety reporting through human-AI teaming (FLAIT)

Vårt mål er å forbedre sikkerheten på flyplasser gjennom kunstig intelligens (KI)-basert assistanse. Vi vil oppnå dette ved å muliggjøre samarbeid mellom personell og KI-baserte systemer for å identifisere og lære av uønskede situasjoner på flyplassens oppstillingsområde. Oppstillingsområdet er det travleste området på en flyplass med strenge krav til effektivitet og sikkerhet for personellet som jobber der. Det er her flyene parkerer og passasjerer og last går av og på flyene. Her er det risiko for å skade flyet, bakkeutstyret eller skade ansatte og passasjerer. Faktisk blir 243 000 mennesker skadet hvert år i ulykker og hendelser relatert til oppstillingsområdet. I tillegg er skader på fly på bakken, for eksempel i forbindelse med bagasjehåndtering og cateringbiler, det største sikkerhetsproblemet på flyplasser ifølge European Union Aviation Safety Agency (EASA). Urapporterte sikkerhetsrelaterte hendelser, som ulykker og nestenulykker, utgjør den største risikoen for flysikkerheten. For å redusere antall hendelser fokuserer Airside Innovation sammen med partnere i FLAIT-prosjektet på oppstillingsområdet – en «hot spot» på flyplassen, hvor vi vil utvikle, demonstrere og verifisere en prototype av et beslutningsstøttesystem – for automatisk klassifisering og rapportering av hendelser i oppstillingsområdet gjennom samarbeid mellom mennesker og KI, som adresserer interessentenes krav. Selv om KI-baserte «assistenter» er mye brukt til applikasjoner som regnskap, kundestøtte osv., består sikkerhetsrapportering på flyplassens oppstillingsområde fortsatt hovedsakelig av manuelle prosedyrer. En nøkkel til suksess er kombinasjonen av partnere og rådgivingsgruppa i prosjektet, som representerer verdikjeden for utvikling og implementering av innovasjonene fra prosjektet. Prosjektpartnerne er: • Airside Innovation (prosjekteier, vil kommersialisere resultatene fra prosjektet). • Opscom Systems AS (sikkerhets- og kvalitetssystemer) • Widerøe Ground Handling (WGH, bakkehåndteringsselskap) • Avinor (eier og operatør av flyplasser i Norge) • NORCE (forskningsinstitutt) • SINTEF AS (prosjektleder, forskningsinstitutt) Prosjektets rådgivergruppe består av Luftfartstilsynet, London Luton Airport (Storbritannia) og Vaclav Havel Airport Praha (Tsjekkia). Prosjektet er medfinansiert av Norges forskningsråd og bidrag fra industripartnerne. I tett dialog med industripartnerne og rådgivergruppa har vi identifisert et behov for to hovedinnovasjoner som skal kommersialiseres basert på prosjektresultatene: 1. Stand clear: Den KI-baserte programvaren (maskinsyn/maskinlæring) skal automatisk avgjøre om flyets parkeringsområde er tomt for objekter eller ikke, og presentere resultatene for brukerne og ansvarlig bakkemannskap/flyplass. Dette er en sjekk som må gjøres hver gang et fly ankommer oppstillingsområdet. 2. Turn-around safety report: Automatisk identifisere hendelser, brudd på prosedyrer og forbedre beste praksis i turn-around prosedyrer for fly (f.eks. drivstoffylling, bagasjehåndtering osv.). Vi har gjort utviklingsfremskritt i prosjektet rettet mot å muliggjøre de ovennevnte innovasjonene. En viktig milepæl var da vi etablerte en test- og valideringsarena på Trondheim lufthavn Værnes med kameraer som overvåker turn-around prosedyrer ved to av flyplassens oppstillingsplasser. For å muliggjøre arenaen har vi jobbet nøye med å sikre GDPR-samsvar og interessentengasjement. Arenaen gir oss anonymisert video av turn-arounds som vi kan bruke til trening og validering av maskinlæringsmodeller som utgangspunkt for deteksjon av prosedyrer. Arenaen er også nøkkelen til å validere resultater i felt. Vi har produsert et sett med merkede treningsdata fra oppstillingsoperasjoner, og utviklet maskinlæringsbaserte KI-modeller for å detektere og klassifisere «objekter» på oppstillingsområdet. Slike «objekter» kan inkludere kjegler, hjulklosser, personell osv. Videre undersøker vi hvordan vi kan bruke generativ KI til å støtte identifisering av hendelser, og har utviklet en førsteversjon av brukergrensesnittet som retter seg mot stand clear og turn-around safety report innovasjonene som er planlagt fra prosjektet.

The apron (where aircraft are parked at the gate) is one of the busiest areas on airports and up to 243 000 people are injured each year in apron-related accidents or incidents. Moreover, airlines suffer a cost of USD 10 billion due to aircraft ground damage. Unreported safety-related occurrences (i.e., events, incidents, accidents) poses the highest risk to flight safety. Although AI-based (Artificial Intelligence) "assistants" are widely used for applications such as accounting, etc., airport apron safety reporting involves mostly time-consuming and error prone manual procedures. We will bridge this gap and develop, demonstrate and verify a Decision Support System prototype - "the FLAIT Assistant" - for automatic classification and reporting of occurrences in the apron area through human-AI collaboration. The FLAIT Assistant and accompanying safety assurance procedures will be designed such that those involved in safety reporting can work with the Assistant as a human-AI team. Such teaming augments human capabilities and raises performance beyond that of either entity. To develop and deploy the FLAIT Assistant we need to address several research challenges including how to 1) enable all-weather object (humans, vehicles, equipment) detection and classification within a unified "bird's eye view" of the apron area, 2) realize an explainable spatio-temporal system for detection and classification of both routine operations and occurrences at the apron, 3) enable and verify evidence-based and trustworthy occurrence reporting that facilitates joint human-AI learning and handles potential mismatches between human and AI reasoning. Our "unfair advantage" for succeeding in developing and commercializing is our team's combination of in-depth knowledge of the airport sector, safety assurance, explainable AI, and experience with deploying AI in the airport sector - and that our team is composed of the value chain from supplier to end-user and a world-class advisory board.