Machine Learning Models for the Surveillance of Physical Power Markets

For at kraftmarkeder skal bli velfungerende og levere lovet samfunnsøkonomiske fordeler, må de (blant annet) være fri for manipulasjon fra markedsaktørene. Et marked som er utsatt for manipulasjon, spesielt hvis dette er utbredt, lider av redusert effektivitet, lavere offentlig tillit og til slutt lavere samfunnsøkonomiske fordeler. Den pågående overvåkingen av kraftmarkedene fra regulatoriske byråer og markedsaktører for potensiell manipulasjon er en kritisk del av å sikre at disse markedene fungerer godt. På grunn av de store datavolumene som er involvert og økende hastighet og kompleksitet i kraftmarkedene, krever slik overvåking avansert verktøy for automatisk å behandle og vurdere markedsutviklingen for potensielle manipulasjonshendelser, og som deretter kan videreformidles til menneskelige analytikere for videre vurdering. I prosjektet HAWK var fokuset vårt på å utvikle og teste innovative maskinlæringsalgoritmer (ML) og modeller for daglig overvåking av fysiske kraftmarkeder. Prosjekt HAWK ble utført av Optimering sammen med forskere fra NTNU og markedsovervåkingsanalytikere fra NVE. Prosjektet bestod av flere forskningspakker. Det første besto av forskningsintervjuer med regulatorer og markedsaktører, samt vurderinger av markedsovervåkingspraksis og litteraturen, for å kartlegge gjeldende overvåkingspraksis og utfordringer, og for å identifisere lovende forskningsområder. Som et resultat av dette fokuserte de påfølgende arbeidspakkene på å utvikle nye ML-metoder og algoritmer for å identifisere uregelmessige markedsutfall og aktøradferd i day-ahead-markedet der størstedelen av volumet handles i det nordiske kraftmarkedet, og RK (regulerkraft) markedet. Pakkene inkluderte utvikling av metoder for å overvåke markedsprisnivåer og dynamikk i day-ahead markedet (DAM), DAM pris-volumforhold, markedsbudkurver på markeds- og regionalt nivå, og porteføljebudkurver og budatferd. I den endelige arbeidspakken ble de utviklede algoritmene vurdert på historiske data sammen med NVE-analytikere, og sammenlignet med deres vurderinger gjort ?live?. Totalt sett ble de nye metodene vist å være svært nyttige, og identifiserte potensielle nye perioder med manipulasjon, samt fremhevde flere perioder som allerede var vurdert av analytikerne. Etter ferdigstillelse av prosjektet blir algoritmene installert på NVE for direkte bruk i pågående markedsovervåkingsaktiviteter.

The project has provided significant competency building for Optimeering´s employees. The project results will form the basis of new commercial market surveillance software products and new business lines for the company. The project has and will lead to new specific surveillance tools and methods used by NVE to monitor the Norwegian power market, delivering improved and more comprehensive surveillance activities and results. The R&D work also is a substantial component of a PhD project at NTNU. The project improves overall efficiency and effectiveness of the power market via more effective market surveillance operations, lowering surveillance costs and overall costs of power market regulation, increasing market transparency and trust, and help make the transition to a renewable-dominated power system possible. The project will contribute to competence building within the regulator on machine learning and introduce these techniques to groups within market regulators and exchanges.

The goal of our project is the development and implementation in software of machine learning models for the operative surveillance of physical power markets. The developed models and software will be designed to run automatically and be used by power market regulators such as NVE, market operators, brokers and TSOs in their daily surveillance activities in physical power markets, and by market actors trading in physical markets to monitor and regulate their own trading activities. Power markets often exhibit low elasticity of demand. In combination with large and flexible power storages (e.g. hydro power and, increasingly, batteries in combination with renewables) this results in market places that are particularly vulnerable to abuse. Surveillance of markets with high renewable and storage penetration is especially complex and difficult. Auction markets where all participants face the same price may be particularly exposed, especially in periods with congestion. Currently, most models and tools used for market surveillance in the power market based on sets of rules used to define market abuse scenarios. Rule-based approaches have several weaknesses, such as a tendency to produce large volumes of alerts, an inability to assess and priories the alerts produced, and difficulty in catching new behaviours. Machine learning is well suited for such monitoring, and can execute much more effectively than rules alone. The monitoring will be more automated, produce more relevant alerts (and fewer false positives) and enable users to detect market behavior that would otherwise be obscured. Such tools will also be more robust, since they will be less dependent on specific persons. This will in turn enable more effective and efficient mitigating actions to be planned and and taken, increasing the transparency and efficiency of the power system, especially given increased use of storage and renewable generation.