Automated short-term production planning processes for Hydro- and windpower using deep reinforced learning methods

Det er lett å ta strømmen som kommer ut av stikkontakten som en selvfølge, men elektrisitet må produseres i samme øyeblikk som vi bruker den, og bruken varierer kontinuerlig ettersom du setter på TV eller skrur av og på varmeovner. Hver dag handles kraft basert på beregnet forbruk og planlagt produksjon på Nordpools kraftbørs. På denne børsen selges og kjøpes kraft fra ulike kilder klar for levering neste dag. Dette markedet kalles for day-ahead markedet. Selv om day-ahead markedet er planlagt å være i balanse utsettes systemet kontinuerlig for påvirkninger som kan forstyrre balansen, for eksempel værrelaterte forbrukssvingninger eller utfall av kraftverk. For å håndtere slike uforutsette hendelser er det helt vesentlig at kraftsystemet har tilstrekkelig med reserver. De senere årene har Statnett etablert markedsløsninger for å sikre seg tilgang til tilstrekkelig reservekraft. For å håndtere og planlegge salg i et stadig økende antall markeder har de fleste kraftprodusenter egne produksjonsplanleggere. Jobben til en produksjonsplanlegger er å optimalisere de tilgjengelige energiressursene sine i et kort- og langsiktig perspektiv. Dette gjøres ved å anvende et bredt utvalg av modeller og kompetanse. I tillegg til håndtering av flere markeder, er datamengden som skal håndteres raskt økende. Behov for detaljert modellering og oppfølging av avanserte miljørestriksjoner stiller også økt krav til dagens planleggingsprosesser. For å møte utfordringer for fremtidens produksjonsplanleggere, er økt automatisering et av flere virkemidler som kraftprodusentene kan ha nytte av. Dette krever nye metoder for håndtering av store datamengder og utvikling av verktøy for å utnytte sammenhenger mellom innhentede data fra ulike kilder. Målet med dette prosjektet er å legge til rette for økt automatisering, og dermed bedre presisjonen i planleggingen ved å utvikle nye metoder til støtte for beslutninger som kan anvendes for best mulig utnyttelse av vann- og vindkraftressursene. For å kunne tilrettelegge for automatisering av sammensatte prosesser må problemstilling deles opp i mindre og konkrete oppgave som skal løses. Det er også viktig at en selskap som vurdere å automatisere ulike prosesser kan danne seg et realistisk bilde av hva konsekvensen av å automatisere vil være. En av målsetningen ved prosjektet er derfor å bygge opp et simuleringsverktøy hvor ulike strategier kan vurderes opp mot hverandre. Som resultat av behovet for oppdeling og målbarhet har følgende hovedaktiviteter blitt identifisert, og vil danne rammene for videre forsking i prosjektet. I. Utvidelse av eksiterende metode for beregning av marginalkostnader til å være anvendbar på mer kompliserte vassdrag II. Utvikle et rammeverk for simulering av dagens budgivnings prosess som muliggjør realistisk sammenlikning av ulike strategier for automatisering III. Bruk av maskinlærings-metoder for og automatisk kunne velge den modelleringsstrategi som er best egnet under ulike forhold IV. Håndtering av ubalanser i et kraftsystem som følge av varierende lastkrav V. Innføring av en automatiske budgivingsmodell i drift Oppgave 1-4 er gjennomført og avhandlingen er levert til PhD-komiteen. Metoden som er utviklet i 1 er implementert i et operasjonelt produksjons planleggingsverktøy som kan anvendes av europeiske kraftprodusenter. Rammeverket utviklet i 2 er testet på et kraftsystem i Telemark, og har vist at stokastisk budgivning er et godt alternativ for systemer som er eksponert for betydelige variasjoner i tilsig og pris. Konseptet utviklet i 3 som omhandler anvendelse av maskinlæring for å identifisere optimale budgivings strategi er undersøkt og publisert i et tidsskrift. Resultatene viser at fortjenesten kan økes og beregningstiden reduseres ved å anvende det nye konseptet. Til slutt har optimal balansering og lastfordeling av hydro- og vind produksjon i intradag markedet blitt vurdert sett i lys av drift av en kombinert portefølje av flere energiressurser som en del av oppgave 4. Det er foreslått en metode for å optimalisere et felles lastkrav for en total portefølje med intradag-priser. Det er demonstrert hvordan ubalansekostnadene for en kraftprodusent med både vind- og vannkraftanlegg kan reduseres ved intern balansering i kombinasjon med salg og kjøp i et «pay-as-bid» intradag marked

Målsetningen med prosjektet var å tilrettelegge for økt automatisering av produksjonsplanleggingsprosesser. Prosjektet har utviklet metoder som tilrettelegger for automatisering av prosesser som idag i stor grad utføres manuelt. Dette vil bidra til å frigjøre tid til å fokusere på prosesser som blir viktigere fremover. Dette kan blant annet være tilrettelegging for dataanalyse av en økt mengde informasjon som etterhvert vil bli tilgjengelig fra produksjonsenheter, nett og marked.

The objective of this project is to develop new methods for applied decision support for hydro- and windpower production planning. The long-term target is automatization of the nomination process using a combination of fundamental models, and deep reinforced learning methods. Traditionally Nordic power producers have optimized production towards the Nordpool spot market. Closer interactions with European markets, large scale introduction of wind and unregulated power production, and implementation of markets solutions for secondary and tertiary reserves, have increased the complexity in the planning and nomination process. The time from when information is acquired to decisions are made is getting shorter, and the degree of details modelled in the power systems, and the amount of information processed, is continuously increasing. In addition restrictions given by local, state-dependent, concessional and environmental conditions tend to introduce additional requirements to models that are applied in the planning process. In production planning, the power producer attempt to optimize the value of the available resources in a long and short term perspective. This is done by applying a wide range of models and commercial competence. A common challenge for the models applied in the existing planning process is the time requirements associated with complex modelling. The following models are used in the production planning process: o Price models to model expected long- and short-term prices o Long-term fundamental models to generate water values and weekly production plans o Short-term models to create hourly production schedules and marginal-cost o Marginal-cost models to translate results from short-term models in the price-dependent nomination process. The main tasks will focus on solving the identified, and capturing further, arising factors in scheduling.