Uansett hvor avanserte optimeringsverktøy som finnes i dag, så må vannkraftprodusenter på forhånd manuelt bestemme hvilke innstillinger modellene skal benytte seg av. Selv om et bredt utvalg av metoder og heuristikker for løsning av planleggingsproblemet er tilgjengelige, så er det en begrensning i hvor mye data et menneske kan prosessere i oppsettet av modellene. Brukerne velger derfor ofte å bruke kjente innstillinger eller standardverdier, og disse parameterne settes til samme verdi foralle komponenter i vassdraget og alle tidssteg analyseperioden.
Innovasjonen i dette prosjektet er å erstatte det nåværende manuelle modelloppsettet med automatisk valg av innstillinger basert på driftssituasjon og markedsforutsetninger. Denne automatiseringen realiseres ved integrasjon av moderne maskinlæringsteknikker og gjennomgående forståelse av vannkraftsystem og optimeringsmodeller.
Prosjektet skaper en ny beslutningsprosess for vannkraftplanlegging. Optimeringsverktøy får utvidet sitt anvendelsesområde, fra dedikerte planleggingsverktøy til tilpasningsdyktige intelligente planleggingssystem. Metodikken som er utviklet i prosjektet kan anvendes i en bredere sammenheng utover vannkraftplanlegging, siden så godt som alle stor-skala beslutningsstøtteverktøy har de samme utfordringene med riktig valg av innstillinger i forkant.
Gjennom prosjektets periode har følgende blitt gjennomført.
1) Alle industripartnere har pekt på reelle utfordringer innen vannkraftplanlegging og stilt med historiske driftsdatafor produksjonssystem og marked.
2) SINTEF har kommet fram til relevante kommandoinnstillinger som kan løse de utpekte utfordringene i tilsendte driftsdata. Datahistorikken inkluderer både tilsig, markedspris, magasintilstand og langsiktig vannverdi per magasin. I tillegg har de beste kommandoinnstillingene blitt beregnet for hvert tilfelle, hvor både objektivfunksjon, regnetid og fysisk korrekthet i løsningen vektes sammen.
3) NTNU har gått gjennom datasettene og pre-prosessert dem for maskinlæring. Deler av historisk data har blitt aggregert for å redusere dimensjonaliteten på problemet. Forskjellige modeller for veiledet læring (supervised learning) som Random Forest Classifier, k-Nearest Neighbors, Multi-layer Perceptron, Support Vector Machines, Naive Bayes, AdaBoost Classifier, og Histogram based gradient boosting, er testet. Balansert evaluering av treffsikkerheten er blitt brukt for å finne beste maskinlæringsmodell for hvert datasett.
4) SINTEF har kjørt driftsplanlegging med opprinnelige kommandoinnstillinger og sammenlignet med de foreslåtte innstillingene fra maskinlæringen. Maskinlæringen har vært i stand til å oppnå fra 25% til 100% av den potensielle gevinsten med optimale kommandoer i de ulike casene. For eksempel kan ufysisk disponering av magasin i stor grad unngås eller bli betydelig redusert.
5) SINTEF har utviklet en interaktiv Jupyter notebook som alle industripartnerne bruke for effektiv testing av maskinlæringsmodeller og sammenligning av resultat på deres egne system. Denne notebook'en kan bære et solid fundament for videre utvikling av andre intelligente beslutningsprosesser.
Theachieved outcomes of this project are to prove that machine learning techniques can be applied inthe decision-making process for hydro scheduling. The following increased value creation is realized:
1) theincreased system awareness and improved decision quality provided by theadvanced analysis methods;
2) the extra profit gained from the tailored determination of solution methods;
3) the significant reduction in calculational time;
4) the successful prevention of nonphysical spills from reservoirs.
One scientific paper has been published and two working papers and one master thesis are in progress. An interactive Jupyter notebook has been developed. All theindustrial partners can easily test the machine learning models and compare the results fortheir own hydro systems. This Jupyter notebook can be a solid foundation for further developing other intelligent decision-making processes.
In this project, Norwegian hydropower producers will take a significant step towards the goal of a wholly automated hydro scheduling system. Instead of improving or replacing any existing optimization tools, theattention will be paid tothe way that these tools are used foradvanced decision support. This project will focus on the pre-setting of the executive commands that are called to run the optimization tools.
At present, no matter how sophisticated the optimization tools are, the hydropower operators have to manually set up the executive commands before running the optimization models. Though various solution methods or heuristics have been developed and are free to use, limited by human analytic competence, the operators prefer to choose the commands they are familiar with or directly adopt the default setting. These commands are only set up once before optimization and valid forall the hydraulic objects (i.e., reservoirs, plants, hydro-turbine generator units) and the entire scheduling horizon.
The planned innovation of this project is to replace the current manual setup of commands withtheautomatic allocation of commands depending on the specific operating and market conditions of the given hydro system. This automation will be achieved by integrating modern machine learning techniques witha comprehensive understanding of the hydro systems and optimization models.
This project pioneers a brand new decision-making process for hydro scheduling. It stretches out theapplication of the optimization tools toa broader decision-making level, from a uniform scheduling tool toa customized intelligent scheduling system. If successful, the methodology developed inthe project can be applied toa wider context, not only limited to hydro scheduling, since almost all theadvanced decision support tools designed for large-scale problems confront such a similar challenge as the pre-selection of suitable executive commands.