Generic Hydropower Optimization Using Deep Reinforcement Learning (GHO-DRL)

En utfordring for vannkraftprodusenter er å finne ut hvordan man skal disponere tilgjengelige vannmengder i kraftmagasinene. Skal man løse dette problemet må mange faktorer vurderes. Eksempler på dette kan være tilsig til kraftmagasiner, snømengder i fjellet, forventet prisutvikling på kraft, med mere. I dette prosjektet har vi undersøkt hvordan kunstig intelligens kan anvendes til å finne ut hvordan et gitt vannkraftsystem kan utnyttes mest mulig optimalt. Med dette menes at for et gitt vassdrag og kraftstasjoner, så ønsker man til enhver tid å kunne beregne hva som er optimal bruk av tilgjengelig vannmengde i magasinene. Prisen på elektrisk strøm har de seneste årene gått kraftig ned. En konsekvens av dette er at de norske vannkraftprodusentene opplever at inntektene er blitt redusert og at det er presserende behov for å minske kostnader, samt effektivisere driften. Prosjektet har vist at det er mulig å benytte dyp læring til å forstå hvordan vannmagasinene skal disponeres optimalt. Hovedresultatene i prosjektet demonstrerte hvordan ulike søkealgoritmer kan kombineres med syntetiske data og brukes til å trene nevrale nett. De trente nevrale nettene kan brukes til å foreslå produksjonsplaner eller vannverdier basert på pris- og tilsigsinformasjon. Algoritmene har blitt testet ut i skarp drift for Kvinesdal kraftstasjon og Agder Energi benytter nå metodene i sitt daglige arbeide. Prosjektet viser et område hvor kunstig intelligens har et stort potensiale og i fremtiden vil prosjektresultatene kunne danne utgangspunkt for nye verktøy for resten av vannkraftbransjen.

The project has shown that it is possible to use deep learning to understand how water reservoirs should be utilized optimally. The main results of the project demonstrated how different search algorithms can be combined with synthetic data and used to train neural networks. The trained neural networks can be used to suggest production plans or water values based on price and inflow information. The algorithms have been tested in daily operations for Kvinesdal power station. Agder Energi is now using the methods in its daily work. The project shows an area where artificial intelligence has great potential and in the future the methods developed could form the basis for new tools for the rest of the hydropower industry. The promising results also warrants further research on deep learning-based hydropower optimization.

The project is motivated by the fact that the Nordic electricity market for the last two years has experienced a huge fall in energy prices. The reasons for this fall are many, but the undisputable consequence for the Norwegian hydropower sector is that income is going down and there is an urgent need to lower costs and run the operations more efficiently. To this end, there is a need for more practical applicable simulation software. However, traditional solvers based on linear and dynamic programming techniques have significant shortcomings in operational use. The underlying idea in this research project is to apply and adapt recent breakthroughs in so-called Deep Reinforcement Learning (DRL) to the hydropower scheduling problem. To our knowledge, this has never been done before. We will develop DRL based models, algorithms and an accompanying hydraulic-economic model that can utilize inexpensive and massive parallel computing platforms offered by Graphical Processing Units (GPUs). The new software will be tested in an operational setting at Agder Energi and compared to traditional optimization techniques based on linear- and dynamic programming methods (LP, DP). Given the success in this project the value creation will be more efficient utilization of the water resources available at Agder Energi. Today this energy resource is about 4 percent of the Norwegian hydropower production and represents a huge part of Agder Energi's income. It is clear that even small incremental improvements in how water resources are used (1-2 %), will create huge increase in income for the Norwegian hydropower sector. Furthermore, societal costs related to flooding may be reduced with improved techniques for hydropower optimization.