Balancing Compute and Memory Performance in Reconfigurable Accelerators with Analytical Modeling

Den eksponentielle økningen av datamaskinytelse over de siste fire tiårene har vært et resultat av kontinuerlig forbedring av produksjonsteknologi. Dennardskalering, som beskriver hvordan spenningene og dimensjonene på transistorene kan endres slik at man får mindre transistorer som bruker mindre strøm, har vært kritisk for å få til denne ytelsesforbedringen. Med Dennardskalering kan man doble antallet transistorer på en brikke mellom hver teknologigenerasjon mens effektforbruket holdes konstant. Dermed danner Dennardskalering grunnlaget for den mer kjente ytelsestrenden Moores lov. I moderne produksjonsprosesser fører Dennardskalering til økt effektforbruk fordi reduksjon av transistorenes terskelspenning medfører eksponentielt økende statisk effektforbruk. Samtidig har vi nådd grensen for det effektforbruket et praktisk realiserbart kjølesystem kan håndtere. Dette medfører at dagens høyytelsesdatamaskiner primært er begrenset av effektforbruket. Dermed blir teknikker som utnytter parallellitet, som for eksempel energieffektive akseleratorer, nødvendige for videre forbedring av ytelse -- en nødvendighet i viktige domener som kunstig intelligens, klimamodellering, persontilpasset medisin, materialforskning, kjemi og nanoteknologi. I BAMPAM prosjektet har vi gjort datamaskiner mer effektive ved hjelp av modellbasert spesialisering. Mer spesifikt har vi bidratt til mer effektiv bruk av akseleratorer gjennom å (i) bedre kunne identifisere hvilke deler av et program som er egnet for akselerering, (ii) hvilke akseleratorarkitekturer disse delene av programmet bør bruke, (iii) hvordan man konfigurerer akseleratorer slik at man oppnår balanse mellom beregningsytelse og minneytelse, og (iv) hvordan vi kan designe mer effektive akseleratorer.

Computers are the backbone of the information society, and making computers more efficient, as we have done in BAMPAM, hence helps advance important applications and domains such as artificial intelligence, climate modeling, personalized medicine, materials science, chemistry, nanotechnology, automotive, and energy. BAMPAM has also resulted in more specific impacts. From the scientific perspective, BAMPAM’s key results are the 11 publications at the highest international level within computer architecture that the project has contributed to (i.e., at the ISCA, MICRO, HPCA, and ASPLOS conferences). Moreover, our TEA paper at ISCA’23 was selected as one of 12 Top Picks from the top-tier architecture conferences in 2023 based on “novelty and potential for long-term impact”. We are currently working with leading industry players with the aim of integrating these innovations within their high-performance processor cores – thereby bringing a key result of BAMPAM into your future computer.

BAMPAM will improve the power-efficiency of tightly integrated reconfigurable accelerators by formulating analytical performance models that enable automatically generating accelerator instances with balanced compute and memory performance. Current high-performance computers are power-limited, and leveraging parallelism, for instance in the form of power-efficient accelerators, is necessary to further improve their performance -- a critical requirement across important domains such as climate modeling, personalized medicine, materials science, chemistry, nanotechnology, automotive and energy. In BAMPAM, we focus on processors with tightly coupled reconfigurable accelerators. These accelerators consist of a grid of compute units that can be configured to create specialized hardware for performance-critical application code regions. Accelerator imbalance is caused by activating more compute units than the system's memory configuration can support and results in poor power-efficiency because compute units needlessly dissipate power while waiting for memory. A balanced accelerator activates exactly the number of compute units the memory configuration can support - to ensure high performance - while disabling remaining units - to save power. The key research challenge is to devise approaches that automatically determine the number of compute units that achieve balance for different applications. We propose to overcome this challenge by formulating and validating analytical performance models that enable identifying the point of balance based on key application characteristics. These models will enable us to investigate model-based approaches for automatically generating balanced application-specific accelerator instances and thereby discover novel accelerator architectures or novel accelerator generation algorithms.