Expanse

Over het bedrijf

Expanse maakt verspilde GPU-capaciteit vrij. We winnen ongebruikte rekenkracht terug met drie functies: resourcevoorspelling (jobs op de juiste maat brengen voordat ze bij de scheduler aankomen), optimalisatiesuggesties (code- en configuratiewijzigingen die onderzoekers zelf kunnen doorvoeren) en foutvoorspelling (jobs onderscheppen die gaan mislukken voordat ze uren GPU-tijd opslokken).

We zijn vier engineers. We draaiden HPC- en GPU-trainingsworkloads bij de grootste quantfondsen en nationale supercomputercentra. We liepen zelf tegen dit probleem aan, en de enige oplossing was overprovisioning en miljoenen verbranden. Ismaeel bouwde als onderzoek bij EPCC (het Edinburgh Parallel Computing Centre) de eerste multimodale HPC-resourcevoorspeller, die elke gepubliceerde baseline versloeg. Dit is de tool die we zelf hadden willen hebben.

Onderwerpen