Expanse

Informazioni

Expanse recupera la capacità GPU sprecata. Rimettiamo in uso il calcolo inattivo grazie a tre funzioni: previsione delle risorse (dimensionare correttamente i job prima che arrivino allo scheduler), suggerimenti di ottimizzazione (modifiche al codice e alla configurazione che i ricercatori possono applicare da soli) e previsione dei fallimenti (intercettare i job destinati a fallire prima che consumino ore di GPU).

Siamo quattro ingegneri. Abbiamo gestito carichi HPC e di addestramento su GPU nei più grandi fondi quantitativi e nei centri nazionali di supercalcolo. Abbiamo vissuto il problema in prima persona e l'unica soluzione era sovradimensionare e bruciare milioni. Ismaeel ha realizzato il primo predittore multimodale di risorse HPC come progetto di ricerca all'EPCC (l'Edinburgh Parallel Computing Centre), battendo tutte le baseline pubblicate. È lo strumento che avremmo voluto avere.

Temi