Expanse

Giới thiệu

Expanse khai thác năng lực GPU đang bị lãng phí. Chúng tôi thu hồi tài nguyên tính toán nhàn rỗi nhờ ba khả năng: dự báo tài nguyên (định cỡ đúng các job trước khi chúng đến bộ lập lịch), gợi ý tối ưu (thay đổi code và cấu hình mà nhà nghiên cứu tự áp dụng được) và dự báo lỗi (bắt những job sẽ thất bại trước khi chúng ngốn hàng giờ GPU).

Chúng tôi là bốn kỹ sư từng vận hành tác vụ HPC và huấn luyện GPU tại các quỹ định lượng lớn nhất và các trung tâm siêu máy tính quốc gia. Chúng tôi đã trực tiếp đối mặt vấn đề này, và cách duy nhất khi đó là cấp dư tài nguyên rồi đốt hàng triệu USD. Ismaeel đã xây dựng bộ dự báo tài nguyên HPC đa phương thức đầu tiên trong công trình nghiên cứu tại EPCC (Trung tâm Điện toán Song song Edinburgh), vượt mọi baseline từng được công bố. Đây là công cụ mà chúng tôi từng ước có.

Chủ đề