Cedana

Giới thiệu

Cedana (YC S23) mang khả năng điều phối của các hyperscaler và phòng lab AI tiên phong đến với quy trình AI. Năng lực cốt lõi là live migration cho tác vụ CPU và GPU. Nhờ đó tiết kiệm chi phí tới 80%, rút ngắn thời gian ra token đầu tiên 2–10 lần và giữ được trạng thái của các job huấn luyện ngay cả khi GPU gặp sự cố nghiêm trọng. Giải pháp đã được tích hợp vào K8s, hỗ trợ Kueue và Slurm cho huấn luyện phân tán, cùng Kserve để phục vụ inference.

OpenAI, Meta và Microsoft đều có những năng lực tương tự trong nội bộ, và chúng tôi mang chúng đến cho tất cả mọi người.

Tầm nhìn của chúng tôi là biến năng lực tính toán đám mây thành hàng hóa giao dịch theo thời gian thực, có thể kinh doanh chênh lệch giá.

https://www.cedana.ai

Chủ đề