Cedana

概要

Cedana（YC S23）は、ハイパースケーラーや最先端AIラボ並みのオーケストレーション機能をAIワークフローに提供する。中核となるのはCPU・GPUワークロードのライブマイグレーションだ。コストを最大80%削減し、最初のトークンが返るまでの時間を2〜10倍短縮し、致命的なGPU障害が起きても学習ジョブの状態を保ったまま継続できる。K8sに統合済みで、分散学習ジョブ向けにKueueとSlurm、推論の提供向けにKserveをサポートしている。

OpenAI、Meta、Microsoftは社内で同様の機能を持っている。Cedanaはそれをすべての人に届ける。

目指すのは、クラウドの計算資源をリアルタイムに裁定取引されるコモディティに変えることだ。

https://www.cedana.ai

トピック