Cedana

אודות

Cedana ‏(YC S23) מביאה לתהליכי עבודה של AI את יכולות האורקסטרציה של ההייפרסקיילרים ושל מעבדות החזית. יכולת הליבה שלנו היא הגירה חיה של עומסי עבודה על CPU ו-GPU. זה מגדיל את החיסכון בעלויות עד 80%, מאיץ את הזמן עד הטוקן הראשון פי 2–10, ומאפשר אמינות עם שמירת מצב לג׳ובים של אימון, גם כשה-GPU קורס באופן קטסטרופלי. שילבנו את הפתרון ב-K8s, ואנחנו תומכים ב-Kueue וב-Slurm לג׳ובים מבוזרים של אימון וב-Kserve להגשת אינפרנס.

ל-OpenAI, ל-Meta ול-Microsoft יש גרסאות פנימיות של היכולות האלה, ואנחנו מביאים אותן לכולם.

החזון שלנו הוא להפוך את מחשוב הענן לסחורה שנסחרת בזמן אמת ובארביטראז׳.

https://www.cedana.ai

נושאים