.Wave
اسٹریمنگ AI ماڈلز کے لیے مسلسل انفرنس
تعارف
.Wave اسٹریمنگ AI ماڈلز کے لیے مسلسل انفرنس انجن بناتی ہے، جن میں فل ڈوپلیکس وائس اور اسٹریمنگ اسپیچ ریکگنیشن شامل ہیں۔
گاہک اپنے ماڈلز لاتے ہیں؛ ہم انہیں جوڑ کر چلاتے ہیں، اور ایگزیکیوشن، سیشن اسٹیٹ اور شیڈولنگ سنبھالتے ہیں تاکہ ہر لائیو سیشن میں شروع سے آخر تک لیٹنسی اور سرونگ کی لاگت کم ہو۔
ہم cadenced inference استعمال کرتے ہیں تاکہ فی GPU زیادہ ہم وقت سیشنز چل سکیں اور لیٹنسی کم اور یکساں رہے۔
موضوعات
- ٹیم کا حجم
- ملازمین: 2
- YC بیچ
- Winter 2025
- حیثیت
- فعال
- مرحلہ
- ابتدائی مرحلہ
