BentoLabs AI

О компании

BentoLabs — слой мониторинга и обучения для долго работающих агентов. Мы обнаруживаем, когда агенты незаметно ломаются или отклоняются от цели пользователя, системного промпта или контрактов инструментов, показываем затронутых пользователей и первопричину и предлагаем исправление промпта, навыка или обвязки.

Чем больше команд запускают агентов, тем критичнее становится их надёжность в продакшене. Bento встраивается прямо в продакшен-цикл и даёт командам операционный рычаг, чтобы масштабировать экосистемы агентов, не масштабируя вместе с ними ручное тушение пожаров. В результате непрозрачные агенты превращаются в агентов, которых можно постоянно отслеживать, отлаживать и улучшать.

Основатели столкнулись с этой проблемой в Emergent (YC S24), где создавали и эксплуатировали продакшен-агентов для написания кода, которыми пользуются более 5 млн человек. Абхинав был сотрудником № 1 и помог Emergent занять первое место в SWE-Bench и вырасти с нуля до 100 млн долларов ARR всего за 8 месяцев. Каушик был сотрудником № 2, руководил full-stack-разработкой в Emergent и сыграл ключевую роль в создании инфраструктуры, благодаря которой продакшен-агенты стали надёжными, наблюдаемыми и отлаживаемыми. Самообучающийся движок Bento также повысил результат на ARC-AGI-3 (внутренний замер) в 2,6 раза, а на Terminal-Bench 2.0 (внутренний замер) — с 42,2% до 52,4% pass@1 с той же моделью, инструментами и бюджетом.

Темы