BentoLabs AI

Giới thiệu

BentoLabs là lớp giám sát và học hỏi cho các agent chạy dài hạn. Chúng tôi phát hiện khi agent âm thầm thất bại hoặc đi chệch khỏi mục tiêu của người dùng, system prompt hay hợp đồng công cụ, chỉ ra người dùng bị ảnh hưởng và nguyên nhân gốc rễ, rồi đề xuất cách sửa prompt, skill hoặc harness.

Khi ngày càng nhiều đội triển khai agent, giữ chúng ổn định trong môi trường production trở thành việc sống còn. Bento nằm ngay trong vòng lặp production và cho các đội đòn bẩy vận hành cần thiết để mở rộng hệ sinh thái agent mà không phải tăng người đi “chữa cháy” theo. Kết quả là một hệ thống biến những agent mù mờ thành agent có thể được giám sát, gỡ lỗi và cải thiện liên tục.

Các nhà sáng lập thấm thía vấn đề này tại Emergent (YC S24), nơi họ xây dựng và vận hành các coding agent production được hơn 5 triệu người dùng. Abhinav là nhân sự số 1, góp phần đưa Emergent lên #1 SWE-Bench và tăng từ 0 lên 100 triệu USD ARR chỉ trong 8 tháng. Kaushik là nhân sự số 2, dẫn dắt mảng kỹ thuật full-stack tại Emergent và đóng vai trò then chốt trong việc xây dựng hạ tầng giúp các agent production ổn định, quan sát được và gỡ lỗi được. Cỗ máy tự học của Bento cũng đã nâng kết quả ARC-AGI-3 (nội bộ) lên 2,6 lần và Terminal-Bench 2.0 (nội bộ) từ 42,2% lên 52,4% pass@1 với cùng mô hình, công cụ và ngân sách.

Chủ đề