BentoLabs AI

概要

BentoLabsは、長時間稼働するエージェントのための監視・学習レイヤーだ。エージェントが黙って失敗したり、ユーザーの目的、システムプロンプト、ツールの契約からずれていったりするのを検知し、影響を受けたユーザーと根本原因を示し、プロンプト、スキル、ハーネスの修正案を提示する。

エージェントを導入するチームが増えるにつれ、本番環境で信頼性を保つことはミッションクリティカルになる。Bentoは本番のループの中に直接入り込み、人間による火消しを同じだけ増やすことなくエージェント群を拡大するのに必要な運用上のてこを、チームに与える。その結果、中身の見えないエージェントが、継続的に監視、デバッグ、改善できるエージェントに変わる。

創業者たちはこの問題を、Emergent（YC S24）で知った。そこで彼らは、500万人以上のユーザーが使う本番のコーディングエージェントを構築し運用していた。Abhinavは1人目の社員として、EmergentがSWE-Benchで1位を獲得し、わずか8カ月でARRを0ドルから1億ドルへと伸ばすのに貢献した。Kaushikは2人目の社員としてEmergentのフルスタックエンジニアリングを率い、本番のエージェントを信頼でき、観測でき、デバッグできるものにするインフラの構築で中心的な役割を果たした。Bentoの自己学習エンジンは、同じモデル、ツール、予算のままで、ARC-AGI-3（社内）のスコアを2.6倍に、Terminal-Bench 2.0（社内）のpass@1を42.2%から52.4%に引き上げている。

トピック