Latent

概要

Latentは、LLMの誤った回答や根拠のない回答を、ユーザーに届く前に見つけ出す。出力ごとに2つ目のモデルを走らせて確認するのではなく、生成中のモデル自身の内部状態を読み取る。そのため、レイテンシーの増加も追加の推論コストもなく、データを自社環境の外に出すこともなく、すべてのリクエストを検証できる。金融、法務、医療、カスタマーサポートの分野で本番環境にLLMを導入しているチームは、誤っている可能性が最も高い回答をまとめたレビューキューを受け取れる。キューは各社のモデルとトラフィックに合わせて調整されており、それぞれの回答がフラグを立てられた理由もわかりやすく説明される。

トピック