Latent

Sobre

A Latent deteta respostas de LLM erradas ou sem fundamento antes de chegarem aos seus utilizadores. Em vez de pôr um segundo modelo a verificar cada resposta, lê o estado interno do próprio modelo enquanto este gera o texto, para que cada pedido seja verificado sem latência adicional, sem custos extra de inferência e sem que nada saia da sua implementação. As equipas que usam LLM em produção, nas finanças, no direito, na saúde e no apoio ao cliente, recebem uma fila de revisão com as respostas com maior probabilidade de estarem erradas, calibrada para o seu próprio modelo e tráfego, com uma explicação simples do motivo de cada sinalização.

Temas