Pilar 03 · IA Blog

Observabilidade de agentes: quem responde quando o agente erra sozinho

Um agente de IA aprova o reembolso errado às três da manhã. Ninguém vê — não existe log estruturado pra essa decisão, só a reclamação do cliente registrada dois dias depois, num canal que ninguém cruza com o comportamento do agente. Esse cenário não é hipótese de pior caso: é a média da indústria em 2026, quando a maioria dos agentes de IA em produção roda com visibilidade insuficiente sobre o que aconteceu, quando aconteceu e por quê.

A frota de agentes de IA em produção dobrou desde dezembro de 2025, segundo o State of AI Agent Security 2026, levantamento da Gravitee com mais de 900 executivos e profissionais técnicos. A cobertura de monitoramento não acompanhou o ritmo — ficou estagnada perto de 50% enquanto o número de agentes cresceu. Na prática, isso significa que a quantidade absoluta de agente sem monitoramento não caiu: aumentou, porque a velocidade de deploy superou a de instrumentação.

O sintoma: o agente erra e o primeiro sinal vem do cliente

O padrão se repete em quase toda operação que já teve um incidente real de agente: ninguém no time técnico viu o desvio antes dele virar problema visível. O primeiro sinal chega pelo canal errado — reclamação no suporte, print no grupo interno, pergunta do board depois de uma notícia. Quando alguém finalmente investiga, a pergunta básica ("o que o agente decidiu, e por quê, nessa interação específica") não tem resposta, porque a execução não deixou rastro.

Esse vácuo é diferente do problema clássico de monitoramento de sistema. Uptime de API, latência de banco, taxa de erro HTTP — isso a maioria das operações já mede bem. O que falta é visibilidade sobre a decisão do agente: qual ferramenta ele chamou, em que ordem, com que dado, e por que escolheu aquele caminho em vez de outro. Um agente pode ter uptime de 99,9% e, ao mesmo tempo, decidir errado em 15% das interações — os dois números vivem em painéis diferentes, e a maioria das empresas só olha o primeiro.

O custo desse vácuo não é só o incidente isolado — é a incapacidade de responder, com dado, à pergunta que todo executivo faz depois do primeiro erro visível: "isso já tinha acontecido antes, em escala menor?" Sem trace estruturado, a resposta é sempre reconstrução de memória, e isso não convence auditor, board nem cliente.

48% da frota roda sem monitoramento — e o gap está crescendo

O número central do levantamento da Gravitee é direto: a cobertura média de monitoramento de agentes de IA em produção é de 52%, o que deixa 48% da frota rodando sem instrumentação. Apenas 9,5% das organizações monitoram mais de 81% dos agentes que colocaram em produção — a maioria opera com um retalho de cobertura, vendo parte da frota e operando cega no resto.

O dado mais revelador não é o percentual isolado — é a tendência. A cobertura média praticamente não se moveu desde dezembro de 2025 (saiu de ~47% pros atuais 52%) no mesmo período em que a frota total de agentes dobrou. Isso confirma, com dado de mercado, o padrão que já registramos no diário de campo de 90 dias rodando 5 agentes em produção: coordenação e observabilidade quebram antes do modelo quebrar, e quando a empresa escala agente mais rápido do que escala instrumentação, o gap não fecha sozinho — ele se acumula.

Um agente sem observabilidade não sai mais barato — só esconde o custo até o incidente aparecer.

A pressão de accountability agrava o problema. O mesmo levantamento encontrou que apenas 7,2% das organizações têm uma pessoa formalmente responsável pelo comportamento de um agente específico — a maioria descreve a responsabilidade como pouco clara, compartilhada sem definição, ou simplesmente nunca discutida. Sem trace de execução, mesmo a empresa que nomeasse essa pessoa não teria com o que ela trabalhar: dono do agente sem instrumentação é título sem instrumento — a pessoa tem a autoridade formal e nenhum dado pra exercê-la a tempo.

O que é observabilidade de agente — e por que não é dashboard de uptime

Observabilidade de agente é a prática de instrumentar cada execução de um agente de IA de forma que seja possível reconstruir, depois do fato, o caminho de decisão completo: qual ferramenta foi chamada, em que ordem, com qual dado de entrada, onde o fluxo desviou ou escalou pra humano, e qual foi o resultado final. É diferente de monitoramento de infraestrutura clássico, que mede se o sistema está de pé; observabilidade de agente mede se a decisão que o sistema tomou fazia sentido.

O framework que vem se consolidando no mercado organiza a prática em quatro eixos complementares: tracing (registro estruturado do caminho de execução, hoje majoritariamente padronizado sobre OpenTelemetry), avaliação contínua (sinal de qualidade em produção, não só em teste isolado), custo (latência e gasto de inferência por interação, não por lote agregado) e governança (a política que define quem revisa o quê e com que frequência). Faltar qualquer um dos quatro deixa um ponto cego: trace sem avaliação mostra o que aconteceu mas não se estava certo; avaliação sem trace mostra a taxa de acerto mas não onde o erro nasceu.

Muita empresa confunde "temos ferramenta de observabilidade" com "instrumentamos o agente" quando na prática só ligou um painel de latência e erro HTTP — o mesmo que já usava pra qualquer API. Isso mede se o agente está de pé. Não mede se ele está certo.

Quatro sinais de que sua operação de agente observa de verdade

Poucas operações têm os quatro sinais abaixo simultaneamente — e é justamente a combinação, não um item isolado, que fecha o vácuo entre incidente e resposta.

  1. Trace completo por execução, não por lote. Cada chamada de ferramenta, decisão de roteamento e resultado intermediário fica registrado individualmente — não apenas o output final agregado num relatório semanal.
  2. Custo e latência por interação. Sem granularidade por conversa, ninguém isola qual interação específica estourou o orçamento de inferência ou travou — o mesmo problema que já aparece quando a empresa tenta cobrar consumo de IA internamente sem medir por quem usa.
  3. Sinal de qualidade contínuo, não só eval periódico. Eval set fixo pega regressão entre releases; amostragem de produção revisada por terceiro pega o drift que só aparece depois que o sistema já está no ar. Observabilidade sem esse segundo protocolo enxerga a execução, mas não sabe se ela estava certa.
  4. Alerta que chega numa pessoa nomeada, não num canal genérico. Desvio detectado às 3h que só aparece num dashboard que ninguém olha até segunda-feira não fechou o vácuo — só mudou o formato dele.

Sem instrumentação, o dono do agente decide no escuro

O cargo de dono do agente — presente em 56% das empresas que rodam IA em escala, segundo levantamento de mercado — resolve metade do problema: dá a um agente específico uma pessoa com nome, autoridade e orçamento pra responder por ele. Mas autoridade sem sinal não produz decisão melhor, produz decisão mais rápida no escuro. Um dono de agente sem trace de execução descobre o desvio do mesmo jeito que descobriria sem cargo nenhum: pelo incidente, não pela instrumentação.

Isso explica por que os dois números do levantamento da Gravitee andam juntos: 48% de frota sem monitoramento e 7,2% de empresa com responsável nomeado não são dois problemas separados — são a mesma lacuna vista de dois ângulos. Instrumentar sem nomear dono deixa o dado sem quem decida sobre ele; nomear dono sem instrumentar deixa a decisão sem dado pra apoiá-la. Os dois precisam existir juntos — e a maioria das empresas, hoje, não tem nenhum dos dois em cobertura relevante.

Sete em cada cem empresas sabem, hoje, quem responde quando o agente erra. As outras descobrem no incidente.

Fechar essa lacuna não é projeto de seis meses. É decisão de arquitetura tomada antes do próximo agente entrar em produção: instrumentar tracing, custo e avaliação contínua como parte do deploy — não como iniciativa separada que "a gente faz depois que o piloto provar valor". Depois que o piloto vira produção em escala, instrumentar fica mais caro e a lacuna já produziu o primeiro incidente sem explicação.

Perguntas que sempre voltam

Fechando, as dúvidas mais comuns sobre observabilidade de agentes de IA.

O que é observabilidade de agentes de IA?

Observabilidade de agentes de IA é a instrumentação que registra, de forma estruturada, cada decisão, chamada de ferramenta e resultado de um agente durante sua execução em produção — permitindo reconstruir depois do fato o que aconteceu, quando e por quê. Diferente de monitoramento de infraestrutura, que mede se o sistema está no ar, observabilidade de agente mede se a decisão que ele tomou fazia sentido. O framework consolidado no mercado organiza a prática em quatro eixos complementares: tracing da execução, avaliação contínua de qualidade, custo por interação e governança de quem revisa o quê.

Observabilidade substitui avaliação (evaluation) de agente?

Não — as duas resolvem perguntas diferentes e se complementam. Avaliação mede, em amostra, se a resposta do agente estava correta, tipicamente com eval set fixo rodado a cada release e amostragem periódica de produção revisada por um terceiro. Observabilidade captura o trace completo de toda execução, em tempo real, permitindo investigar uma interação específica depois que algo deu errado. Uma empresa que só avalia sabe a taxa de acerto agregada, mas não consegue reconstruir um incidente específico; uma que só instrumenta trace vê o que aconteceu, mas não sabe se estava certo sem o segundo processo de avaliação por cima.

Quem deveria ser o dono da observabilidade do agente?

A mesma pessoa que responde pelo agente — o dono do agente, quando esse cargo existe, ou quem acumula essa função informalmente. Observabilidade não deveria ser projeto isolado do time de plataforma, desconectado de quem tem autoridade pra pausar ou corrigir o agente: dado sem dono que decida sobre ele produz dashboard que ninguém olha, e dono sem dado decide sem instrumento. Empresa que separa as duas responsabilidades formalmente tende a repetir, em observabilidade, o mesmo vácuo que motivou a criação do cargo de dono do agente em primeiro lugar.

Continuar a conversa

Quer discutir esse tema com um sócio?

Diagnóstico inicial sem compromisso. Levamos uma primeira leitura do seu cenário em uma semana e devolvemos um relatório.

Conversar com um sócio