Uma IA mais confiável, revisada por outra família de modelos.

O Debate tem dois modos e escolhe um para você: ele verifica os fatos na web quando a resposta os contém; senão, uma segunda IA relê a resposta sem a web. Na “Verificação de fatos”, o app extrai as afirmações da resposta, procura cada uma na web, dá um rótulo a cada uma e cita fontes clicáveis na versão final, sem nunca inventar uma fonte. Na “Revisão”, um modelo de outra família lê a resposta e a critica sem consultar a web. A Verificação de fatos entra quando a resposta contém fatos verificáveis (números, datas) numa pergunta factual, ou quando diz que não consegue confirmar algo; código e perguntas de opinião vão para a Revisão. Você também pode escolher o modo.

Medimos a Revisão em 20 perguntas que não dá para verificar. Antes da nossa iteração, a versão final inventava um fato em 10 das 20; depois, em 1 das 20, sem nenhuma fonte inventada. Uma em 20 não é nenhuma: por isso a Verificação de fatos vai à web assim que a resposta tem fatos a conferir, e por isso vale abrir as fontes.

“Pontos de vista” é uma aba premium para temas que dividem opiniões. Dois defensores de famílias diferentes defendem cada um uma posição com suas próprias fontes da web, e depois uma síntese reúne as duas. Custa cerca de 21 créditos por tema, em média, e é para assinantes. Diante de uma resposta equilibrada de um único modelo, um juiz preferiu Pontos de vista em 83% a 90% dos casos medidos (6 e depois 15 temas), e nas 4 armadilhas em que os fatos estão resolvidos, eles foram apresentados como resolvidos 4 vezes de 4.

Um modelo que relê a própria resposta não corrige mais nada: nós medimos. Os mesmos erros, as mesmas falhas, e o juiz só preferiu a versão relida em 15% das tarefas abertas. Um modelo que deixou algo passar na primeira vez tende a deixar passar de novo, provavelmente porque a lacuna vem de como ele foi treinado, e não de pressa.

Um crítico da mesma família não foi melhor, e às vezes foi pior. Ao revisar uma resposta do DeepSeek, um crítico DeepSeek levantou mais pontos, deu mais alarmes falsos e o código corrigido terminou com 46 erros plantados corrigidos de 49, contra 47 da resposta sozinha. Ele também deixou passar um enigma invertido em que a resposta tinha caído: modelos de uma mesma família compartilham os pontos cegos.

Um crítico de outra família percebeu esse enigma, refez uma contagem que a resposta tinha errado (155 em vez de 153) e achou os dois últimos erros do código. Por isso o app nunca deixa um modelo revisar a própria família: o crítico é escolhido no nosso servidor, e o navegador só envia a profundidade que você escolheu.

Um revisor que aprova tudo não serve para nada, e um que inventa problemas para parecer rigoroso é pior. Por isso o crítico trabalha com regras estritas: citar a linha ou a afirmação exata, explicar por que está errada com uma prova (um contraexemplo, um cálculo, o requisito que ela viola), propor a correção e ignorar o estilo. Se, depois de uma verificação de verdade, não achar nada sério, ele escreve isso e informa o que verificou.

No estudo, o crítico de outra família levantou cerca de dois pontos por revisão. No código, 17 dos 19 pontos que citavam uma função apontavam para um erro plantado de verdade. Em um terço dos casos, ele disse que não havia nada sério a relatar; a resposta então fica como estava e a etapa final é pulada.

O autor também não obedece às cegas. Ele tem a instrução de só aceitar um ponto depois de verificá-lo e de justificar cada recusa. Em 15 das 20 versões finais, pelo menos um ponto foi descartado com um motivo. Você vê as duas listas embaixo da versão final: o que mudou e os pontos descartados.

Também medimos uma troca mais longa: dois modelos que se respondem ponto a ponto por duas ou três rodadas, e depois uma síntese. Ela não foi melhor que a revisão única no código, errou uma pergunta a mais, o juiz só a preferiu em metade das tarefas abertas, custava o triplo e levava de duas a três vezes mais tempo.

Por isso o app faz uma única rodada, bem feita: um rascunho, um crítico de outra família e uma versão final corrigida. Quando o crítico não encontra nada, a troca para por aí, o que aconteceu em um terço dos casos de teste.

Os conselhos clássicos continuam valendo. Peça as fontes e abra-as. Refaça um cálculo por conta própria. Rode o código antes de confiar nele, de preferência com um teste que cubra os casos-limite: listas vazias, datas perto de um aniversário, valores que não são números. Reformule a pergunta para ver se a resposta se sustenta. E pergunte a outro modelo, porque dois modelos de famílias diferentes raramente cometem o mesmo erro.

O “Debate” automatiza essa última etapa e guarda um registro por escrito. Ele é mais útil onde um erro custa caro: um código que você vai publicar, um cálculo por trás de uma decisão, o resumo de um contrato, um plano com prós e contras, um e-mail importante. Para uma conversa curta ou uma questão de gosto, a resposta sozinha costuma bastar, e chega mais rápido.

Ele não substitui o seu julgamento. No modo Revisão, o crítico não consulta a web, e um ponto em que os dois modelos concordam ainda pode estar errado. O que ele traz é uma segunda leitura independente diante dos seus olhos, com as razões por escrito. Assim, procurar uma IA mais confiável deixa de ser um ato de fé numa marca e vira uma checagem que você pode ler.