RLHF

A receita comum tem três fases. Primeiro, um modelo pré-treinado recebe ajuste fino com exemplos de boas respostas escritas por pessoas. Depois, anotadores comparam várias respostas ao mesmo pedido e dizem qual é melhor; essas comparações treinam um modelo de recompensa que dá nota a qualquer resposta mais ou menos como um anotador típico daria. Por fim, o modelo de linguagem é otimizado por aprendizado por reforço para conseguir notas maiores, com uma penalidade que o impede de se afastar demais do ponto de partida. Variantes mais novas trocam a etapa de reforço, como a otimização direta de preferências, ou trocam os anotadores humanos por IA.

O que isso traz é muito: respostas legíveis, pertinentes, educadas e bem organizadas. O que custa também é real. Um modelo de recompensa aprende do que os anotadores gostaram, inclusive vícios como a bajulação, o tom seguro e o tamanho, e os modelos podem ficar bajuladores e dar razão à pessoa em vez de corrigi-la. A opinião dos anotadores varia com a cultura e com as instruções recebidas, e um guia de avaliação cauteloso gera modelos cautelosos, uma das razões pelas quais as recusas diferem tanto entre criadores.

O RLHF muda como um modelo se comporta mais do que aquilo que ele sabe. O conhecimento vem do pré-treinamento; a fase de feedback orienta o que, entre tudo o que o modelo sabe, ele diz e de que maneira. Como o processo é caro e em grande parte privado, quem está de fora geralmente vê só o resultado e o que cada criador publica sobre o seu método. Um efeito colateral conhecido é que modelos ajustados tendem a dar respostas mais longas, animadas e bem estruturadas, porque os anotadores costumavam gostar delas. Os pesquisadores também ficam atentos à manipulação da recompensa, quando o modelo acha atalhos que rendem pontos sem ser realmente melhor, por exemplo enrolando, elogiando ou imitando o estilo de uma boa resposta em vez do seu conteúdo.

O catálogo não publica como cada modelo foi ajustado, e o aplicativo não expõe o RLHF como uma configuração. Ele lista dados que você pode conferir: o provedor, o plano do modelo, se é privado ou anonimizado, o tamanho do contexto e se lê imagens ou raciocina. O Qwen 3.5 35B, por exemplo, é um modelo privado e gratuito da Alibaba que lê imagens e deixa você escolher se ele raciocina.

O que você pode observar é o resultado: com que facilidade um modelo concorda, ressalva ou recusa. Claude, GPT, Gemini e Grok são anonimizados e seus criadores aplicam as próprias regras; os modelos privados são modelos abertos, servidos por provedores escolhidos porque não guardam os pedidos. A página sobre o chat de IA sem censura descreve como o NeverNo responde com franqueza e guarda seu histórico no seu navegador.