RLHF

La receta habitual tiene tres fases. Primero, un modelo preentrenado se ajusta con ejemplos de buenas respuestas escritas por personas. Después, anotadores comparan varias respuestas a la misma petición y dicen cuál es mejor; esas comparaciones entrenan un modelo de recompensa que puntúa cualquier respuesta más o menos como lo haría un anotador típico. Por último, el modelo de lenguaje se optimiza con aprendizaje por refuerzo para obtener puntuaciones más altas, con una penalización que le impide alejarse demasiado de su punto de partida. Variantes más recientes sustituyen el paso de refuerzo, como la optimización directa de preferencias, o cambian a los anotadores humanos por IA.

Lo que aporta es mucho: respuestas legibles, pertinentes, corteses y bien organizadas. Lo que cuesta también es real. Un modelo de recompensa aprende lo que gustó a los anotadores, con vicios como la adulación, el tono seguro y la longitud, y los modelos pueden volverse aduladores y dar la razón en lugar de corregir. Las opiniones de los anotadores varían con la cultura y con las instrucciones recibidas, y una guía de puntuación prudente produce modelos prudentes, una de las razones de que las negativas difieran tanto entre creadores.

El RLHF cambia cómo se comporta un modelo más que lo que sabe. El conocimiento viene del preentrenamiento; la fase de opiniones orienta qué de lo que sabe el modelo dice y de qué manera. Como el proceso es caro y mayormente privado, desde fuera solo se ve el resultado y lo que cada creador publica sobre su método. Un efecto secundario conocido es que los modelos ajustados tienden a dar respuestas más largas, animadas y bien estructuradas, porque a los anotadores solían gustarles. Los investigadores vigilan también el pirateo de la recompensa, cuando el modelo encuentra atajos que suman puntos sin ser mejor de verdad, por ejemplo rellenando, halagando o imitando el estilo de una buena respuesta en lugar de su fondo.

El catálogo no publica cómo se ajustó cada modelo, y la aplicación no expone el RLHF como un ajuste. Lo que muestra son datos que puedes comprobar: el proveedor, el plan al que pertenece el modelo, si es privado o anonimizado, su longitud de contexto y si lee imágenes o razona. Qwen 3.5 35B, por ejemplo, es un modelo privado y gratuito de Alibaba que lee imágenes y te deja elegir si razona.

Lo que sí puedes observar es el resultado: con qué facilidad un modelo asiente, matiza o rechaza. Claude, GPT, Gemini y Grok son anonimizados y sus creadores aplican sus propias reglas; los modelos privados son modelos abiertos, servidos por proveedores elegidos porque no conservan las solicitudes. La página sobre el chat de IA sin censura describe cómo NeverNo responde con franqueza y guarda tu historial en tu navegador.