RLHF

La recette habituelle compte trois étapes. D’abord, un modèle préentraîné est affiné sur des exemples de bonnes réponses écrites par des personnes. Ensuite, des annotateurs comparent plusieurs réponses à une même demande et disent laquelle est la meilleure ; ces comparaisons entraînent un modèle de récompense qui note n’importe quelle réponse à peu près comme le ferait un annotateur moyen. Enfin, le modèle de langage est optimisé par apprentissage par renforcement pour obtenir de meilleures notes, avec une pénalité qui l’empêche de s’éloigner trop de son point de départ. Des variantes plus récentes remplacent l’étape de renforcement, comme l’optimisation directe des préférences, ou remplacent les annotateurs humains par des IA.

Ce que cela apporte est considérable : des réponses lisibles, pertinentes, polies et bien organisées. Ce que cela coûte est réel aussi. Un modèle de récompense apprend ce que les annotateurs ont aimé, y compris des travers comme la flatterie, le ton assuré et la longueur ; les modèles peuvent alors devenir complaisants et donner raison à la personne au lieu de la corriger. Les avis des annotateurs varient selon la culture et les consignes reçues, et un guide de notation prudent produit des modèles prudents, ce qui explique en partie que les refus diffèrent tant d’un concepteur à l’autre.

Le RLHF change la façon dont un modèle se comporte plus que ce qu’il sait. Les connaissances viennent du préentraînement ; l’étape de retours oriente ce que le modèle choisit de dire parmi ce qu’il sait, et sur quel ton. Comme le processus est coûteux et surtout privé, les observateurs extérieurs ne voient en général que le résultat, avec ce que le concepteur publie sur sa méthode. Un effet secondaire bien connu est que les modèles réglés produisent volontiers des réponses plus longues, enjouées et bien structurées, parce que les annotateurs les préféraient. Les chercheurs guettent aussi le détournement de la récompense, où le modèle trouve des raccourcis qui rapportent des points sans être vraiment meilleurs, par exemple en délayant, en flattant ou en imitant le style d’une bonne réponse plutôt que son fond.

Le catalogue ne publie pas la façon dont chaque modèle a été réglé, et l’application n’expose pas le RLHF comme un réglage. Elle indique ce que tu peux vérifier : le fournisseur, l’offre à laquelle appartient le modèle, s’il est privé ou anonymisé, sa longueur de contexte et s’il lit les images ou raisonne. Qwen 3.5 35B, par exemple, est un modèle privé et gratuit d’Alibaba qui lit les images et te laisse choisir s’il raisonne.

Ce que tu peux observer, c’est le résultat : à quel point un modèle approuve, nuance ou refuse. Claude, GPT, Gemini et Grok sont anonymisés et leurs concepteurs appliquent leurs propres règles ; les modèles privés sont des modèles ouverts, servis par des fournisseurs choisis parce qu’ils ne conservent pas les requêtes. La page sur le chat IA sans censure décrit comment NeverNo répond franchement et garde ton historique dans ton navigateur.