Mélange d’experts
Un modèle à mélange d’experts est un réseau de neurones découpé en nombreux sous-réseaux spécialisés appelés experts, avec un routeur qui n’envoie chaque jeton qu’à quelques-uns d’entre eux. Comme seule une partie du modèle travaille sur chaque jeton, il peut être très grand au total tout en coûtant moins cher à exécuter qu’un modèle dense de même taille.
Mis à jour le 8 novembre 2026
Lisible sur tes appareils seulement.
Ta discussion s’affiche en clair sur ton appareil, et sur tes autres appareils si tu les synchronises. Nulle part ailleurs.
Illisible chez nous.
Ton message passe sans être écrit ; tes discussions n’y restent que chiffrées.
Le modèle ignore qui tu es.
Il reçoit la question, jamais ton e-mail, ton compte ni ton adresse IP.
Rien ne reste en route.
La réponse revient et se range ici, chiffrée ; même synchronisée, ta clé ne nous parvient jamais en clair.
Comment ça marche
Dans un modèle dense, chaque poids intervient pour chaque jeton. Dans un modèle à mélange d’experts, les blocs de propagation avant sont remplacés par un ensemble d’experts, des dizaines ou des centaines, et un petit routeur appris en choisit quelques-uns pour chaque jeton à chaque couche. Les experts ne deviennent pas de gentils spécialistes comme un juriste ou un chimiste ; ils tendent à se spécialiser sur des motifs de jetons, et le routeur apprend cette répartition pendant l’entraînement. Les tailles publiées sont donc données deux fois : les paramètres totaux, et les paramètres actifs utilisés par jeton.
L’avantage est une qualité proche de celle d’un modèle dense bien plus grand, pour une fraction du calcul par jeton : la génération peut être rapide et peu coûteuse. Les coûts sont réels aussi. Tous les experts doivent rester en mémoire, donc la mémoire nécessaire suit le nombre total, pas le nombre actif. Le routage doit rester équilibré pour que certains experts ne soient pas surchargés pendant que d’autres chôment, et l’entraînement comme le service sont plus complexes. Le réglage fin peut aussi être plus délicat, et la quantification accompagne souvent ces modèles pour qu’ils tiennent en mémoire.
Ne lis pas un chiffre comme 35B ou 400B comme la quantité de calcul qu’exige une réponse. Pour un modèle à mélange d’experts, demande les deux nombres : les paramètres actifs renseignent sur la vitesse et le coût, les paramètres totaux sur la capacité de connaissances et la mémoire. De nombreux modèles ouverts récents et certains modèles fermés sont construits ainsi, même si les concepteurs ne le disent pas toujours. Les ingénieurs parlent aussi de pertes d’équilibrage de charge, de limites de capacité et d’experts partagés que traverse chaque jeton, autant de mécanismes qui servent à garder le routage stable. Dans un modèle ouvert, ces choix de conception sont écrits dans le rapport technique et le fichier de configuration, qui indiquent le nombre d’experts, combien sont choisis par jeton et la taille de chacun.
Dans NeverNo
Le catalogue de NeverNo n’indique pas quels modèles sont des mélanges d’experts : consulte la documentation du concepteur pour un modèle donné. Ce que le catalogue indique est pratique : le fournisseur, l’offre, si le modèle est privé ou anonymisé, sa longueur de contexte et s’il lit les images ou raisonne.
Les modèles privés viennent de familles à poids ouverts comme DeepSeek, GLM, Qwen et Mistral. Qwen 3.5 35B est un modèle gratuit d’Alibaba, avec 128 000 jetons de contexte, qui lit les images et te laisse choisir s’il raisonne. Privé signifie qu’il est servi par des fournisseurs choisis parce qu’ils ne conservent pas les requêtes, et la page de transparence précise que NeverNo ne peut pas inspecter leurs serveurs.
À retenir
Un routeur n’active que quelques experts par jeton : le calcul par jeton est inférieur à ce que la taille totale laisse croire.
La mémoire suit toujours les paramètres totaux, puisque tous les experts doivent être chargés.
Les experts se spécialisent sur des motifs de jetons, pas sur de belles matières scolaires.
Lis les deux nombres, total et actif, quand tu compares des modèles.
La configuration ou le rapport technique d’un modèle indique le nombre d’experts et combien sont retenus par jeton.
Questions fréquentes
Un mélange d’experts, ce sont plusieurs modèles ?
Non. C’est un seul réseau entraîné d’un bloc : les experts sont des parties internes de ses couches, et le routeur est entraîné avec eux. Tu envoies une requête à un modèle et tu reçois une réponse. Pense à un hôpital aux nombreux services : un patient ne passe que par ceux dont il a besoin, mais tout le bâtiment doit rester ouvert et pourvu en personnel.
Pourquoi certains modèles indiquent-ils des paramètres totaux et actifs ?
Le total montre la taille en mémoire et la capacité du modèle, tandis que le nombre actif indique combien de poids travaillent sur chaque jeton, ce qui fixe la vitesse et le coût. Les deux comptent pour une comparaison honnête. Citer les deux chiffres garde les classements honnêtes, car un modèle annoncé par sa taille totale peut tourner aussi légèrement qu’un modèle dense bien plus petit.
Est-ce meilleur qu’un modèle dense ?
Cela dépend. On obtient souvent une meilleure qualité par unité de calcul, mais il faut plus de mémoire et l’exécution est plus difficile. Les modèles denses sont plus simples et peuvent être le meilleur choix en petite taille. Seul un essai sur tes propres tâches tranche.
Pose ta première question
Sans compte ni carte. Écris dans l’une des 10 langues que parle NeverNo.
Ouvrir le chat