Comparer deux assistants IA sur une même tâche : une méthode pour choisir
Comparer deux assistants IA devient utile quand l’exercice part d’un besoin précis. Préparer une synthèse, extraire des informations d’un dossier ou rédiger une réponse client : chaque usage mérite ses propres critères. Voici un protocole proposé par Challenge Impact News pour conduire cette comparaison. Les pondérations et seuils ci-dessous sont des choix de méthode à adapter. Aucun classement ni résultat expérimental n’est revendiqué.
Partir d’une tâche que l’on sait vérifier
Choisissez une activité régulière et un résultat attendu facile à contrôler. Pour un premier essai, prenez un rapport public de quelques pages et demandez une note de décision de 300 mots. Le livrable doit présenter cinq faits, trois points de vigilance et les passages qui justifient chaque information. Préparez vous-même une feuille de référence avant de consulter les réponses des assistants.
Votre feuille réunit les faits attendus, leurs sources et les erreurs qui rendraient la note inutilisable. Ajoutez une question dont la réponse manque dans le dossier. Vous pourrez ainsi observer comment chaque outil exprime l’incertitude. Utilisez des documents publics, fictifs ou autorisés pour cet essai.
Fixer des conditions comparables
Donnez aux deux assistants le même fichier et la même consigne, dans une nouvelle conversation. Notez la date, le nom du produit, le modèle affiché lorsqu’il est accessible, l’abonnement et les fonctions activées. Consignez aussi les réglages de mémoire, de personnalisation et de recherche sur le Web lorsqu’ils sont disponibles. Ces éléments définissent ce que vous comparez réellement.
Si l’un des outils dispose d’une fonction absente de l’autre, choisissez votre question avant le test. Pour comparer leurs réponses dans un cadre commun, limitez les fonctions à celles que les deux proposent. Pour comparer les produits tels que votre équipe les utiliserait, gardez leurs fonctions respectives et documentez cette différence. Le compte rendu doit permettre de comprendre ce choix.
Une consigne prête à adapter
« À partir du document joint, prépare une note de décision de 300 mots maximum. Présente cinq faits utiles, puis trois points de vigilance. Pour chaque fait, indique la page ou le passage qui l’étaye. Distingue les informations explicites de tes interprétations. Signale les informations manquantes. Termine par les questions à poser avant de décider. Utilise uniquement le document fourni. »
Conservez cette consigne identique pour les deux outils. Une seconde phase peut évaluer leur réponse à une clarification, à condition d’appliquer une règle commune : par exemple, une seule relance demandant de corriger les références. Gardez séparées les notes du premier résultat et celles du résultat corrigé.
Construire une grille avant de lire les réponses
Pour cette tâche documentaire, nous proposons cinq critères notés de zéro à quatre. L’exactitude des faits compte pour 40 % ; la traçabilité des références, 25 % ; le respect de la consigne, 15 % ; la gestion des informations manquantes, 10 % ; la clarté du livrable, 10 %. Ces poids sont une proposition éditoriale, à ajuster selon votre activité avant de lancer le test.
Définissez des repères communs : zéro signifie inutilisable ; un, des corrections majeures ; deux, plusieurs corrections nécessaires ; trois, quelques corrections mineures ; quatre, conforme aux attentes définies. Pour chaque note, conservez un exemple précis. Le score sur 100 se calcule en divisant chaque note par quatre, puis en la multipliant par son poids exprimé en points.
Prévoyez également un critère bloquant indépendant de la moyenne : par exemple, une donnée inventée qui modifierait la décision ou une référence inexistante présentée comme preuve. Une rédaction élégante ne compense pas cet échec. Faites relire les réponses sous les étiquettes A et B, si possible par une personne qui ignore leur origine, afin de limiter l’influence de la marque.
Répéter et mesurer le travail complet
Pour une première exploration, utilisez cinq dossiers différents et réalisez trois essais indépendants par dossier et par assistant. Ce volume reste modeste : il sert à repérer des problèmes et à préparer un pilote, pas à établir une supériorité générale. Conservez toutes les réponses, y compris les échecs, et relevez les écarts entre essais.
Mesurez le temps total jusqu’à une version utilisable : préparation, importation, attente, lecture, vérification et corrections. Comparez ce temps à celui de votre méthode habituelle sur des tâches de difficulté comparable. Si la même personne traite plusieurs fois le même dossier, son apprentissage peut influencer la mesure ; alternez l’ordre des outils et signalez cette limite.
Ajoutez les dépenses réellement observées et le nombre de livrables acceptés. Évaluez séparément les conditions d’accès de l’équipe, les règles internes sur les données et la facilité d’intégration au travail quotidien. La qualité d’une réponse et l’adéquation d’un produit à l’organisation sont deux dimensions complémentaires.
Choisir pour un usage précis
Rassemblez les notes, les erreurs bloquantes et les temps de correction dans un compte rendu daté. Une conclusion utile précise le type de document, les conditions d’essai et les limites rencontrées. Si les résultats sont proches ou irréguliers, élargissez l’échantillon avant de décider. Un changement de modèle, de réglage ou de tâche justifie une nouvelle vérification.
Commencez ensuite par un pilote limité avec une personne responsable de la validation. Le choix porte sur un usage et un niveau de contrôle, plutôt que sur une promesse générale de performance. L’objectif est de savoir quel assistant produit un travail exploitable dans votre contexte, et quel effort reste nécessaire pour le valider.
Repères méthodologiques
La documentation d’Anthropic recommande de définir des critères mesurables et des évaluations adaptées au besoin. Les travaux du NIST sur les scénarios d’usage soulignent l’intérêt de situations réalistes et testables. Le protocole, les poids et le volume d’essais proposés dans cet article relèvent de notre rédaction ; ils ne constituent pas une norme ni une certification.
Comprendre l’innovation. Mesurer son impact. Agir avec discernement.
Challenge Impact News décrypte les évolutions de l’intelligence artificielle et des nouvelles technologies, ainsi que leurs conséquences concrètes sur les entreprises, les métiers et notre société.
Sous la direction éditoriale de Cyril Darmon
Fondateur d’UMANIA, consultant, formateur et conférencier spécialisé en intelligence artificielle et en transformation des entreprises.
UMANIA — L’IA au cœur de l’humain. Un partenaire éditorial à l’origine de Challenge Impact News.
Commentaires