Accueil / Projets / Comparateur IA

Conseil et services aux entreprises · Veille IA · Application web

Comparateur IA : une application pour tester les modèles d’IA sur ses propres cas d’usage

Les classements publics disent quelle IA est la meilleure en général. Une entreprise a besoin de savoir laquelle répond le mieux à ses propres questions, à quel prix et en combien de temps.

Résultat
36 heures

de la demande à l’application en ligne

Série réelle
12 modèles

42 tests, 3 répétitions, 19,85 $

Technologies
Claude Code

React, Node.js, MariaDB, Hostinger

Typologie
Application

web, sur invitation, code public

Le point de départ

Chaque semaine, de nouveaux modèles d’IA sortent. Le 7 novembre 2026, le tableau de bord de l’application en signalait vingt-neuf à tester. Les classements publics les comparent sur des épreuves génériques, qui disent peu de chose de ce qu’ils donnent sur un vrai travail d’entreprise.

Je voulais un outil simple à formuler : créer des tests, les faire passer à plusieurs IA, puis obtenir une note et un classement, sur la qualité des réponses, la vitesse et le coût. De quoi choisir le bon modèle pour chaque usage, et pouvoir le montrer.

Ce que j'ai mis en place

J’ai conçu l’application avec Claude Code. D’abord une spécification en quatre parties, validées une à une, et des maquettes, dont le thème « Nuit » que j’ai retenu. Ensuite cinq plans de réalisation, soit soixante et une tâches : pour chacune, un agent écrit le code et un autre le relit. L’application était en ligne trente-six heures après ma première demande.

Un test réunit une consigne, des pièces jointes éventuelles (images, PDF) et une façon de noter, au choix :

  • Juge IA : un modèle note chaque réponse et justifie sa note. C’est la méthode la plus rapide.
  • Réponse attendue : la réponse doit être exactement un texte donné, contenir un texte donné, ou respecter une expression régulière.
  • Notation manuelle : un relecteur évalue la réponse et la note, à l’aveugle, sans le nom du modèle.

Une série envoie les mêmes tests à plusieurs modèles, plusieurs fois, avec le coût estimé avant le lancement et un plafond de dépense.

Les modèles sont appelés en direct chez Anthropic, OpenAI, Google, Mistral et DeepSeek, ou par des agrégateurs comme OpenRouter. Les résultats se lisent en 3D et en graphiques : une constellation où la taille de chaque astre suit la qualité, un podium dont on règle soi-même le poids de chaque critère, une carte de chaleur par catégorie et les réponses côte à côte.

L’application tourne sur Hostinger, avec React, Node.js et MariaDB. Elle est couverte par plus de 1 200 tests automatisés, et une revue de sécurité a corrigé une faille sur la protection des clés API. Le code est public sur GitHub.

Ce que l’application permet aujourd’hui

Quand un modèle sort, je l’ajoute à une série existante, sans tout relancer. Une page de partage publique présente un classement sans compte, avec des verdicts comme « meilleur compromis », « meilleure qualité » ou « le moins cher ». Le choix d’un modèle repose alors sur des tests, et non plus sur une réputation.

Projet
Comparateur IA
Domaine
Veille sur les modèles d’IA
Périmètre
Des tests au classement
Intervention
Développement
Point de vérité
Les réponses notées
Accès
Sur invitation
Technologies
  • Logo Claude Code - eksplodo.frClaude Code
  • Logo React - eksplodo.frReact
  • Logo Node.js - eksplodo.frNode.js
  • Logo MariaDB - eksplodo.frMariaDB
  • Logo OpenRouter - eksplodo.frOpenRouter
  • Logo GitHub - eksplodo.frGitHub
La logique

Les mêmes tests, plusieurs IA, un classement

Chaque modèle reçoit exactement les mêmes questions, plusieurs fois. Les écarts deviennent visibles, y compris d’une réponse à l’autre chez un même modèle.

Ce qui déclenche

Une batterie de tests et une liste de modèles

Des tests qui ressemblent aux usages réels : code, logique, rédaction, extraction, vision. Le coût est estimé avant le lancement.

  • Logo Claude Code - eksplodo.frClaude Code
  • PromptPrompt
Ce qui se passe seul

Les modèles répondent, les réponses sont notées

Chaque test part vers chaque modèle, plusieurs fois. La note vient d’une réponse attendue, d’un juge IA ou d’une notation à l’aveugle.

  • Logo OpenRouter - eksplodo.frOpenRouter
  • Logo Claude - eksplodo.frClaude
Ce qui en sort

Un classement que l’on pondère soi-même

Podium, constellation en 3D, carte de chaleur par catégorie et réponses côte à côte. Les curseurs qualité, vitesse, coût et fiabilité recalculent le classement.

  • Logo React - eksplodo.frReact
  • Logo MariaDB - eksplodo.frMariaDB
Ce qui reste humain

Choisir les tests et le poids de chaque critère. Le meilleur modèle n’est pas le même selon que l’on cherche la qualité seule ou la qualité au meilleur prix.

Animation 3D du Comparateur IA, une requête envoyée aux modèles d’IA puis au juge IA - eksplodo.fr
Fig. 1. Le principe en 3D : la même requête part vers chaque fournisseur d’IA, puis chaque réponse passe devant le juge IA.
En images

La constellation, le podium et les résultats en détail

La création d’un test, puis les captures d’une série réelle : 42 tests, 12 modèles et 3 répétitions, notés par Claude Opus 5.5 comme juge.

Création d’un test et choix de la notation dans le Comparateur IA - eksplodo.fr
Fig. 2. La création d’un test : la consigne, les paramètres et la notation, ici une réponse attendue, en texte exact, en texte contenu ou en expression régulière.
Constellation 3D des modèles d’IA comparés dans le Comparateur IA - eksplodo.fr
Fig. 3. La constellation des modèles : la taille de chaque astre suit la qualité, la distance au centre suit le débit.
Podium et pondération des critères dans le Comparateur IA - eksplodo.fr
Fig. 4. Le podium se recalcule dès qu’on change le poids de la qualité, de la vitesse, du coût ou de la fiabilité.
Carte de chaleur des notes de 12 modèles d’IA par catégorie de test - eksplodo.fr
Fig. 5. La note moyenne de chaque modèle, sur 100, dans chaque catégorie de test.
Graphique qualité et vitesse des modèles d’IA dans le Comparateur IA - eksplodo.fr
Fig. 6. Qualité et vitesse : la zone en haut à droite réunit les modèles à la fois bons et rapides.
Trois réponses du même modèle d’IA à la même énigme, comparées côte à côte - eksplodo.fr
Fig. 7. Trois réponses du même modèle à la même énigme : deux sont notées 0, car elles ajoutent une explication alors que la consigne demandait seulement le nombre.
Nouveaux modèles d’IA détectés sur OpenRouter par le Comparateur IA - eksplodo.fr
Fig. 8. Les nouveaux modèles publiés sur OpenRouter, signalés chaque jour.
La mesure

Ce que l’application change dans le choix d’un modèle

IndicateurSans l’applicationAvec
Comparer des modèlesau ressenti, une question à la fois42 tests, 12 modèles, 3 répétitions
Coût d’une comparaisoninconnu19,85 $ pour 1 512 réponses, juge compris
Variabilité d’un modèleinvisiblechaque test répété, écarts affichés
Nouveau modèletout retester à la mainajouté à une série existante
Présentation à un clientcaptures et tableauxpage de partage publique

Autres projets

Le même travail vous coûte combien d'heures ?

Un audit gratuit de 30 minutes suffit à repérer les deux ou trois processus qui vous coûtent le plus de temps perdu, et à savoir lesquels s’automatisent.