Un panorama utile des outils IA pour marchés publics ne doit pas classer des produits à partir de slogans. Il doit expliquer comment comparer leurs résultats sur les tâches de votre équipe. Ce guide décrit un protocole : il ne prétend pas qu'un benchmark de tous les fournisseurs a été réalisé.
Comparer des tâches, pas des écrans
Choisissez trois tâches représentatives : retrouver une exigence avec sa source, préparer une liste de points à contrôler et produire un brouillon à partir de preuves autorisées. Précisez le livrable attendu avant de voir les résultats. Une interface agréable et une réponse fluide ne prouvent pas l'exactitude documentaire.
Ne confondez pas un assistant généraliste, un moteur de recherche et un espace de préparation de candidature. Ils peuvent intervenir dans le même parcours sans fournir le même service ni les mêmes possibilités de contrôle.
Préparer un corpus autorisé
Utilisez des dossiers que vous êtes autorisé à traiter et dont vous connaissez les réponses attendues. Incluez un document propre, une annexe difficile et une mise à jour. Ne transmettez pas des informations confidentielles à un service avant d'avoir vérifié les conditions d'utilisation et le traitement des données.
Construisez un corrigé indépendant avec les pages utiles. Ajoutez au moins une question dont la réponse est absente : un outil fiable doit signaler ce manque au lieu d'inventer une obligation ou une capacité.
Noter les résultats de façon reproductible
| Critère | Observation attendue |
|---|---|
| Exactitude | Réponse conforme au document |
| Traçabilité | Source retrouvable et pertinente |
| Incertitude | Absence ou ambiguïté signalée |
| Mise à jour | Ancienne version distinguée de la nouvelle |
| Utilisabilité | Résultat exploitable après contrôle |
| Temps complet | Préparation, usage et corrections inclus |
Répétez les cas importants. Conservez date, version de l'offre testée, consignes et résultats. Si l'accès ou les options diffèrent, notez-le : une différence peut venir du périmètre souscrit plutôt que de la technologie.
Vérifier les conditions d'exploitation
Demandez les modalités d'accès, de suppression, d'export, de support et de gestion des utilisateurs. Examinez les engagements documentés, pas une réponse commerciale informelle. Vérifiez aussi ce qui se passe quand une pièce n'est pas lisible ou qu'un traitement échoue.
Le coût doit inclure abonnement, consommation éventuelle, formation et temps de contrôle. Une sortie rapide mais difficile à corriger peut coûter plus cher qu'une sortie plus sobre et mieux sourcée.
Écrire un cas de test qui peut réellement échouer
Exemple illustratif : le dossier contient une date dans l'avis initial et une autre dans un document de modification. Le corrigé doit identifier les deux documents, expliquer leur relation et indiquer le point à confirmer si leur portée est ambiguë. Le test échoue si l'outil restitue seulement la première date rencontrée avec assurance.
Un deuxième cas peut demander une référence d'entreprise qui n'a jamais été fournie. La bonne sortie ne consiste pas à compléter une phrase plausible : elle doit signaler la preuve manquante. Notez séparément les réponses exactes, les réponses incomplètes et les erreurs qui auraient modifié une décision de candidature.
Combien de dossiers faut-il tester ?
Il n'existe pas de nombre universel suffisant. Un petit essai sert à repérer les limites évidentes, pas à certifier tous les usages. Élargissez le corpus aux formats, langues, volumes et types de missions réellement traités par l'équipe. Conservez quelques dossiers de contrôle hors de la préparation de la démonstration, afin de vérifier que la méthode se transfère à une situation nouvelle.
Décider à partir des limites observées
Définissez les usages autorisés et ceux qui restent entièrement humains. Une bonne performance sur la lecture ne valide pas automatiquement la rédaction contractuelle ou le chiffrage. Pour prolonger l'essai, utilisez le calcul du ROI net et la grille comparative BidTender et Datao. Vous pouvez demander une démonstration BidTender avec ce protocole plutôt qu'accepter uniquement un scénario préparé.