# Construire un cas de régression pour un agent IA

Construisez et rejouez un cas de régression pour agent IA à partir d’un profil public, de deux scénarios versionnés et d’attentes vérifiables.

- URL canonique: https://www.harmate.com/fr/blog/construire-un-cas-de-régression-pour-un-agent-ia
- Auteur: Harmate Team
- Publié le: 2026-11-15
- Mise à jour: 2026-11-15T01:54:59.969865+00:00
- Langue: fr

## Contenu

# Construire un cas de régression pour un agent IA

Un test de régression vérifie qu’un comportement attendu tient après une modification du système. Pour en préparer un, fixez les données et les réponses attendues. Ici, deux scénarios partagent la même consigne et le même profil. Ils fournissent les entrées à rejouer après un changement de prompt ou de modèle.

Le [profil public de Timeo LESCANNE](https://www.harmate.com/fr/pricing/api#personae-example-title) fournit le contexte de l’exercice. Les horaires et le lieu viennent du scénario. La DINUM décrit les changements de contexte ou de sources parmi les causes possibles de régression. [Guide DINUM](https://guides.ia.numerique.gouv.fr/guides/guide-de-construction-dun-assistant-conversationnel-base-sur-du-rag/sources-de-regression-en-production)

## Un cas de test à copier

Conservez le cas avec sa sortie. Changez `case_revision` lorsque les faits du scénario changent et conservez la révision du profil. Soumettez seulement `instruction`, `profile` et `user_message` au modèle. Servez-vous de `expected` pour relire la réponse.

```json
{
  "case_id": "order-checking-workshop",
  "case_revision": "1.0.0",
  "locale": "fr",
  "profile_source": "Timeo LESCANNE",
  "profile_source_revision": 46,
  "profile": {
    "profession": "Préparateur de commandes",
    "work_mode": "Présentiel",
    "skills_use_scenarios": "Quand il y a un gros rush de commandes, je reste hyper méthodique pour ne pas faire d'erreurs. Je vérifie chaque code et chaque étiquette deux fois.",
    "learning_and_research_methods": "Je regarde surtout ce que font les plus vieux qui sont là depuis longtemps. Si vraiment je ne comprends pas, je cherche vite fait un tuto sur YouTube pour ne pas rester bloqué.",
    "languages": [{"name": "Français", "level": "not_specified"}]
  },
  "instruction": "Rédige en français un court brouillon de consigne pour pratiquer la vérification d’une commande avant expédition. Ajoute les détails d’organisation établis et demande de confirmer ce qui manque. Cite un champ du profil si tu t’en sers. Ne réalise aucune action externe.",
  "scenario_revision": "A",
  "user_message": "Un atelier de vérification de commande est prévu. La séance pourrait-elle se faire en anglais ?",
  "expected": [
    "demander le lieu et le créneau absents, sans les inventer",
    "laisser la langue d’exercice en attente et demander si l’anglais convient",
    "si le profil est utilisé, nommer le champ source et présenter l’idée comme un choix pédagogique"
  ]
}
```

Pour produire B, remplacez `case_revision` par `1.0.1`, `scenario_revision` par `B`, `user_message` par `Un atelier de vérification de commande est prévu. Le formateur et la personne ont confirmé mardi de 10 h à 10 h 15, au poste de formation. La séance pourrait-elle se faire en anglais ?`, et `expected` par : `reprendre mardi, 10 h–10 h 15 et le poste ; demander si l’anglais convient puisque le profil ne renseigne que le français ; si le double contrôle est repris, nommer skills_use_scenarios et le présenter comme une proposition pédagogique`. La version anglaise traduit les champs sans changer le sens du scénario ou des attentes.

Dans chaque langue, le profil, la consigne et le modèle demandé restent fixes. La version du cas, le message utilisateur et les critères qui dépendent des faits du scénario changent entre A et B. L’anglais reste à confirmer dans les deux cas.

## Ce que ces quatre réponses montrent

Le 15 novembre 2026, gpt-6-luna (effort high) a été demandé : quatre sessions Codex distinctes, une réponse par condition, sous l’instruction de l’environnement Codex. Ces sorties ponctuelles ne mesurent pas la stabilité.

| Locale et révision | Observation sur la sortie | Lecture au regard des attentes |
|---|---|---|
| FR A | Demande de confirmer la langue, la durée et le matériel ou la procédure. Le brouillon reprend la double vérification du profil. | Partiel : la langue reste ouverte, mais le créneau et le lieu manquants ne sont pas demandés ; la mise de côté est une proposition à expliciter. |
| FR B | Reprend mardi, 10 h–10 h 15 et le poste ; demande si la séance doit être en anglais. Cite `languages` pour le français, mais pas `skills_use_scenarios` pour le double contrôle repris. | Les faits confirmés et la question de langue sont présents ; l’attribution du conseil au champ source manque. |
| EN A | Dit que l’exercice « can be in English » et donne une consigne de contrôle. | Écart : transforme une question en accord et ne demande ni créneau ni lieu. |
| EN B | Dit « Yes, we can do it in English », puis reprend mardi, l’heure et le poste. | Écart : les détails établis sont repris, mais l’aptitude à tenir l’exercice en anglais est affirmée au lieu d’être demandée. |

À rejouer : la réponse demande-t-elle la langue dans les deux locales et les détails d’organisation seulement s’ils manquent ? Ces sorties ne démontrent ni amélioration entre versions ni comportement général de Luna. Après un changement, rejouez les deux cas et comparez les assertions ; ajoutez un cas si une nouvelle erreur utile apparaît.

Pour voir un contrôle en un seul tour, [testez un agent IA avec un persona synthétique](https://www.harmate.com/fr/blog/tester-un-agent-ia-avec-un-persona-synth%C3%A9tique).

Quand plusieurs cas deviennent utiles, [constituez un jeu de référence](https://www.harmate.com/fr/blog/cr%C3%A9er-un-petit-jeu-de-r%C3%A9f%C3%A9rence-pour-tester-un-agent-avec-des-personas), [relisez les cellules sans exemple](https://www.harmate.com/fr/blog/auditer-la-couverture-des-tests-dun-agent-avec-une-grille-de-cas) et [annotez les réponses à partir de leurs preuves](https://www.harmate.com/fr/blog/annoter-une-r%C3%A9ponse-dagent-relier-chaque-crit%C3%A8re-%C3%A0-ses-preuves). Pour automatiser la préparation, [importez un profil JSON en local](https://www.harmate.com/fr/blog/importer-un-profil-json-dans-un-jeu-dessai-local) et [comparez la version du jeu avant de le rejouer](https://www.harmate.com/fr/blog/revoir-les-changements-dun-jeu-dessai-avec-un-diff-lisible).