# Annoter une réponse d’agent : relier chaque critère à ses preuves

Un protocole d’annotation traçable pour examiner une réponse d’agent sans prétendre mesurer l’exactitude générale d’un évaluateur.

- URL canonique: https://www.harmate.com/fr/blog/annoter-une-réponse-dagent-relier-chaque-critère-à-ses-preuves
- Auteur: Harmate Team
- Publié le: 2026-11-15
- Mise à jour: 2026-11-15T01:52:11.465964+00:00
- Langue: fr

## Contenu

# Annoter une réponse d’agent : relier chaque critère à ses preuves

Une grille d’évaluation devient plus facile à relire lorsqu’un jugement renvoie à deux éléments précis : ce que la réponse dit et ce que le cas établit. Cette traçabilité aide un second lecteur à comprendre pourquoi un critère est considéré comme satisfait, non satisfait ou indéterminé. Elle ne garantit pas que le critère est bien choisi ni que l’évaluation est exacte dans tous les contextes.

## Préparer un cas et des critères vérifiables

Consignez les faits du scénario et la consigne donnée à l’agent. Écrivez ensuite des critères portant sur des comportements observables : utilise-t-il une contrainte explicitement fournie ? Fait-il passer une hypothèse pour un fait ? Demande-t-il une précision quand une donnée déterminante manque ? Évitez les formulations générales comme « bonne réponse » sans décrire ce qui doit être observé.

Prenons un scénario fictif : Lina a quinze minutes avant un appel client ; aucune présentation n’est mentionnée. L’agent répond : « Utilisez les quinze minutes pour écrire trois points et une question pour le client. Vous pouvez aussi relire la présentation. »

Séparez deux questions. D’abord, quel type d’appui chaque énoncé de la réponse reçoit-il ? Ensuite, le critère d’évaluation est-il satisfait ? Un type d’appui décrit le lien entre un énoncé et le cas ; un verdict décrit le comportement visé par un critère. Les deux ne sont pas interchangeables.

### Registre des énoncés

| Énoncé ou interprétation | Type d’appui | Élément du cas | Lecture |
| --- | --- | --- | --- |
| « Utilisez les quinze minutes » | Paraphrase de la source | Lina a quinze minutes avant l’appel. | La durée est reprise avec d’autres mots. |
| « écrire trois points et une question » | Proposition | La consigne demande une étape de préparation. | C’est une action suggérée, pas un fait sur Lina. |
| « Lina est pressée » | Inférence du relecteur | Lina a quinze minutes avant l’appel. | C’est une interprétation du délai, pas une phrase de la réponse ni un fait établi. |
| « Vous pouvez aussi relire la présentation » | Non étayé | Aucune présentation n’est mentionnée. | Le cas ne permet pas de supposer qu’elle existe. |

Une inférence est une conclusion tirée des faits sans être dite directement ; indiquez quand elle vient du relecteur plutôt que de la réponse. « Non étayé » signifie que le cas fourni ne soutient pas l’énoncé ; cela ne prouve pas qu’il est faux dans le monde réel.

### Registre des critères

| Critère | Verdict | Énoncé examiné | Justification |
| --- | --- | --- | --- |
| Utilise la contrainte de temps connue | Satisfait | « Utilisez les quinze minutes » | La réponse reprend la durée déclarée. |
| Ne suppose pas qu’une ressource non mentionnée existe | Non satisfait | « relire la présentation » | La réponse suppose qu’un support est disponible. |
| Propose une action concrète | Satisfait | « écrire trois points et une question » | La réponse fournit une action réalisable. |

Les types d’appui et les verdicts ci-dessus sont des annotations conçues pour l’exemple, pas une mesure d’exactitude d’un évaluateur. Le premier registre classe les énoncés ; le second confronte les comportements aux critères.

| Critère | Verdict | Extrait de réponse | Preuve dans le cas | Motif |
| --- | --- | --- | --- | --- |
| Utilise la contrainte de temps connue | Satisfait | « Utilisez les quinze minutes » | Lina a quinze minutes avant l’appel. | La proposition reprend la durée déclarée. |
| Ne suppose pas qu’une ressource non mentionnée existe | Non satisfait | « relire la présentation » | Aucune présentation n’est mentionnée. | La réponse suppose qu’un support est disponible. |
| Propose une action concrète | Satisfait | « écrire trois points et une question » | La consigne demande une étape de préparation. | La réponse fournit une action réalisable. |

Les citations sont vérifiables dans l’exemple et montrent comment relier les deux registres.

## Utiliser « indéterminé » avec une règle explicite

Un verdict indéterminé est utile si le cas ne contient pas la preuve nécessaire ou si le critère prête à plusieurs interprétations. Notez précisément ce qui manque : une définition opérationnelle, une information du scénario ou une règle de décision. Ne remplacez pas l’explication par un score moyen qui masquerait l’incertitude.

Si deux lecteurs ne sont pas d’accord, conservez leurs annotations et demandez-vous si le désaccord vient du critère, des faits disponibles ou de la lecture de la réponse. Modifier la règle après avoir vu une réponse est possible, mais il faut alors versionner le critère et ne pas comparer les deux versions comme si elles étaient identiques.

## Ajouter un contrôle mécanique limité

Un validateur peut vérifier que chaque extrait de réponse apparaît bien dans le texte de la réponse et que chaque preuve citée figure dans les faits du cas. Ce contrôle repère les citations mal recopiées. Il ne juge pas la pertinence du critère, la justesse du verdict ni la qualité du raisonnement.

Gardez les verdicts reliés à leurs preuves et relisez les cas à la lumière de leur objectif. Cette méthode rend une revue locale plus transparente et contestable ; elle ne transforme pas un exemple fictif en benchmark, ni une annotation en vérité universelle sur la performance d’un agent.

Pour comparer avec un cas de régression d’agent versionné, consultez [Construire un cas de régression pour un agent IA](https://www.harmate.com/fr/blog/construire-un-cas-de-r%C3%A9gression-pour-un-agent-ia).

Le [modèle de persona en trois parties](https://www.harmate.com/fr/blog/mod%C3%A8le-de-persona-synth%C3%A9tique-une-fiche-minimale-pour-tester-un-assistant-ia) aide à distinguer les préférences du profil, les faits du scénario et les règles utilisées pour vérifier la réponse.