# Analyser les réponses d’un questionnaire avec l’IA : ne confondez pas résumé et décision

Comment analyser les réponses d’un questionnaire avec l’IA sans confondre résumé, preuve et décision. Méthode, limites et checklist.

- URL canonique: https://www.harmate.com/fr/blog/analyser-les-réponses-dun-questionnaire-avec-lia-ne-confondez-pas-résumé-et-décision
- Auteur: Harmate Team
- Publié le: 2026-09-22
- Mise à jour: 2026-09-22T03:09:20.135123+00:00
- Langue: fr

## Contenu

# Analyser les réponses d’un questionnaire avec l’IA : ne confondez pas résumé et décision

L’IA peut lire beaucoup de réponses en peu de temps. Elle peut regrouper des formulations proches, faire ressortir des motifs récurrents et aider à commencer une analyse. Mais une réponse bien écrite n’est pas encore une preuve, et un résumé n’est pas une décision.

La bonne question n’est donc pas seulement : « Que peut analyser l’IA ? » Elle est plutôt : **que doit-elle conserver pour que son analyse reste vérifiable ?**

Cette distinction intervient à trois moments différents : créer un questionnaire, l’administrer, puis analyser les réponses. Une IA peut aider à formuler ou à lire. Elle ne doit pas effacer le contexte qui permet de comprendre ce qui a été demandé, à qui, dans quelles conditions et avec quelles limites.

## Pourquoi un résumé plausible n’est pas une preuve

Un résumé automatique peut être exact dans son intention générale et tout de même insuffisant pour guider une décision. Il peut lisser une exception, fusionner deux situations différentes ou retenir une citation qui semble représentative sans l’être réellement. Sa fluidité rend ces erreurs difficiles à repérer.

Les travaux récents sur l’analyse qualitative assistée par GPT-4o illustrent cette limite : les thèmes produits peuvent être proches de ceux d’analystes humains, mais la sélection des citations reste faible ou variable, avec des hallucinations ou des modifications de contenu observées dans l’étude. Le résultat est utile comme aide à l’exploration, pas comme remplacement de la vérification humaine ([Scientific Reports, 2025](https://www.nature.com/articles/s41598-025-18969-w)).

Une autre étude sur le codage inductif montre que l’écart entre humains et modèles varie selon la complexité des phrases dans le jeu de données étudié ([Findings of NAACL, 2025](https://aclanthology.org/2025.findings-naacl.361/)). Cela ne permet pas de déduire un taux général de fiabilité. Cela rappelle simplement qu’une méthode doit préciser son corpus, sa tâche et ses cas limites.

Pour garder cette prudence, séparez trois objets :

- le **constat** : ce qui est visible dans les réponses ou les distributions ;
- l’**interprétation** : l’explication possible de ce constat ;
- la **décision** : l’action que l’équipe choisit après examen.

L’IA peut accélérer le premier et aider à explorer le deuxième. Le troisième reste une responsabilité située : celle de personnes qui connaissent l’objectif, les contraintes et les conséquences de l’action.

## Une méthode en six étapes

### 1. Cadrer la décision avant de demander une analyse

Commencez par écrire la décision qui devra être éclairée. Ne demandez pas simplement à l’IA de « trouver des insights ». Demandez-lui de répondre à une question bornée : faut-il modifier ce parcours avant son prochain test ? Quelles difficultés doivent être vérifiées par un entretien ? Quels groupes semblent vivre des expériences différentes ?

Ce cadrage empêche de confondre abondance de motifs et utilité. Un thème fréquent n’est pas automatiquement prioritaire. Un thème rare peut révéler un risque important. La décision précise aussi ce que l’analyse ne peut pas trancher : elle ne prouve ni une causalité, ni une représentativité, ni l’absence d’un problème.

Si le questionnaire lui-même est encore à concevoir, partez de la décision plutôt que des questions ([construire un questionnaire actionnable](https://www.harmate.com/fr/blog/questionnaire-actionnable-partir-de-la-décision-pas-des-questions)).

### 2. Protéger et conserver le contexte

Une réponse sortie de son questionnaire perd rapidement sa signification. Conservez au minimum le libellé exact des questions, les consignes, les options proposées, les filtres ou segments disponibles, la période de collecte et les informations utiles sur le volume.

Le contexte doit rester proportionné. Il ne s’agit pas d’envoyer tout ce que vous possédez à un modèle. Il s’agit de donner assez d’éléments pour que la lecture soit intelligible, sans exposer des données qui ne sont pas nécessaires à la question.

Lorsque des données personnelles sont en jeu, l’objectif, la proportionnalité et la répartition des responsabilités doivent être examinés avant l’usage d’un système d’IA. La [CNIL recommande de se poser ces questions en amont](https://www.cnil.fr/fr/intelligence-artificielle/guide/se-poser-les-bonnes-questions-avant-dutiliser-un-systeme-dintelligence-artificielle).

Une analyse utile permet aussi de rouvrir les réponses sources. Si un constat ne peut pas être relié à des éléments vérifiables, traitez-le comme une hypothèse de travail, pas comme un résultat établi.

### 3. Distinguer mesures fermées et matière ouverte

Les questions fermées sont efficaces pour mesurer, segmenter et comparer. Elles rendent visibles des distributions, des écarts et des évolutions. Elles décrivent toutefois l’espace prévu par le questionnaire.

Les questions ouvertes conservent des mots, des causes inattendues, des contradictions et des exceptions. Elles peuvent apporter le contexte qui manque à une distribution. Elles ne garantissent ni validité ni représentativité : leur interprétation dépend du recrutement, de la formulation, du volume et des conditions de réponse.

Ne demandez donc pas à l’IA de traiter ces deux matières comme si elles étaient équivalentes. Une moyenne peut être vérifiée par un calcul. Une synthèse de verbatims doit permettre de retrouver les passages qui la soutiennent, les cas qui la nuancent et les éléments absents. Pour concevoir de meilleures questions, voyez aussi [comment obtenir des réponses ouvertes exploitables sans biaiser](https://www.harmate.com/fr/blog/questions-ouvertes-obtenir-des-reponses-exploitables-sans-biaiser).

### 4. Poser une question d’analyse précise

Remplacez la consigne vague par un protocole court. Par exemple :

> À partir des réponses à la question X, regroupe les difficultés décrites. Pour chaque groupe, donne une formulation courte, deux ou trois réponses sources, les divergences observées et ce que les données ne permettent pas de conclure. Ne propose pas de causalité ni de priorité sans élément explicite.

Cette forme force l’IA à montrer le chemin entre les données et le constat. Elle réduit aussi le risque de recevoir une liste de thèmes génériques qui pourrait convenir à n’importe quel questionnaire.

Demandez plusieurs sorties séparées plutôt qu’un grand texte : motifs, contre-exemples, questions à vérifier et informations indisponibles. Une absence de donnée doit apparaître comme telle. Elle ne doit pas devenir une phrase affirmative par défaut.

### 5. Exiger les sources et rendre les absences visibles

Chaque motif important doit renvoyer à des identifiants de réponses ou à des extraits vérifiables. Si une réponse source a été raccourcie, signalez-le. Si un groupe contient trop peu de réponses pour être interprété, dites-le. Si une métrique n’a pas été collectée, affichez son indisponibilité au lieu de l’estimer.

Cette discipline protège contre deux glissements fréquents : la généralisation d’un exemple et la transformation d’un silence en absence de problème. Elle rend également la discussion plus productive : l’équipe peut contester un regroupement précis au lieu de débattre d’un résumé impossible à auditer.

### 6. Contredire et vérifier humainement

Une première lecture ne doit pas être la dernière. Faites relire les motifs par une personne qui connaît la décision, mais aussi par quelqu’un qui peut poser une question naïve : quelle réponse ne rentre pas dans ce thème ? Quelle autre explication est compatible avec les mêmes mots ? Qui n’a pas répondu ?

Revenez ensuite aux sources et, si l’enjeu le justifie, complétez par un entretien, une nouvelle collecte ou une comparaison de groupes. La vérification ne consiste pas à approuver le texte de l’IA ; elle consiste à tester ce que ce texte prétend montrer.

## Mini-exemple fictif : du résumé générique à la lecture traçable

L’exemple qui suit est entièrement illustratif. Il ne décrit ni un client ni des données réelles.

Une équipe demande : « Pourquoi des participants abandonnent-ils le parcours ? » Elle fournit quatre réponses ouvertes :

- **R-014** : « Je ne savais pas quelle information était obligatoire, alors j’ai remis la suite à plus tard. »
- **R-027** : « Le bouton suivant ne répondait pas sur mon téléphone. »
- **R-031** : « J’ai terminé, mais je ne savais pas si ma réponse avait été enregistrée. »
- **R-044** : « Je n’ai pas voulu répondre à la question sur mon employeur. »

Un résumé générique pourrait dire : « Les utilisateurs abandonnent à cause d’un manque de clarté et de problèmes techniques. » C’est plausible, mais cela mélange au moins trois situations et ne dit pas ce que l’équipe doit vérifier.

Une lecture traçable pourrait distinguer :

| Motif provisoire | Sources | Ce que cela suggère | Ce que cela ne prouve pas |
| --- | --- | --- | --- |
| Statut des champs ou de l’enregistrement peu clair | R-014, R-031 | Vérifier les indications de progression et de confirmation | Que ces défauts causent la majorité des abandons |
| Interaction mobile à vérifier | R-027 | Reproduire le parcours sur le terminal concerné | Que le problème existe pour tous les mobiles |
| Question sensible ou jugée non nécessaire | R-044 | Revoir l’objectif et l’explication de la demande | Que la question doit être supprimée dans tous les contextes |

La seconde version est moins spectaculaire. Elle est plus utile : elle conserve les identifiants, sépare les hypothèses et indique les tests à mener. Elle ne fabrique pas un diagnostic global à partir de quatre réponses.

### Exemple situé : un retour après une formation

Cet exemple est fictif. Un organisme de formation reçoit trois types de réponses après une session sur la conduite d’entretien :

- « J’ai utilisé la trame lors d’un entretien et je peux décrire ce qui a changé. »
- « Je n’ai pas encore rencontré de situation où je pouvais l’essayer. »
- « J’ai essayé, mais la procédure interne ne me permettait pas de la suivre. »

Une synthèse traçable conserverait ces trois situations séparées. Elle pourrait proposer de vérifier les occasions d’application, le contexte de travail et les obstacles, mais elle ne pourrait pas conclure que la formation est efficace ou inefficace pour tous les participants. Pour cadrer cette lecture dans le temps, choisissez un questionnaire qui demande d’abord si une occasion d’appliquer s’est présentée.

## Les situations où il faut ralentir

Certaines conditions demandent une lecture particulièrement prudente :

- **Faible volume** : quelques réponses peuvent ouvrir une piste, pas décrire une population.
- **Question orientée** : un biais de cadrage peut avoir été introduit avant même l’analyse ([voir pourquoi un questionnaire peut déjà contenir ses réponses](https://www.harmate.com/fr/blog/biais-de-cadrage-pourquoi-vos-questionnaires-contiennent-deja-les-reponses)).
- **Segments contradictoires** : une tendance globale peut masquer des expériences opposées.
- **Données sensibles** : réduisez le contexte transmis et vérifiez la base légale, l’information des personnes et les responsabilités.
- **Décision à fort impact** : une synthèse ne doit pas devenir le seul fondement d’une décision concernant une personne, un droit ou un accès.

Dans ces cas, l’IA peut aider à préparer une vérification. Elle ne doit pas servir à rendre une décision opaque plus rapide.

## Quel outil pour quel usage ?

| Usage | IA généraliste | Outil d’enquête | Assistant contextuel |
| --- | --- | --- | --- |
| Explorer une question ou reformuler une consigne | Souvent adapté, avec une consigne précise | Possible selon les fonctions | Adapté si le contexte est borné |
| Calculer une distribution ou filtrer un groupe | À vérifier ou à préparer avec des données structurées | Adapté | Adapté si les métriques sont disponibles |
| Relier un thème à des réponses sources | À construire explicitement | Variable | Doit être prévu dans la sortie |
| Décider à la place de l’équipe | Inadapté | Inadapté | Inadapté |

La différence ne tient pas seulement au nom du produit. Elle tient à la visibilité du contexte, à la possibilité de retrouver les sources et à la façon dont les inconnues sont affichées. Un outil généraliste peut être le bon choix pour une exploration ponctuelle. Un outil d’enquête est précieux pour administrer et mesurer. Un assistant contextuel devient intéressant lorsque la traçabilité fait partie du flux de lecture.

## Checklist avant de prendre l’analyse au sérieux

Avant de partager une synthèse, vérifiez :

- La décision à éclairer est-elle écrite en une phrase ?
- Les questions, consignes et segments sont-ils conservés ?
- Les réponses fermées et ouvertes sont-elles traitées selon leur nature ?
- Chaque motif important renvoie-t-il à des sources ?
- Les contre-exemples et les segments absents sont-ils visibles ?
- Les données indisponibles sont-elles présentées comme indisponibles ?
- Une personne a-t-elle vérifié les regroupements et les interprétations ?
- La conclusion distingue-t-elle clairement constat, hypothèse et décision ?
- Le traitement des données personnelles est-il proportionné à l’objectif ?

Si plusieurs réponses sont négatives, améliorez le protocole avant d’améliorer le style du résumé.

## Et Harmate dans tout cela ?

Harmate distingue les analyses locales, la synthèse automatique et le chat explicite. Dans la synthèse automatique, les résultats structurés des analyses locales forment le paquet transmis au modèle ; les réponses brutes, extraits et verbatims restent dans Harmate, qui rattache ensuite les sources. Un chat explicite conserve le contexte conversationnel prévu par son contrat. Une métrique absente reste signalée comme indisponible.

Ce cadre n’est pas un routeur global ni un juge de causalité, de représentativité, de validité ou de décision. Il sert à préparer une lecture que l’équipe peut examiner, contredire et prolonger. Vous pouvez découvrir l’[assistant IA de Harmate](https://www.harmate.com/fr/product/ai-assistant), puis revenir aux réponses et à la question de départ.

L’objectif n’est pas de transformer toutes les réponses en une conclusion automatique. C’est de réduire le temps nécessaire pour voir les motifs, sans perdre les mots, les exceptions et les inconnues qui donnent à une décision sa solidité.

L’IA peut résumer. Une équipe responsable doit encore demander : « D’où vient ce constat ? Qu’est-ce qui le contredit ? Que devons-nous vérifier avant d’agir ? »