Guide
Tester l'IA pendant deux semaines : le plan
Un plan de test de deux semaines pour une tâche, avec des critères de réussite mesurables, un journal et une décision à la fin.
Mis à jour le
Un test sérieux de l'intelligence artificielle (IA) dans une petite entreprise tient sur deux semaines, sur une seule tâche, avec une mesure faite avant et pendant le test. Ce plan est court pour une raison simple : il faut assez d'occurrences pour juger, et pas trop pour que l'équipe tienne le rythme. À la fin, une décision est prise à partir de critères écrits à l'avance, pas d'une impression.
Avant le test : trois préparatifs
Pendant quelques jours avant le lancement, préparez trois éléments :
- La tâche choisie, issue de la liste établie avec le guide sur la première tâche.
- Une mesure de départ. Notez, sur des occurrences ordinaires faites sans IA, le temps de réalisation, le nombre de corrections à la relecture et le nombre de fois où le résultat a dû être refait. Gardez ces valeurs dans un tableau.
- Les règles écrites de l'équipe, affichées pendant toute la durée du test. Voir règles simples pour l'équipe.
Choisissez aussi l'outil et l'offre utilisés. Ils ne changeront pas pendant le test. Les critères de choix sont dans le guide choisir un assistant.
Semaine 1 : utiliser, noter, corriger la consigne
Pendant la première semaine, la personne qui fait la tâche l'utilise pour chaque occurrence. Elle tient un journal avec une ligne par occurrence :
| Date (JJ/MM/AAAA) | Temps avec IA | Corrections à la relecture | Donnée interdite saisie ? | Remarque |
|---|---|---|---|---|
| …… | …… | …… | Non | …… |
La première semaine sert aussi à améliorer la consigne donnée à l'outil. Si la même erreur revient, modifiez la consigne et notez le changement. Ne changez rien d'autre.
Semaine 2 : même tâche, mêmes critères
La deuxième semaine reprend le même protocole, sans changer l'outil ni la tâche. C'est le moment d'ajouter des cas difficiles, ceux qui ressemblent aux occurrences les plus complexes, pour voir si l'outil tient dans ces conditions.
Les critères de réussite
Fixez ces seuils avant de commencer, et écrivez-les. Les seuils chiffrés sont un choix de votre entreprise : aucune source publique ne les fixe pour vous.
- Temps. Le temps moyen par occurrence, relecture comprise, est inférieur à votre seuil de départ. Notez à la fois la moyenne et la valeur médiane, pour ne pas laisser un cas extrême fausser le résultat.
- Qualité. Le nombre moyen de corrections après relecture n'augmente pas par rapport à la mesure de départ.
- Données. Aucune donnée interdite n'a été saisie. Un seul incident déclenche l'arrêt du test et une analyse écrite.
- Adhésion. La personne qui fait la tâche dit par écrit qu'elle souhaite continuer.
Un critère manquant n'est pas une réussite partielle. Il signifie que la tâche n'est pas encore prête pour l'IA dans votre entreprise.
La décision à la fin du test
| Résultat | Décision |
|---|---|
| Les quatre critères sont atteints | Garder l'usage, rédiger la règle définitive et choisir la tâche suivante |
| Un critère manque, les autres sont atteints | Modifier une seule chose (la consigne, la relecture ou la tâche), puis refaire une semaine |
| Deux critères ou plus manquent, ou un incident sur les données | Arrêter cette tâche et noter pourquoi |
Ne prolongez pas un test pour le seul plaisir de voir si ça marche. La décision est prise à la date prévue, avec le journal sous les yeux.
Ce que le test ne prouve pas
Un test de deux semaines sur une tâche ne dit rien de l'ensemble de l'entreprise. Il ne mesure ni la qualité sur tous les cas, ni l'effet sur le moral des équipes, ni le coût réel de l'outil si l'usage s'élargit. Il permet seulement de décider s'il vaut la peine de tester la tâche suivante.
La CNIL rappelle qu'il faut contrôler l'exactitude et la qualité de chaque réponse, en particulier sans sources, et vérifier qu'aucun biais discriminatoire n'est reproduit. Ce contrôle fait partie du test. Un résultat plus rapide mais moins juste doit être compté comme un échec.
Pour la méthode de calcul du temps gagné, voir le guide mesurer le gain. Les erreurs à éviter pendant le test sont dans le guide erreurs fréquentes des débutants.
Questions fréquentes
Que faire si le test échoue ?
Notez pourquoi, dans le journal et dans la décision. Un échec bien documenté sert à choisir la tâche suivante. Il ne prouve pas que l'IA ne sert à rien dans l'entreprise.
Peut-on changer de tâche en cours de test ?
Non, pas sans recommencer. Changer de tâche ou d'outil en cours de route rend la comparaison impossible. Si le test est trop lourd, il vaut mieux arrêter et reprendre une tâche plus petite.
Le test doit-il être fait par le dirigeant ?
Il doit être fait par la personne qui réalise la tâche au quotidien. Le dirigeant fixe les critères et prend la décision à la fin.
Sources
Pages consultées pour écrire cet article :