Passez en revue de vrais messages d'utilisateurs dans la section Labelling pour les associer au bon Intent. En classant les messages des utilisateurs, vous améliorez le modèle d'IA de votre bot et l'enrichissez de formulations authentiques. Le Labelling sert aussi à estimer la précision du bot.
Vue d'ensemble
Une annotation régulière est nécessaire pour améliorer progressivement la compréhension de votre bot. Pour chaque Intent, vous recevez un lot de phrases extraites de vraies conversations d'utilisateurs à annoter.
Les messages sélectionnés proviennent de vraies conversations. Les messages non pertinents, comme les conversations de test (depuis la plateforme), les Schedulers et les Quick Replies, sont exclus par défaut. Les doublons sont également supprimés pour éviter d'annoter plusieurs fois la même phrase.
Chaque message peut être annoté de deux façons :
✅ Confirmer que le message doit déclencher l'Intent sélectionné.
❌ Rejeter le message comme n'appartenant pas à l'Intent sélectionné. Les messages rejetés sont envoyés dans Undecided messages pour un examen final.
Une fois tous les messages affichés annotés, vous pouvez valider la session de Labelling. Un nouveau lot de messages s'affiche jusqu'à ce que tous les messages de l'Intent sélectionné soient annotés.
💭 La description et les indications de l'Intent permettent de définir plus précisément son périmètre. Les deux peuvent être modifiées depuis le panneau de droite ou depuis la page de l'Intent (ouverte dans un nouvel onglet en cliquant sur l'icône à droite).
Poursuivez en sélectionnant un autre Intent dans le panneau de gauche, jusqu'à avoir passé en revue tous les Intents disponibles.
Undecided Messages
Si un message est annoté négativement, il est envoyé directement dans la section Undecided messages pour que vous choisissiez le bon Intent.
En haut de la liste des Intents se trouvent les Undecided messages, qui regroupent toutes les phrases rejetées des lots d'Intents. Un bouton Ignore All vous permet d'écarter rapidement tous les Undecided messages si vous ne souhaitez pas les traiter.
💭 Un message ignoré une fois n'est pas « perdu » pour toujours
Si le même message est de nouveau récupéré dans un nouveau lot de Labelling, il ira directement dans la section Undecided.
Lot de Labelling
Le Labelling fonctionne par lots de messages : un lot compte 300 messages, sélectionnés aléatoirement parmi tous les Intents du bot.
💭 Débloquer la fonctionnalité Labelling
Si un bot n'a pas encore traité 300 messages, un minimum de 100 messages est nécessaire pour créer le premier lot de Labelling. Les messages de test (envoyés depuis la plateforme), les Schedulers, les messages de redirection et les valeurs de Quick Replies sont exclus de la sélection, car ils ne sont pas pertinents à annoter. Les messages annotés proviennent directement de vraies conversations entre les utilisateurs et votre bot.
Pour terminer un lot de Labelling et en recevoir un nouveau, vous devez annoter les messages de chaque Intent ainsi que les undecided messages. Une fois la session entière validée, vous pouvez demander un nouveau lot de Labelling.
💭 Entraînez votre modèle NLU après avoir terminé un lot
Quelques minutes après avoir terminé un lot de Labelling, vous recevez une notification vous invitant à entraîner de nouveau la Start User Action.
Calcul du taux de précision
Lorsqu'un lot de messages est annoté :
80 % des messages annotés sont automatiquement envoyés aux Intents correspondants comme phrases d'entraînement, pour améliorer la compréhension du bot.
20 % d'entre eux rejoignent le jeu de validation, qui sert à mesurer la précision du bot
Par exemple :
Vous annotez un lot de 1 000 phrases.
800 phrases annotées servent à l'entraînement.
200 phrases rejoignent le jeu de validation pour calculer le taux de précision.
Le taux de précision se calcule ainsi :
Prendre les messages annotés du jeu de validation.
Vérifier si chaque message annoté est bien classé dans l'Intent attendu.
Mesurer le pourcentage de messages correctement classés.
Le jeu de validation contient au maximum 1 000 phrases. Au-delà, les plus anciennes sont supprimées.