{"id":507761,"date":"2024-03-05T06:16:30","date_gmt":"2024-03-05T14:16:30","guid":{"rendered":"https:\/\/www.genesys.com\/blog\/post\/definissez-des-seuils-de-confiance-pour-les-bots"},"modified":"2024-02-27T03:22:42","modified_gmt":"2024-02-27T11:22:42","slug":"set-bot-confidence-thresholds","status":"publish","type":"blog","link":"https:\/\/www.genesys.com\/fr-fr\/blog\/post\/set-bot-confidence-thresholds","title":{"rendered":"D\u00e9finissez des seuils de confiance pour les bots"},"content":{"rendered":"

[vc_section full_width=\u00a0\u00bbstretch_row\u00a0\u00bb][vc_row][vc_column][vc_column_text][\/vc_column_text][vc_column_text]Aspect essentiel de l’intelligence artificielle (IA)<\/a>, la compr\u00e9hension du langage naturel (NLU) comble le foss\u00e9 entre la fa\u00e7on dont les gens parlent et ce que les ordinateurs comprennent. Les bots qui comprennent le langage naturel ont fait de s\u00e9rieuses avanc\u00e9es dans les strat\u00e9gies d’exp\u00e9rience client destin\u00e9es aux entreprises. La premi\u00e8re chose qu’un bot doit comprendre est l’intention du client. Si le bot comprend bien l’intention<\/a>, il poursuit sur sa lanc\u00e9e et aide le client \u00e0 r\u00e9soudre le probl\u00e8me en libre-service. Cependant, il arrive que le syst\u00e8me NLU ne soit pas tr\u00e8s s\u00fbr de l’intention qu’il d\u00e9tecte. C’est \u00e0 ce moment-l\u00e0 que l’utilisateur est invit\u00e9 \u00e0 confirmer ce que le robot a d\u00e9tect\u00e9 comme intention ou \u00e0 la reformuler. Abordons l’utilisation des seuils de confiance et des \u00e9cueils li\u00e9s \u00e0 leur utilisation sans une bonne compr\u00e9hension de leurs effets sur l’efficacit\u00e9 du bot. Lorsqu’un mod\u00e8le de NLU renvoie une hypoth\u00e8se sur l’intention d’un \u00e9nonc\u00e9, il est accompagn\u00e9 d’un score de confiance. Voyons ce que ce score signifie.[\/vc_column_text][\/vc_column][\/vc_row][vc_row][vc_column][vc_column_text]<\/p>\n

\n
\n
\n
\n

1. Qu’est<\/em>-ce qu’un score de confiance<\/h3>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n
\n
\n
\n
\n

Lorsqu’un syst\u00e8me d’IA conversationnelle<\/a> attribue une valeur de \u00ab\u00a0confiance\u00a0\u00bb \u00e0 sa r\u00e9ponse, le terme est utilis\u00e9 dans son sens courant. Il s’agit simplement d’une mesure de la confiance que le syst\u00e8me accorde \u00e0 cette hypoth\u00e8se. Cette valeur peut ressembler \u00e0 une valeur de probabilit\u00e9, mais la somme des valeurs de confiance pour un ensemble d’hypoth\u00e8ses ne correspond probablement pas \u00e0 1.<\/p>\n

2. Ce que n’est p<\/em>as<\/em> un score de confiance<\/h3>\n

Il ne faut pas confondre le terme \u00ab\u00a0score de confiance\u00a0\u00bb avec le terme \u00ab\u00a0confiance\u00a0\u00bb, utilis\u00e9 en statistique pour d\u00e9crire les r\u00e9sultats constat\u00e9s d’une s\u00e9rie de tests. En statistiques, un intervalle de confiance<\/em> \u00e0 95\u00a0% est la plage dans laquelle se situent 95\u00a0% des valeurs de sortie. Mais notre sens de la confiance est diff\u00e9rent. Un score de confiance peut \u00e9galement \u00eatre confondu avec la \u00ab\u00a0probabilit\u00e9\u00a0\u00bb qu’une hypoth\u00e8se soit correcte, car la plupart des moteurs NLU produisent des valeurs de confiance comprises entre 0,0 et 1,0. Mais il ne s’agit pas non plus d’une probabilit\u00e9.<\/p>\n

3. Ce que les scores de confiance peuvent r\u00e9v\u00e9ler<\/h3>\n

Un bon moyen de caract\u00e9riser les performances d’un syst\u00e8me d’IA consiste \u00e0 examiner ses performances \u00e0 diff\u00e9rents seuils de confiance. Un seuil de confiance fix\u00e9 \u00e0 0 signifie qu’il accepterait toutes les hypoth\u00e8ses, correctes ou incorrectes, quel que soit leur score de confiance. Le fixer \u00e0\u00a01 signifie qu’il rejetterait toutes les hypoth\u00e8ses (sauf si le moteur renvoie parfois un score de confiance de\u00a01). Le seuil de confiance id\u00e9al permet d’\u00e9liminer autant d’hypoth\u00e8ses incorrectes que possible, sans pour autant supprimer un tr\u00e8s grand nombre d’hypoth\u00e8ses correctes. Une m\u00e9thode pour trouver ce point consiste \u00e0 tracer une courbe ROC (de l’anglais Receiver Operating Characteristic) qui repr\u00e9sente graphiquement les vrais positifs par rapport aux faux positifs \u00e0 diff\u00e9rents seuils de confiance, comme le montre cette figure.<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n

[\/vc_column_text][vc_single_image image=\u00a0\u00bb501386″ css=\u00a0\u00bb.vc_custom_1702312205889{margin-top: 1.0em !important;margin-bottom: 1.0em !important;}\u00a0\u00bb][vc_column_text]Dans le coin inf\u00e9rieur gauche de ce graphique, avec 0 vrai et 0 faux positif, se trouve le seuil de confiance le plus \u00e9lev\u00e9. Le coin sup\u00e9rieur droit indique le seuil le plus bas. Le point optimal o\u00f9 les vrais positifs sont maximis\u00e9s et les faux positifs minimis\u00e9s se situe entre les deux. Les courbes ROC, comme celle ci-dessus, sont utiles pour les syst\u00e8mes de classification binaires. Mais un\u00a0moteur NLU<\/a>\u00a0qui pr\u00e9dit l’intention d’un \u00e9nonc\u00e9 est un syst\u00e8me multiclasses. Et, pour compliquer encore les choses, le syst\u00e8me doit \u00eatre \u00e9valu\u00e9 en fonction de sa capacit\u00e9 \u00e0 g\u00e9rer les entr\u00e9es hors domaine, ou \u00ab\u00a0vrais n\u00e9gatifs\u00a0\u00bb. Pour obtenir cette information, nous devons visualiser les r\u00e9sultats diff\u00e9remment afin qu’ils conviennent au type<\/em> sp\u00e9cifique de seuil de confiance que nous voulons utiliser.<\/p>\n

4. Types de seuils de confiance<\/strong><\/h3>\n

Un moteur NLU peut utiliser deux types de seuils de confiance lorsqu’il rapporte des hypoth\u00e8ses\u00a0: Seuil de confirmation<\/strong>\u00a0: Si le score de confiance de l’hypoth\u00e8se d’intention principale est inf\u00e9rieur \u00e0 ce niveau, le bot demande \u00e0 l’utilisateur de confirmer que l’hypoth\u00e8se est correcte. Seuil de rejet<\/strong>\u00a0: Si le score de confiance est inf\u00e9rieur \u00e0 ce niveau, le bot demande \u00e0 l’utilisateur de reformuler sa saisie. Une troisi\u00e8me utilisation des scores de confiance consiste \u00e0 d\u00e9tecter si l’hypoth\u00e8se principale est \u00e0 peine plus pertinente que celle qui arrive en deuxi\u00e8me position, auquel cas le bot peut demander \u00e0 l’utilisateur de choisir entre les deux.<\/em><\/p>\n

5. S\u00e9lection d’un seuil efficace<\/strong><\/h3>\n

La meilleure fa\u00e7on de trouver un bon seuil pour un bot est de lui fournir un ensemble de donn\u00e9es de test qui ont \u00e9t\u00e9 annot\u00e9es avec des valeurs de v\u00e9rit\u00e9 de terrain. Il convient ensuite d’inspecter les r\u00e9sultats en r\u00e9glant le seuil de confiance \u00e0 diff\u00e9rents niveaux. Les seuils de confirmation et de rejet ayant des objectifs diff\u00e9rents, vous devrez les \u00e9valuer s\u00e9par\u00e9ment.<\/p>\n

Seuils de confirmation<\/strong><\/h4>\n

Ces quatre cat\u00e9gories d’hypoth\u00e8ses sont pertinentes pour un seuil de confirmation\u00a0:<\/p>\n

    \n
  1. Hypoth\u00e8se sp\u00e9cifique \u00e0 un domaine, correcte et accept\u00e9e sans invite (ID-CA)<\/li>\n
  2. Hypoth\u00e8se sp\u00e9cifique \u00e0 un domaine, correcte et confirm\u00e9e par l’utilisateur \u00e0 l’invite (ID-CC)<\/li>\n
  3. Hypoth\u00e8se sp\u00e9cifique \u00e0 un domaine, fausse et accept\u00e9 sans invite (ID-FA)<\/li>\n
  4. Hypoth\u00e8se sp\u00e9cifique \u00e0 un domaine, fausse et rejet\u00e9e par l’utilisateur \u00e0 l’invite (ID-FR)<\/li>\n<\/ol>\n

    Remarque\u00a0:<\/strong> Parmi ces groupes d’hypoth\u00e8ses, 1 est le meilleur cas ; 3 est le pire ; 2 et 4 se situent entre les deux. Cela s’explique par le fait qu’il peut \u00eatre ennuyeux pour l’utilisateur de devoir constamment r\u00e9pondre \u00e0 des messages de confirmation, mais cela reste pr\u00e9f\u00e9rable \u00e0 l’acceptation d’une r\u00e9ponse incorrecte. Le graphique suivant montre ces quatre valeurs pour un jeu de donn\u00e9es \u00e9chantillon \u00e0 chaque incr\u00e9ment de 0,1 entre 0 et 1,0 de confiance.[\/vc_column_text][vc_single_image image=\u00a0\u00bb501388″ css=\u00a0\u00bb.vc_custom_1702312519862{margin-top: 1.0em !important;margin-bottom: 1.0em !important;}\u00a0\u00bb][vc_column_text]Le graphique indique que, si le seuil de confirmation est fix\u00e9 sur 0, les acceptations correctes (les meilleures) et les fausses acceptations (les pires) seront toutes deux maximis\u00e9es. Si le seuil de confirmation est port\u00e9 \u00e0 0,8, il n’y aura presque pas d’erreurs (fausses acceptations), mais l’utilisateur devra r\u00e9pondre \u00e0 des messages de confirmation plus de la moiti\u00e9 du temps. La valeur id\u00e9ale de ce seuil pourrait se situer autour de 0,25, lorsque l’ID-FA a diminu\u00e9 de mani\u00e8re significative, mais que l’ID-CA n’a pas encore trop baiss\u00e9. En fin de compte, la d\u00e9cision pourrait \u00eatre sp\u00e9cifique \u00e0 l’application\u00a0: l’importance des fausses acceptations par rapport \u00e0 l’inconv\u00e9nient d’obliger l’utilisateur \u00e0 r\u00e9pondre \u00e0 une question suppl\u00e9mentaire.<\/p>\n

    Seuils de rejet<\/strong><\/h4>\n

    Il s’agit des cat\u00e9gories d’hypoth\u00e8ses qui sont pertinentes pour d\u00e9cider d’un seuil si chaque hypoth\u00e8se en dessous du seuil est rejet\u00e9e\u00a0:<\/p>\n

      \n
    1. Hypoth\u00e8se sp\u00e9cifique \u00e0 un domaine, correcte et accept\u00e9e (ID-CA)<\/li>\n
    2. Hypoth\u00e8se sp\u00e9cifique \u00e0 un domaine, fausse et accept\u00e9e (ID-FA)<\/li>\n
    3. Hypoth\u00e8se hors domaine, rejet correct (OOD-CR)<\/li>\n
    4. Hypoth\u00e8se hors domaine, rejet erron\u00e9, c’est-\u00e0-dire qu’une intention aurait d\u00fb \u00eatre suppos\u00e9e (OOD-FR)<\/li>\n<\/ol>\n

      Parmi ces groupes d’hypoth\u00e8ses, 1 et 3 sont corrects ; 2 et 4 sont incorrects. Le graphique suivant illustre ces quatre valeurs pour le m\u00eame jeu de donn\u00e9es.[\/vc_column_text][vc_single_image image=\u00a0\u00bb501389″ css=\u00a0\u00bb.vc_custom_1702312557429{margin-top: 1.0em !important;margin-bottom: 1.0em !important;}\u00a0\u00bb][vc_column_text]Si le seuil de rejet est d\u00e9fini sur 0, les acceptations correctes et les fausses acceptations seront maximis\u00e9es, tandis que les rejets corrects et les faux rejets seront minimis\u00e9s. L’augmentation du seuil de rejet \u00e0 0,1 ou 0,2 r\u00e9duirait les fausses acceptations avant que les acceptations correctes ne chutent plus fortement.<\/p>\n

      6. Les seuils de confiance optimaux diff\u00e8rent d’un moteur \u00e0 l’autre<\/strong><\/h3>\n

      Les moteurs d’IA conversationnelle<\/a> varient dans leur mani\u00e8re de calculer les scores de confiance. Certains, comme le moteur A, ont tendance \u00e0 produire des hypoth\u00e8ses dont les valeurs de confiance sont r\u00e9parties assez uniform\u00e9ment entre 0 et 1. Pour d’autres, les scores de confiance sont principalement regroup\u00e9s dans une certaine fourchette, ce qui modifie la forme de leurs graphiques de seuil. Le graphique suivant indique le seuil de rejet pour un moteur diff\u00e9rent.[\/vc_column_text][vc_single_image image=\u00a0\u00bb501390″ css=\u00a0\u00bb.vc_custom_1702312619378{margin-top: 1.0em !important;margin-bottom: 1.0em !important;}\u00a0\u00bb][vc_column_text]L’utilisation du seuil de rejet du moteur A (0,2) ne fonctionnerait manifestement pas pour le moteur B, car ce dernier affiche des faux positifs (ID-FA) qui sont encore assez \u00e9lev\u00e9s \u00e0 ce stade. Dans ce cas, 0,6 serait un seuil de rejet raisonnable, permettant aux ID-FA de diminuer sans trop sacrifier les ID-CA. Ces m\u00eames graphiques sont superpos\u00e9s dans le tableau suivant pour faciliter la comparaison.[\/vc_column_text][vc_single_image][vc_column_text]<\/p>\n

      7. Les seuils de confiance optimaux peuvent \u00e9voluer dans le temps<\/strong><\/h3>\n

      Les modifications apport\u00e9es \u00e0 un moteur d’IA conversationnelle peuvent affecter la mani\u00e8re dont ses scores de confiance sont r\u00e9partis entre les cas de test. Soyez conscient de cette possibilit\u00e9 et ex\u00e9cutez \u00e0 nouveau ce type de test de seuil pour d\u00e9terminer si vous devez ajuster les seuils de confiance.<\/p>\n

      8. Un seuil unique ne convient pas \u00e0 tous<\/strong><\/h3>\n

      Certains frameworks de bot sont con\u00e7us pour fonctionner avec plusieurs moteurs NLU, ce qui peut donner l’impression qu’il est faussement facile de passer d’un moteur \u00e0 l’autre. Avant de changer de moteur, testez vos seuils de confiance. Pour obtenir les meilleures performances possibles, nous vous recommandons de tester les seuils de confiance apr\u00e8s la cr\u00e9ation d’un nouveau bot, m\u00eame si vous ne changez pas les moteurs NLU. Diff\u00e9rents bots utilisant le m\u00eame moteur peuvent avoir des seuils optimaux diff\u00e9rents. Lisez le \u00ab\u00a0guide pratique sur la ma\u00eetrise des bots<\/a>\u00a0\u00bb pour en savoir plus sur les meilleures pratiques de cr\u00e9ation de bots et pour vous assurer que vos bots ne m\u00e8nent pas les clients \u00e0 des impasses.[\/vc_column_text][\/vc_column][\/vc_row][\/vc_section]<\/p>\n<\/div>","protected":false},"excerpt":{"rendered":"

      [vc_section full_width=\u00a0\u00bbstretch_row\u00a0\u00bb][vc_row][vc_column][vc_column_text][\/vc_column_text][vc_column_text]Aspect essentiel de l’intelligence artificielle (IA), la compr\u00e9hension du langage naturel (NLU) comble le foss\u00e9 entre la fa\u00e7on dont les gens parlent et ce que les ordinateurs comprennent. Les bots qui comprennent le langage naturel ont fait de s\u00e9rieuses avanc\u00e9es dans les strat\u00e9gies d’exp\u00e9rience client destin\u00e9es aux entreprises. La premi\u00e8re chose qu’un bot doit […]<\/p>\n","protected":false},"author":954,"featured_media":501433,"template":"","tax_priority":[54],"tax_blogtype":[17749],"tax_blogcategory":[15951],"tax_contenttheme":[14892,14894],"tax_bundle":[],"tax_contenttheme2":[],"tax_capability_sitewide":[16202],"tax_products_programs":[16482],"tax_buying_job":[16773],"tax_buyer_persona":[16888,16916],"tax_sector":[],"tax_segment":[17081,17099,17134],"class_list":["post-507761","blog","type-blog","status-publish","has-post-thumbnail","hentry","tax_priority-54","tax_blogtype-genesys-fr-fr","tax_blogcategory-ai-and-machine-learning-fr-fr","tax_contenttheme-improve-customer-experience-fr-fr","tax_contenttheme-level-up-your-technology-fr-fr","tax_capability_sitewide-ai-and-automation-fr-fr","tax_products_programs-genesys-ai-fr-fr","tax_buying_job-job-7-product-adoption-fr-fr","tax_buyer_persona-business-fr-fr","tax_buyer_persona-technical-fr-fr","tax_segment-enterprise-fr-fr","tax_segment-midsized-fr-fr","tax_segment-smb-fr-fr","tax_content_type-blog-fr-fr"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/blog\/507761","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/users\/954"}],"version-history":[{"count":5,"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/blog\/507761\/revisions"}],"predecessor-version":[{"id":507877,"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/blog\/507761\/revisions\/507877"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/media\/501433"}],"wp:attachment":[{"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/media?parent=507761"}],"wp:term":[{"taxonomy":"tax_priority","embeddable":true,"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/tax_priority?post=507761"},{"taxonomy":"tax_blogtype","embeddable":true,"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/tax_blogtype?post=507761"},{"taxonomy":"tax_blogcategory","embeddable":true,"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/tax_blogcategory?post=507761"},{"taxonomy":"tax_contenttheme","embeddable":true,"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/tax_contenttheme?post=507761"},{"taxonomy":"tax_bundle","embeddable":true,"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/tax_bundle?post=507761"},{"taxonomy":"tax_contenttheme2","embeddable":true,"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/tax_contenttheme2?post=507761"},{"taxonomy":"tax_capability_sitewide","embeddable":true,"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/tax_capability_sitewide?post=507761"},{"taxonomy":"tax_products_programs","embeddable":true,"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/tax_products_programs?post=507761"},{"taxonomy":"tax_buying_job","embeddable":true,"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/tax_buying_job?post=507761"},{"taxonomy":"tax_buyer_persona","embeddable":true,"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/tax_buyer_persona?post=507761"},{"taxonomy":"tax_sector","embeddable":true,"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/tax_sector?post=507761"},{"taxonomy":"tax_segment","embeddable":true,"href":"https:\/\/www.genesys.com\/fr-fr\/wp-json\/wp\/v2\/tax_segment?post=507761"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}