D’abord, à partir de quoi répond-il ?
C’est la question qui distingue les outils. Un assistant général répond à partir de son entraînement et de ce que vous collez dans le chat. Un outil conçu pour les questionnaires répond à partir d’une base de connaissances que vous contrôlez : vos politiques, vos documents, les réponses que vous avez approuvées auparavant. Le premier produit un texte fluide sur la sécurité en général. Le second produit vos réponses.
Demandez à voir la base de connaissances. Demandez ce qui se passe lorsqu’une question n’est pas couverte par celle-ci : l’outil le dit-il, ou comble-t-il le vide avec quelque chose de plausible ? Une réponse inventée mais plausible sur votre procédure de sauvegarde est le résultat le plus dangereux qu’un outil de questionnaire puisse produire, parce qu’elle se lit exactement comme une réponse vraie.
Affiche-t-il ses sources pour chaque réponse ?
Une réponse sans source est une opinion. Vous devriez pouvoir ouvrir n’importe quelle réponse rédigée en brouillon et voir sur quelle politique, quel document, quelle réponse antérieure elle s’appuie, puis lire le passage. C’est ce qui rend la relecture rapide : vous vérifiez la source, pas la phrase. C’est aussi ce qui rend la réponse défendable un an plus tard.
Comment gère-t-il l’incertitude ?
Chaque questionnaire comporte des questions que la base de connaissances ne couvre qu’à moitié. L’outil doit vous indiquer pour quels brouillons il est sûr de lui, lesquels lui inspirent moins confiance, et pourquoi : les sources répondent directement à la question, ou ne font que l’effleurer ; elles sont récentes, ou anciennes. Un signal de confiance avec ses raisons permet à votre équipe de consacrer son heure aux vingt réponses faibles, au lieu de relire les deux cents.
Où vont vos données ?
Vos politiques sont sensibles par définition. Posez les questions et attendez des réponses écrites : dans quelle région les données sont traitées, si le fournisseur entraîne des modèles avec celles-ci, quels fournisseurs d’IA sont sous-jacents, si vous pouvez en choisir un ou utiliser votre propre clé, et qui sont les sous-traitants ultérieurs. Comparez ensuite les réponses avec la page de sécurité du fournisseur lui-même. Un fournisseur de questionnaires qui ne peut pas répondre à un questionnaire de sécurité le concernant vous a déjà donné une indication.
Conserve-t-il le fichier du client ?
Les clients envoient des feuilles de calcul et des documents Word dans leurs propres mises en page, et souhaitent les récupérer dans cette même mise en page. Vérifiez que l’outil lit le fichier reçu, conserve chaque feuille et chaque colonne, et exporte le même fichier avec la colonne de réponse remplie. Un outil qui aplatit tout dans son propre format crée un travail de copie côté client.
Votre équipe peut-elle y travailler ensemble ?
Un questionnaire est rempli par plusieurs personnes. Cherchez l’attribution (cette question est pour Maria), les états de relecture (brouillon, approuvé), la trace de qui a modifié quoi, et la possibilité de laisser le questionnaire ouvert une semaine sans rien perdre. Si la fonction « équipe » se résume à un compte partagé, ce n’est pas une fonction d’équipe.
Que deviennent les réponses ensuite ?
La valeur d’un outil de questionnaire ne s’accumule que si les réponses approuvées de ce trimestre deviennent le point de départ du trimestre suivant. Vérifiez que les réponses approuvées reviennent dans la base de connaissances, qu’elles portent une date et qu’un élément vous rappelle quand elles vieillissent. Sinon, vous avez acheté un moyen plus rapide de refaire le même travail depuis le début à chaque fois.
Une courte grille d’évaluation
Apportez votre dernier questionnaire terminé à la démo. Pour chaque outil, notez : la part de brouillons que vous auriez envoyés sans modification, la part qu’il a signalée comme incertaine à juste titre, la part pour laquelle il s’est trompé avec assurance, et le nombre de minutes qu’a pris la relecture. Le nombre de réponses fausses avec assurance est celui qui compte. Voici comment Responsemate répond à ces sept questions, et comment il traite vos données.
Questions fréquentes
Une IA peut-elle répondre seule à un questionnaire de sécurité ?
Il peut en préparer un brouillon. Il ne devrait pas l’envoyer. Un questionnaire de sécurité est un ensemble d’affirmations que votre entreprise adresse à un client, et une personne responsable doit lire et approuver chaque affirmation. Le bon outil rend cette relecture rapide et éclairée ; il ne la supprime pas.
Est-il sûr de placer nos politiques dans un outil IA ?
Seulement si vous savez où elles vont. Demandez si le fournisseur entraîne ses modèles sur vos données, dans quelle région les données sont traitées, si vous pouvez utiliser votre propre clé de modèle et quels sont les sous-traitants ultérieurs. Si le fournisseur ne peut pas répondre clairement à ces quatre questions, la réponse est non.
Comment testons-nous un outil IA de questionnaire avant l’achat ?
Apportez l’un de vos propres questionnaires, que vous avez déjà rempli à la main, et comparez. Regardez les brouillons où l’outil s’est trompé, pas ceux où il a eu raison, et vérifiez s’il vous a indiqué qu’il n’était pas sûr.