La notation par IA offre aux réviseurs un point de départ cohérent et fondé sur des données probantes pour évaluer les réponses narratives. Elle évalue les réponses textuelles selon des rubriques définies par votre organisation, ce qui permet aux réviseurs de passer moins de temps sur le triage initial et davantage sur le jugement et le suivi. La notation par IA est distincte de l'utilisation des résumés IA pour examiner les demandes de subventions, qui génère des synthèses narratives plutôt que des scores de rubrique numériques.
Autorisations
Toute personne ayant le rôle AI Scoring Admin peut créer, modifier et publier des critères et des cadres de notation, accéder aux paramètres de notation par IA de l'organisation, et exécuter des scores de test sur des demandes ayant déjà fait l'objet d'une décision afin de valider les critères avant la publication.
Toute personne ayant le rôle AI Scoring Viewer peut consulter les critères et les cadres publiés, et voir les scores sur les demandes de subventions. Les utilisateurs ne disposant pas de ce rôle ne voient pas l'onglet Évaluation par IA sur les demandes de subventions.
Activation de la notation par IA pour votre organisation
Utilisez la page Fonctionnalités IA dans les paramètres pour activer ou désactiver la notation par IA pour votre organisation.
- Ouvrez Paramètres et accédez à la page Fonctionnalités IA.
- Repérez la carte Notation par IA.
- Utilisez le bouton bascule de la carte pour activer ou désactiver la notation par IA pour votre organisation.
Lorsque la notation par IA est activée, un message de confirmation s'affiche et la section Notation par IA apparaît dans la barre latérale des paramètres, avec des liens vers les Cadres de notation et la Bibliothèque de critères.
Remarque : Lorsque la notation par IA (ou les résumés IA) est activée, une déclaration de consentement s'affiche automatiquement sur la page de soumission du portail des demandeurs : « Les réviseurs peuvent utiliser l'IA pour faciliter leur processus d'examen des demandes. Cet outil favorise l'efficacité dans la gestion des demandes. »
Création et publication des critères de notation
Les critères de notation sont les éléments de rubrique individuels que l'IA utilise pour évaluer les demandes. Créez vos critères dans la Bibliothèque de critères, puis attachez-les à des cadres pour les mettre en œuvre.
- Ouvrez Paramètres.
- Sélectionnez Bibliothèque de critères sous Notation par IA dans la barre latérale.
- Sélectionnez Créer un critère.
- Saisissez un Nom du critère et une Description afin que les réviseurs sachent ce qui est mesuré.
- Remplissez le champ Contexte avec des indications sur ce à quoi ressemble une réponse forte ou faible pour vos programmes.
- Ajoutez les champs d'exemple et d'explication pour une réponse de haute qualité et une réponse de faible qualité (le formulaire utilise des paires Réponse avec les explications Pourquoi est-ce fort ? et Pourquoi est-ce faible ?).
- Sélectionnez Enregistrer comme brouillon si vous n'êtes pas encore prêt à mettre en ligne, ou Publier lorsque le critère devrait être disponible pour les cadres. La publication valide les champs obligatoires.
Vous pouvez enregistrer un brouillon avec seulement le nom du critère. La publication requiert que tous les champs soient remplis.
Création et publication des cadres de notation
Un cadre de notation regroupe des critères et les associe à des programmes. Le produit impose un maximum de 10 critères par cadre.
- Ouvrez Paramètres.
- Sous Notation par IA, sélectionnez Cadres de notation.
- Sélectionnez Créer un cadre de notation (cette action requiert un accès à la création de cadres fourni par le rôle AI Scoring Admin).
- Saisissez un Nom du cadre (jusqu'à 100 caractères).
- Sous Programmes assignés, sélectionnez les modèles de soumission auxquels le cadre doit s'appliquer. Chaque programme ne peut appartenir qu'à un seul cadre publié à la fois.
- Ajoutez des critères publiés de la bibliothèque, puis sélectionnez Publier lorsque le cadre est prêt. Seuls les cadres publiés sont appliqués aux nouvelles soumissions des programmes assignés.
Tester les critères avant la publication
Avant de publier un cadre de notation, les administrateurs peuvent exécuter des scores de test pour valider la façon dont l'IA interprète leurs critères. Les scores de test sont complètement isolés des données réelles et n'apparaissent pas dans les vues des réviseurs.
Pour exécuter un score de test :
- Ouvrez l'éditeur de cadre pour le cadre en brouillon que vous souhaitez valider.
- Sélectionnez Exécuter un score de test.
- Sélectionnez un programme, puis choisissez une demande ayant déjà fait l'objet d'une décision. Filtrez par modèle de soumission ou par programme. La demande doit avoir une décision finale Approuvée ou Refusée. Les demandes encore en cours d'examen actif ne sont pas admissibles au test.
- Examinez les résultats du test. Si les scores ne reflètent pas votre intention, affinez vos critères (description, contexte ou exemples d'évaluation) et exécutez un autre test.
- Répétez l'opération jusqu'à ce que vous soyez certain que le cadre reflète votre intention, puis publiez le cadre.
Le système conserve les 5 dernières exécutions de test par paire cadre-demande. Lorsqu'une nouvelle exécution dépasse cette limite, la plus ancienne est automatiquement supprimée.
Comprendre les exclusions de notation
La notation s'applique uniquement aux demandes soumises par l'intermédiaire du Portail des demandeurs dans un programme doté d'un cadre publié. Les demandes suivantes ne sont pas notées :
- Les demandes soumises par l'intermédiaire du portail client
- Les propositions liées (enfants)
Les réviseurs ne verront pas les résultats de l'évaluation par IA sur les demandes exclues.
Examen de l'évaluation par IA sur les demandes de subventions
Une fois qu'un cadre est publié, la notation s'exécute automatiquement lorsqu'une demande de subvention est soumise dans un programme assigné. Les réviseurs peuvent ensuite ouvrir la demande et consulter les résultats dans l'onglet Évaluation par IA.
En développant un critère, vous pouvez voir l'évaluation par IA, les preuves citées de la demande et la description du critère utilisé pour générer le score.
Remarque : Les scores sont des outils d'aide à la décision. Ils fournissent aux réviseurs un point de départ cohérent, mais les politiques de votre organisation régissent toujours les attributions et les refus. L'IA peut ne pas saisir le contexte complet; le jugement du réviseur a donc toujours la priorité.
Filtrer les propositions par score IA dans les vues en liste
Score IA est disponible en tant que colonne facultative dans la grille des propositions (bVenus et Legacy vNext). Vous pouvez ajouter la colonne aux vues en liste et utiliser le filtre de plage min/max pour faire ressortir les demandes à score élevé ou faible sans ouvrir chaque demande individuellement.
Pour filtrer par score IA dans la grille des propositions :
- Ouvrez la grille des propositions pour votre programme.
- Ajoutez la colonne Score IA à la vue de la grille si elle n'est pas déjà visible.
- Saisissez une valeur minimale et une valeur maximale dans le filtre de plage du score IA. Les deux champs acceptent des nombres entiers compris entre 0 et 100. Laissez l'un ou l'autre des champs vide pour filtrer sans borne inférieure ou supérieure.
- Sélectionnez Appliquer pour appliquer le filtre. Vos valeurs de filtre sont automatiquement enregistrées et rétablies lors de votre prochain retour à la grille.
La prise en charge du score IA dans la grille des tâches est prévue, mais n'est pas encore disponible. Communiquez avec le soutien si vous avez besoin que le score IA soit affiché dans la vue des tâches avant sa disponibilité générale.
Suivi du statut de notation, des échecs et des mises à jour
La notation s'exécute de manière asynchrone après la soumission. L'onglet Évaluation par IA affiche un état en cours pendant le déroulement de la notation.
- Nouvelles tentatives et échecs : Si la notation ne peut pas se terminer, la plateforme effectue automatiquement jusqu'à trois nouvelles tentatives en arrière-plan. Si toutes les tentatives échouent, l'onglet affiche un état d'erreur. Il n'existe actuellement aucun moyen de retraiter manuellement un score en échec.
-
Versions de rubrique : Lorsqu'un critère utilisé par votre cadre a été mis à jour, un badge Mise à jour disponible apparaît sur ce critère. Sélectionnez Examiner la mise à jour pour appliquer la nouvelle version au cadre, ou conservez la version actuelle. Les scores des soumissions déjà notées ne sont pas affectés. Ils demeurent liés à la version qui était active au moment de la notation. Les critères peuvent être partagés entre plusieurs cadres; la modification d'un critère partagé le met à jour pour tous les cadres qui l'utilisent. Pour apporter des modifications à un seul cadre, créez d'abord une copie du critère.
Comprendre les limites actuelles
La notation par IA présente un certain nombre de contraintes qui affectent la façon et le moment où elle peut être appliquée.
- Langue : La notation par IA accepte et analyse du contenu non anglais, mais les résultats de l'évaluation (y compris les scores, les justifications et les preuves citées) sont toujours affichés en anglais.
- Type de contenu : La notation lit les réponses textuelles dans la demande. Les pièces jointes comme les PDF ou les images ne sont pas notées dans ce flux.
- Modèle de notation : Chaque critère est noté sur 10, et le résultat combiné est présenté comme un score global sur 100. Tous les critères sont pondérés de manière égale. Les cadres peuvent inclure jusqu'à 10 critères.
- Taille de soumission : Les soumissions de plus de 500 000 caractères peuvent échouer à la notation.
- Exclusions de notation : Les demandes soumises par l'intermédiaire du portail client et les propositions liées (enfants) ne sont pas notées. Seules les demandes du Portail des demandeurs dans des programmes dotés d'un cadre publié sont admissibles.
- Score IA dans la grille des propositions : Le score IA est disponible en tant que colonne facultative dans la grille des propositions (bVenus et Legacy vNext) avec un filtre de plage min/max. La prise en charge dans la grille des tâches est prévue, mais n'est pas encore disponible. Pour afficher le score IA dans la vue des tâches avant sa disponibilité générale, ouvrez un billet CTS auprès du soutien Benevity.
- Conservation des résultats de test : Le système conserve les 5 dernières exécutions de test par paire cadre-demande. Les exécutions plus anciennes sont automatiquement supprimées lorsque la limite est dépassée.