La notation par IA offre aux évaluateurs un point de départ cohérent et fondé sur des données probantes pour évaluer les réponses narratives. Elle évalue les réponses textuelles par rapport aux rubriques définies par votre organisation, de sorte que les évaluateurs passent moins de temps sur le tri initial et plus de temps sur le jugement et les suivis. La notation par IA est distincte de l'utilisation des résumés par IA pour examiner les demandes de subvention, qui génère des aperçus narratifs plutôt que des scores numériques de rubrique.
Autorisations
Toute personne ayant le rôle Administrateur de notation par IA peut créer, modifier et publier des critères et des cadres de notation, accéder aux paramètres de notation par IA de l'organisation, et exécuter des tests de notation sur des demandes déjà décidées pour valider les critères avant la publication.
Toute personne ayant le rôle Lecteur de notation par IA peut consulter les critères et cadres publiés et voir les scores sur les demandes de subvention. Les utilisateurs sans ce rôle ne voient pas l'onglet Évaluation par IA sur les demandes de subvention.
Activer la notation par IA pour votre organisation
Utilisez la page Fonctionnalités IA dans Paramètres pour activer ou désactiver la notation par IA pour votre organisation.
- Ouvrez Paramètres et accédez à la page Fonctionnalités IA.
- Localisez la carte Notation par IA.
- Utilisez le bouton bascule sur la carte pour activer ou désactiver la notation par IA pour votre organisation.
Lorsque la notation par IA est activée, un message de confirmation s'affiche et la section Notation par IA apparaît dans la barre latérale des paramètres, avec des liens vers Cadres de notation et Bibliothèque de critères.
Remarque : Lorsque la notation par IA (ou les résumés par IA) est activée, un énoncé de consentement apparaît automatiquement sur la page de soumission du portail de demande : « Les évaluateurs peuvent utiliser l'IA pour faciliter leur processus d'examen des demandes. L'outil favorise l'efficacité dans la gestion des demandes. »
Créer et publier des critères de notation
Les critères de notation sont les éléments de rubrique individuels que l'IA utilise pour évaluer les demandes. Élaborez vos critères dans la Bibliothèque de critères, puis associez-les à des cadres pour les mettre en action.
- Ouvrez Paramètres.
- Sélectionnez Bibliothèque de critères sous Notation par IA dans la barre latérale.
- Sélectionnez Créer des critères.
- Entrez un Nom du critère et une Description afin que les évaluateurs sachent ce qui est mesuré.
- Remplissez le champ Contexte avec des indications sur ce à quoi ressemble une réponse forte ou faible pour vos programmes.
- Ajoutez les champs d'exemple et d'explication pour une réponse de haute qualité et une réponse de faible qualité (le formulaire utilise du texte de Réponse associé à des explications Pourquoi est-ce fort? et Pourquoi est-ce faible?).
- Sélectionnez Enregistrer le brouillon si vous n'êtes pas prêt à publier, ou Publier lorsque le critère devrait être disponible pour les cadres. La publication lance une validation des champs obligatoires.
Vous pouvez enregistrer un brouillon avec uniquement le nom du critère. La publication exige que tous les champs soient remplis.
Construire et publier des cadres de notation
Un cadre de notation regroupe des critères et les assigne à des programmes. Le produit impose un maximum de 10 critères par cadre.
- Ouvrez Paramètres.
- Sous Notation par IA, sélectionnez Cadres de notation.
- Sélectionnez Créer un cadre de notation (cette action nécessite l'accès à la création de cadres fourni via le rôle Administrateur de notation par IA).
- Entrez un Nom du cadre (jusqu'à 100 caractères).
- Sous Programmes assignés, sélectionnez les modèles de soumission auxquels le cadre doit s'appliquer. Chaque programme ne peut appartenir qu'à un seul cadre publié à la fois.
- Ajoutez des critères publiés de la bibliothèque, puis sélectionnez Publier lorsque le cadre est prêt. Seuls les cadres publiés sont appliqués aux nouvelles soumissions sur les programmes assignés.
Tester les critères avant la publication
Avant de publier un cadre de notation, les administrateurs peuvent exécuter des tests de notation pour valider la façon dont l'IA interprète leurs critères. Les tests de notation sont complètement isolés des données en direct et n'apparaissent pas dans les vues des évaluateurs.
Pour exécuter un test de notation :
- Ouvrez l'éditeur de cadre pour le cadre brouillon que vous souhaitez valider.
- Sélectionnez Exécuter un test de notation.
- Sélectionnez un programme, puis choisissez une demande déjà décidée. Filtrez par modèle de soumission ou par programme. La demande doit avoir une décision finale Approuvée ou Refusée. Les demandes encore en cours d'examen actif ne sont pas admissibles aux tests.
- Examinez les résultats du test. Si les scores ne reflètent pas votre intention, affinez vos critères (description, contexte ou exemples d'évaluation) et exécutez un autre test.
- Répétez jusqu'à ce que vous soyez convaincu que le cadre reflète votre intention, puis publiez le cadre.
Le système conserve les 5 derniers tests par paire cadre-demande. Lorsqu'un nouveau test dépasse ce plafond, le test le plus ancien est automatiquement supprimé.
Chaque cadre peut exécuter jusqu'à 30 tests de notation par jour, comptés pour tous les administrateurs. Le compteur se réinitialise à minuit UTC.
Comprendre les exclusions de notation
La notation ne s'applique qu'aux demandes soumises via le Portail de soumission sur un programme avec un cadre publié. Les demandes suivantes ne sont pas notées :
- Les demandes soumises via le portail client
- Les propositions liées (enfants)
Les évaluateurs ne voient pas les résultats d'évaluation par IA sur les demandes exclues.
Examiner l'évaluation par IA sur les demandes de subvention
Une fois un cadre publié, la notation s'exécute automatiquement lorsqu'une demande de subvention est soumise sur un programme assigné. Les évaluateurs peuvent ensuite ouvrir la demande et consulter les résultats dans l'onglet Évaluation par IA.
L'expansion d'un critère affiche l'évaluation par IA, les preuves citées de la demande et la description du critère utilisée pour générer le score.
Remarque : Les scores sont des outils d'aide à la décision. Ils offrent aux évaluateurs un point de départ cohérent, mais les politiques de votre organisation régissent toujours les attributions et les refus. L'IA peut ne pas saisir le contexte complet; le jugement des évaluateurs a donc toujours la priorité.
Filtrer les propositions par Note IA dans les vues de liste
La Note IA est disponible en tant que colonne optionnelle dans la grille de propositions (bVenus et Legacy vNext). Vous pouvez ajouter la colonne aux vues de liste et utiliser le filtre de plage min/max pour faire remonter les demandes à scores élevés ou faibles sans ouvrir chaque demande individuellement.
Pour filtrer par Note IA dans la grille de propositions :
- Ouvrez la grille de propositions pour votre programme.
- Ajoutez la colonne Note IA à la vue de la grille si elle n'est pas déjà visible.
- Entrez une valeur minimale et maximale dans le filtre de plage de Note IA. Les deux champs acceptent des nombres entiers entre 0 et 100. Laissez l'un ou l'autre champ vide pour filtrer sans borne inférieure ou supérieure.
- Sélectionnez Appliquer pour appliquer le filtre. Vos valeurs de filtre sont automatiquement sauvegardées et restaurées la prochaine fois que vous revenez à la grille.
La Note IA est également disponible en tant que colonne optionnelle dans la grille de tâches (bVenus et Legacy vNext) avec un filtre de plage min/max. Les mêmes étapes s'appliquent que pour la grille de propositions ci-dessus.
Activer l'évaluation par IA dans la vue des tâches
Les évaluateurs qui travaillent principalement depuis la vue des tâches peuvent avoir l'onglet Évaluation par IA affiché directement dans la page de détail de la tâche, montrant les mêmes scores par critère, justifications et preuves citées disponibles sur la demande de subvention.
Cela est configuré par définition de tâche par l'équipe de soutien. Pour en faire la demande, contactez le soutien technique en précisant quels programmes et flux de travail doivent afficher l'onglet Évaluation par IA dans la vue des tâches.
Surveiller l'état de la notation, les échecs et les mises à jour
La notation s'exécute de manière asynchrone après la soumission. L'onglet Évaluation par IA affiche un état en cours pendant que la notation est en cours.
- Réessais et échecs : si la notation ne peut pas se terminer, la plateforme réessaie automatiquement jusqu'à trois fois en arrière-plan. Si toutes les tentatives échouent, l'onglet affiche un état d'erreur. Il n'existe actuellement aucun moyen de retraiter manuellement un score échoué.
-
Versions des rubriques : lorsqu'un critère utilisé par votre cadre a été mis à jour, un badge Mise à jour disponible apparaît sur ce critère. Sélectionnez Examiner la mise à jour pour appliquer la nouvelle version au cadre, ou conserver la version actuelle. Les critères peuvent être partagés entre plusieurs cadres. La modification d'un critère partagé crée une nouvelle version dans la bibliothèque mais ne met pas automatiquement à jour les cadres qui l'utilisent. Chaque propriétaire de cadre doit explicitement intégrer la mise à jour et republier. Les scores sur les soumissions déjà notées ne sont pas affectés; ils restent liés à la version active au moment de la notation.
Comprendre les limites actuelles
La notation par IA comporte un certain nombre de contraintes qui affectent la façon et le moment où elle peut être appliquée.
- Langue : la notation par IA accepte et analyse le contenu non anglophone, mais les résultats d'évaluation (y compris les scores, les justifications et les preuves citées) sont toujours affichés en anglais.
- Type de contenu : la notation lit les réponses textuelles dans la demande. Les fichiers joints tels que les PDF ou les images ne sont pas notés dans ce flux.
- Modèle de notation : chaque critère est noté sur 10, et le résultat combiné est présenté comme un score global sur 100. Tous les critères ont une pondération égale. Les cadres peuvent inclure jusqu'à 10 critères.
- Taille de la soumission : les soumissions de plus de 500 000 caractères peuvent échouer à être notées.
- Exclusions de notation : les demandes soumises via le portail client et les propositions liées (enfants) ne sont pas notées. Seules les demandes du portail de soumission sur des programmes avec un cadre publié sont admissibles.
- Note IA dans les grilles de propositions et de tâches : la Note IA est disponible en tant que colonne optionnelle dans la grille de propositions et la grille de tâches (bVenus et Legacy vNext) avec un filtre de plage min/max. Les utilisateurs avec le rôle Lecteur de notation par IA peuvent ajouter la colonne et appliquer des filtres de score dans les deux grilles.
- Conservation des résultats de test : le système conserve les 5 derniers tests par paire cadre-demande. Les tests plus anciens sont automatiquement supprimés lorsque le plafond est dépassé.