Risque de modèle et validation : fondements et pratique
- Niveau
- L2 Intermédiaire
- Temps d'étude
- environ 24 heures (estimation de planification)
- Statut
- En rédaction
- Prérequis
- Un cours de niveau L1 dans le domaine, ou un examen d'entrée
It gives model risk functions an international reference for extending validation and monitoring to AI systems.
Acquis d'apprentissage
- Définir le risque de modèle et les autres termes clés de la discipline, et les employer correctement dans une étude de cas rédigée
- Expliquer la gouvernance du risque de modèle et la validation des modèles à l'aide d'un exemple traité et de sa source
- Appliquer la méthode de la discipline à un cas documenté et expliquer chaque résultat avec sa source
- Analyser un cas nommé au regard de la surveillance et de la dérive des modèles, en précisant les données probantes, la date et les limites
Modules
-
Gouvernance du risque de modèle
- Gouvernance du risque de modèle
- Validation des modèles
- Suivi des modèles et dérive
-
Explicabilité et équité
- Explicabilité et équité
- Modèles de tiers
- IA générative dans la finance
-
Human-in-the-loop controls
- Human-in-the-loop controls
- Inventaires de modèles
-
Laboratoire : la méthode de la discipline
- A model that claims a confidence level makes a testable promise about how often outcomes will exceed its figure; counting those exceptions over a test window and comparing the count with the expected distribution gives the verdict, and the verdict feeds the model's tier and its permitted use.
- Appliquer la méthode à un cas documenté et expliquer chaque résultat
- Lire les sources de la méthode et les valeurs indiquées
Laboratoires avec les outils de l'Academy
Méthode
- De l'affirmation d'un modèle à un verdict de backtest : exceptions attendues, exceptions observées et zone dans laquelle tombe le décompteLa méthode de la discipline, présentée sur la page de la discipline avec ses sources citées, appliquée à un cas documenté
Instrument
- Ajusteur de distributionUn instrument de la faculté, sur la page de la faculté, exécuté sur les données du jumeau numérique de la faculté
- Période de retourUn instrument de la faculté, sur la page de la faculté, exécuté sur les données du jumeau numérique de la faculté
Constructeur de jumeau
- Constructeur de jumeau numériqueConstruire le lieu de la faculté en 3D, activer ou désactiver les couches et lire les crédits et les dates de chacune
Couche cartographique
- Événements naturels (NASA EONET)Une couche cartographique ouverte admise par le registre des licences de l'Academy, lue dans les outils cartographiques
- Séismes M4.5+, semaine écoulée (USGS)Une couche cartographique ouverte admise par le registre des licences de l'Academy, lue dans les outils cartographiques
- Étendue du bâti et des établissements humains, 2010 (HBASE, Landsat)Une couche cartographique ouverte admise par le registre des licences de l'Academy, lue dans les outils cartographiques
Salle Foundry
- Salle des compétences, NXS-NXQSi un modèle est adapté à sa tâche et à son domaine de fonctionnement
- Benchmarks room, NXS-LABComparison of models under transparent test conditions
Nexus Standards
Enseigne
Évaluation
- 40%
Compte rendu de laboratoire
Appliquer la méthode de la discipline à un cas documenté et expliquer chaque résultat avec sa source et sa date
- 40%
Note de cas
Appliquer les méthodes de la discipline à un lieu ou à une organisation nommés, en précisant les données probantes et les limites
- 20%
Contrôle des termes clés
Réponses courtes sur les termes clés, notées par rapport aux définitions
Mode de dispensation
- En ligne à votre rythme, avec les laboratoires dans le navigateur
- Étude en cohorte sur six à huit semaines, avec une revue de laboratoire hebdomadaire
- Co-dispensé avec une institution partenaire, dans le cadre de ses propres cours
Devenir partenaire de ce cours
- Co-enseigner un module et apporter un cas actuel tiré de votre travail
- Accueillir une cohorte pour vos apprenants, avec votre propre calendrier et votre propre évaluation
- Contribuer un laboratoire : un jeu de données que votre institution publie en accès ouvert, ou un modèle
- Examiner le contenu du cours et ses références avant son ouverture
- Traduire le cours et adapter ses cas à votre région
Comment les institutions et les experts participent
Dans le LMS de l'Academy
- Course on the learning platform
- Intermediate, 4 sections
- Groupe de cohorte
- A community group for each cohort of learners
- Réalisation
- Recorded on completion of the assessed work
Références 4
- Financial Stability Board, FSB finalises sound practices for the responsible adoption of artificial intelligence (AI),
- Board of Governors of the Federal Reserve System, SR 11-7: Guidance on Model Risk Management, 2011
- Basel Committee on Banking Supervision, Supervisory framework for the use of backtesting in conjunction with the internal models approach, 1996
- Bank of England PRA, SS1/23 Model risk management principles for banks, 2023