Sécurité et évaluation de l'IA : fondements et pratique
- Niveau
- L2 Intermédiaire
- Temps d'étude
- environ 24 heures (estimation de planification)
- Statut
- En rédaction
- Prérequis
- Un cours de niveau L1 dans le domaine, ou un examen d'entrée
Montre pourquoi les évaluations comparatives indépendantes et réservées comptent lorsqu'on s'appuie sur des résultats d'évaluation communiqués par les fournisseurs.
National Institute of Standards and Technology, CAISI Evaluation of DeepSeek V4 Pro,
Acquis d'apprentissage
- Définir le red teaming et les autres termes clés de la discipline, et les utiliser correctement dans une étude de cas rédigée
- Explain evaluation design and metrics and red-teaming and adversarial testing with a worked example and its source
- Appliquer la méthode de la discipline à un cas documenté et expliquer chaque résultat avec sa source
- Analyser un cas nommé au regard des références et de la contamination des données, en indiquant les données probantes, la date et les limites
Modules
-
Conception de l'évaluation et indicateurs
- Conception de l'évaluation et indicateurs
- Tests d'équipe rouge et tests adversariaux
- Référentiels d'évaluation et contamination des données
-
Évaluations des capacités dangereuses
- Évaluations des capacités dangereuses
- Dossiers de sécurité pour les modèles de pointe
- Agentic system evaluation
-
Suivi après le déploiement
- Suivi après le déploiement
- Signalement et divulgation des incidents
-
Laboratoire : la méthode de la discipline
- An attack success rate is measured per attempt against a stated attacker budget; the chance that at least one of k attempts succeeds grows as 1 minus (1 minus s) to the k, and a release gate compares that cumulative figure, after defences, with the level a safety case can tolerate.
- Appliquer la méthode à un cas documenté et expliquer chaque résultat
- Lire les sources de la méthode et les valeurs indiquées
Laboratoires avec les outils de l'Academy
Méthode
- D'une tentative au budget d'un attaquant : comment un taux de réussite par tentative devient un verrou de publicationLa méthode de la discipline, présentée sur la page de la discipline avec ses sources citées, appliquée à un cas documenté
Instrument
- Propagateur d'orbiteUn instrument de la faculté, sur la page de la faculté, exécuté sur les données du jumeau numérique de la faculté
- Registre d'évaluationUn instrument de la faculté, sur la page de la faculté, exécuté sur les données du jumeau numérique de la faculté
Constructeur de jumeau
- Constructeur de jumeau numériqueConstruire le lieu de la faculté en 3D, activer ou désactiver les couches et lire les crédits et les dates de chacune
Couche cartographique
- Étendue du bâti et des établissements humains, 2010 (HBASE, Landsat)Une couche cartographique ouverte admise par le registre des licences de l'Academy, lue dans les outils cartographiques
- Lumières nocturnes de ce soir, coupures (bande jour/nuit VIIRS)Une couche cartographique ouverte admise par le registre des licences de l'Academy, lue dans les outils cartographiques
- Densité de population, 2020 (GPW v4.11)Une couche cartographique ouverte admise par le registre des licences de l'Academy, lue dans les outils cartographiques
Salle Foundry
- Salle des compétences, NXS-NXQSavoir si un modèle est adapté à une tâche, à une population et à un domaine de fonctionnement
- Benchmarks room, NXS-LABEvaluation and benchmark design
Nexus Standards
Enseigne
- NRS-T1Risque lié à l'intelligence artificielle
- NRS-T16Risques liés aux agents d'IA et aux systèmes de décision autonomes
- NRS-A9Suites d'évaluation de l'IA dans le travail sur les risques
- NRS-H95Famille d'aléas : défaillance et désalignement des systèmes d'IA
- NRS-H96Famille d'aléas : Sécurité de l'IA et chaîne d'approvisionnement des modèles
- NRS-H97Famille d'aléas : mauvais usage de l'IA et gain de capacités
- NRS-H98Famille d'aléas : IA agentique agissant à grande échelle
- NRS-M19Trame de méthodes : cyber, IA et technologies de pointe
S'appuie sur 8
- NS-1The UNI and the artefact catalogue
- NS-16Profil d'application de l'UNI (comment les articles, documents, codes, données, API et interfaces portent l'UNI)
- NRS-A1Normes sous forme de code : normes, exigences et tests lisibles par machine
- NRS-C1Vocabulaire et ontologie du risque
- NRS-C2Méthode d'évaluation des risques
- NRS-C3Données sur les aléas, l'exposition, la vulnérabilité et les capacités
- NRS-C4Modèle de données sur les risques, identifiants et échange
- NRS-C7Alerte précoce, seuils de déclenchement et action anticipatoire
Évaluation
- 40%
Compte rendu de laboratoire
Appliquer la méthode de la discipline à un cas documenté et expliquer chaque résultat avec sa source et sa date
- 40%
Note de cas
Appliquer les méthodes de la discipline à un lieu ou à une organisation nommés, en précisant les données probantes et les limites
- 20%
Contrôle des termes clés
Réponses courtes sur les termes clés, notées par rapport aux définitions
Mode de dispensation
- En ligne à votre rythme, avec les laboratoires dans le navigateur
- Étude en cohorte sur six à huit semaines, avec une revue de laboratoire hebdomadaire
- Co-dispensé avec une institution partenaire, dans le cadre de ses propres cours
Devenir partenaire de ce cours
- Co-enseigner un module et apporter un cas actuel tiré de votre travail
- Accueillir une cohorte pour vos apprenants, avec votre propre calendrier et votre propre évaluation
- Contribuer un laboratoire : un jeu de données que votre institution publie en accès ouvert, ou un modèle
- Examiner le contenu du cours et ses références avant son ouverture
- Traduire le cours et adapter ses cas à votre région
Comment les institutions et les experts participent
Dans le LMS de l'Academy
- Course on the learning platform
- Intermediate, 4 sections
- Groupe de cohorte
- A community group for each cohort of learners
- Réalisation
- Recorded on completion of the assessed work
Références 4
- National Institute of Standards and Technology, CAISI Evaluation of DeepSeek V4 Pro,
- Shevlane et al., Model evaluation for extreme risks, 2023
- Phuong et al., Evaluating Frontier Models for Dangerous Capabilities, 2024
- Clymer et al., Safety Cases: How to Justify the Safety of Advanced AI Systems, 2024