Risk Academy, geleitet vom Nexus Consortium · Kurskatalog · Technologie und digitale Systeme
Künstliche Intelligenz und autonome Systeme
KI-Sicherheit und Evaluierung
AI safety and evaluation, taught twice over: as the working methods of the field and as its frontier since 2024, with labs on the Academy's tools, open data and the Nexus Standards.
KI-Sicherheit und -Evaluierung: Grundlagen und Praxis
Dieser Bereich behandelt, wie Fähigkeiten, Zuverlässigkeit und Risiken von KI- systemen vor und nach dem Einsatz getestet werden: Evaluierungsdesign, Red-Teaming, Benchmarks und ihre Grenzen, Safety Cases für Frontier-Modelle und agentische Systeme sowie die Meldung von Vorfällen.
KI-Sicherheit und -Evaluierung: Grundlagen und Praxis
Stufe
L2 Mittelstufe
Lernzeit
etwa 24 Stunden (Planungsschätzung)
Status
In Erstellung
Voraussetzungen
Ein L1-Kurs im Bereich oder eine Eingangsprüfung
Warum jetzt
Zeigt, warum unabhängige und zurückgehaltene Benchmarks wichtig sind, wenn man sich auf von Anbietern gemeldete Evaluationsergebnisse stützt.
Red-Teaming und die übrigen Schlüsselbegriffe der Disziplin definieren und in einer schriftlichen Fallbearbeitung korrekt verwenden
Evaluierungsdesign und Metriken sowie Red-Teaming und Adversarial Testing anhand eines durchgerechneten Beispiels und seiner Quelle erläutern
Wenden Sie die Methode der Disziplin auf einen dokumentierten Fall an und erläutern Sie jedes Ergebnis mit seiner Quelle
Einen benannten Fall anhand von Benchmarks und Datenkontamination analysieren, unter Angabe von Evidenz, Datum und Grenzen
Module
01
Evaluierungsdesign und Metriken
Evaluierungsdesign und Metriken
Red-Teaming und Adversarial Testing
Benchmarks und Datenkontamination
02
Bewertungen gefährlicher Fähigkeiten
Bewertungen gefährlicher Fähigkeiten
Sicherheitsnachweise (Safety Cases) für Frontier-Modelle
Agentic system evaluation
03
Überwachung nach dem Einsatz
Überwachung nach dem Einsatz
Meldung und Offenlegung von Vorfällen
04
Lab: die Methode der Disziplin
An attack success rate is measured per attempt against a stated attacker budget; the chance that at least one of k attempts succeeds grows as 1 minus (1 minus s) to the k, and a release gate compares that cumulative figure, after defences, with the level a safety case can tolerate.
Erarbeiten Sie die Methode an einem dokumentierten Fall und erläutern Sie jedes Ergebnis
Die Quellen und angegebenen Werte der Methode lesen
Die Methoden, Daten, Werkzeuge und Studien, die die KI-Sicherheit und -Evaluierung zwischen 2024 und 2026 verändert haben, vermittelt durch ihre Reproduktion auf offenen Daten.
KI-Sicherheit und -Evaluierung: Frontier-Methoden
Stufe
L3 Fortgeschritten
Lernzeit
etwa 28 Stunden (Planungsschätzung)
Status
Geplant
Voraussetzungen
KI-Sicherheit und Evaluierung: Grundlagen und Praxis; Praktische Kenntnisse in einer Skriptsprache (Python oder R) für die Labs
Warum jetzt
Zeigt, warum unabhängige und zurückgehaltene Benchmarks wichtig sind, wenn man sich auf von Anbietern gemeldete Evaluationsergebnisse stützt.
Erkläre, was sich seit 2024 in der KI-Sicherheit und -Evaluierung geändert hat, und nenne die Studien, Daten oder Regeln hinter jeder Änderung
Reproduzieren: Unabhängige Evaluierung stellt eine Lücke zu den vom Entwickler selbst gemeldeten Werten auf offenen Daten fest; die Unsicherheit des Ergebnisses angeben
Bewerten Sie eine Studie von 2024 bis 2026: ihre Fragestellung, Daten, Methode, Grenzen und was sie für die Praxis verändert
Entwerfen Sie eine Analyse, die eine Frontier-Methode mit den Instrumenten der Fakultät kombiniert, und begründen Sie jede Wahl
Module
01
Unabhängige Evaluation stellt Abweichung von den vom Entwickler selbst gemeldeten Werten fest
Das Center for AI Standards and Innovation des NIST stellte fest, dass DeepSeek V4 Pro bei den eigenen Evaluierungen des Entwicklers besser abschnitt als bei denen des CAISI, einschließlich nicht öffentlicher Benchmarks, und schätzt, dass es führenden US-Modellen um etwa acht Monate hinterherhinkt.
Zeigt, warum unabhängige und zurückgehaltene Benchmarks wichtig sind, wenn man sich auf von Anbietern gemeldete Evaluationsergebnisse stützt.
National Institute of Standards and Technology, 1. Mai 2026
02
UK AI Security Institute publishes first Frontier AI Trends Report
Drawing on evaluations of over 30 frontier models since 2023, the institute reports fast capability growth in cyber, chemistry and biology tasks, universal jailbreaks found in every system tested, and rising self-replication precursors.
Bietet Testergebnisse von Regierungen zu gefährlichen Fähigkeiten und zur Stärke von Schutzvorkehrungen, die Evaluierende zum Vergleich ihrer eigenen Methoden nutzen können.
AI Security Institute (Vereinigtes Königreich), 18. Dezember 2025
03
Das Schlüssel-Update prüft technische Schutzmaßnahmen und das Management von Frontier-Risiken
Das zweite wichtige Update stellt fest, dass Prompt-Injection-Angriffe mit zehn Versuchen immer noch etwa zur Hälfte gelingen, dass kleine Data-Poisoning-Angriffe wirksam sein können und dass mindestens 12 Unternehmen inzwischen Frontier-Sicherheitsrahmen veröffentlichen, deren Schwellenwerte überwiegend implizit sind.
Klärt, wie viel Sicherheit die derzeitigen Schutzmaßnahmen bieten, was den Umfang des Red-Teamings und die Beurteilung des Restrisikos prägt.
International AI Safety Report, 25. November 2025
04
Zeithorizont-Metrik misst das Wachstum der Länge autonomer Aufgaben
Forschende schlugen vor, die Fähigkeit von KI an der Länge der Softwareaufgaben zu messen, die Modelle zuverlässig abschließen, und stellten fest, dass sich dieser Horizont seit 2019 etwa alle sieben Monate verdoppelt hat.
Gibt Evaluatoren ein Trendmaß für agentische Fähigkeiten an die Hand, das Prognosen und Schwellenwerte in Sicherheitsnachweisen stützen kann.
arXiv, 18 March 2025
05
Vereinigtes Königreich benennt AI Safety Institute in AI Security Institute um
The UK government renamed the institute and refocused it on serious AI risks with security implications, such as chemical and biological misuse, cyber-attacks, fraud and child abuse material, adding a criminal misuse team.
Zeigt, wie ein führender öffentlicher Evaluator sicherheitsrelevanten Missbrauch in seiner Testagenda nun priorisiert.
UK Department for Science, Innovation and Technology, 14 February 2025
06
Reproduktions-Lab
Erweitern Sie die Methode der Disziplin um eine Frontier-Methode und vergleichen Sie die Ergebnisse
Die Unsicherheit und die Grenzen des Ergebnisses angeben
Wie die Zuordnung zu den Nexus Standards zu lesen ist
The Academy proposes how each discipline teaches toward the Nexus Standards; the mapping is open for public review. Bodies and standards are named so learners can find and apply their published work; the Academy teaches their use and links to the publisher, and no affiliation is implied.
04Live-Karte
Vernetzte Aktivität im Vereinigten Königreich und in Irland
Nachtlichter und Bevölkerungsdichte, der Fußabdruck elektrifizierter, vernetzter Aktivität, über dem Vereinigten Königreich und Irland.
Die interaktive Karte benötigt JavaScript; die Ebenenliste und die Quellen finden Sie unten.
täglich; Satellitenstrahldichte, korrigiert um Mondlicht und Atmosphäre
Neuester Stand bei der Erstellung
2026-10-12
Beschluss
Raster von etwa 500 m
Unsicherheit
Nächtliche Satellitenstrahldichte für das angezeigte Datum; Lichter sind ein Näherungswert für Stromverbrauch und Ausfälle, keine Messung von Versorgung oder Zugang.
Erreicht über
gibs.earthdata.nasa.gov, erst nachdem Sie die Live-Karte zugelassen haben
Über diese Ebene
Evidenz
Geschätzt
Quelle
Gridded Population of the World v4.11 (NASA SEDAC (CIESIN, Columbia University))
Zensusbasierte Schätzung der Einwohner je Quadratkilometer im Jahr 2020, als Kontext zur Exposition dargestellt; keine Zählung der von einer Gefahr betroffenen Menschen.
Erreicht über
gibs.earthdata.nasa.gov, erst nachdem Sie die Live-Karte zugelassen haben
Satellitenbild. Satelliten- oder Modellraster, wie vom Anbieter veröffentlicht. Wolken, Streifenlücken und Abrufunsicherheit hinterlassen Lücken und Rauschen; die Werte sind Indikatoren, keine Messungen an einem Ort.
Erreicht über
gibs.earthdata.nasa.gov, erst nachdem Sie die Live-Karte zugelassen haben
Tastatur, bei fokussierter Karte
Strg oder ⌘ gedrückt halten und scrollen, um zu zoomen
Zum Verschieben ziehen. Zum Zoomen Strg oder ⌘ gedrückt halten und scrollen, die Zwei-Finger-Geste oder die Schaltflächen verwenden; für die Werte unter dem Zeiger darüberfahren; Zurücksetzen kehrt zur Region zurück.
Vernetzte Aktivität, am Beispiel des Vereinigten Königreichs und Irlands.Satelliten- und Modellprodukte, wie sie die NASA veröffentlicht, jeweils mit eigenem Datum. Sie sind Indikatoren, keine Bewertungen eines Ortes.
Wir danken für die Nutzung von Bildmaterial der Dienste des Global Imagery Browse Services (GIBS) der NASA, Teil des Earth Science Data and Information System (ESDIS) der NASA. Farben nach der veröffentlichten Farbskala neu gezeichnet; Werte, wo dargestellt, in H3-Zellen gemittelt (verändert). Offene NASA-Daten
Wir danken für die Nutzung von Bildmaterial der Dienste des Global Imagery Browse Services (GIBS) der NASA, Teil des Earth Science Data and Information System (ESDIS) der NASA. Farben nach der veröffentlichten Farbskala neu gezeichnet; Werte, wo dargestellt, in H3-Zellen gemittelt (verändert). Offene NASA-Daten
VIIRS-Black-Marble-Nachtlichter, NASA Goddard Space Flight Center; verbreitet vom NASA Level-1 and Atmosphere Archive and Distribution System (LAADS DAAC); Bildmaterial über NASA GIBS. Farben nach der veröffentlichten Farbskala neu gezeichnet; Werte, wo dargestellt, in H3-Zellen gemittelt (verändert). Offene NASA-Daten
Center for International Earth Science Information Network (CIESIN), Columbia University. 2018. Gridded Population of the World, Version 4 (GPWv4): Population Density, Revision 11. NASA Socioeconomic Data and Applications Center (SEDAC). Licensed under CC BY 4.0. Colours redrawn from the published colour map; values averaged into H3 cells where shown (modified). doi:10.7927/H49C6VHW. CC BY 4.0
VIIRS-Produkte in Beinahe-Echtzeit (Überflutung, Landoberflächentemperatur, Schneebedeckung, korrigierte Reflexion), NASA LANCE; Bildmaterial über NASA GIBS. Farben nach der veröffentlichten Farbskala neu gezeichnet; Werte, wo dargestellt, in H3-Zellen gemittelt (verändert). Offene NASA-Daten
ASTER GDEM ist ein Produkt von METI und NASA (ASTER Global Digital Elevation Model V003, NASA LP DAAC); Bildmaterial über NASA GIBS. Farben nach der veröffentlichten Farbskala neu gezeichnet; Werte, wo dargestellt, in H3-Zellen gemittelt (verändert). Zitierweise: NASA/METI/AIST/Japan Spacesystems and U.S./Japan ASTER Science Team (2019). ASTER Global Digital Elevation Model V003. doi:10.5067/ASTER/ASTGTM.003. Offene NASA-Daten
Erstellt mit Natural Earth. Freie Vektor- und Rasterkartendaten @ naturalearthdata.com. Gemeinfrei
Blue Marble, NASA Earth Observatory; Bilddaten über NASA GIBS. Farben nach der veröffentlichten Farbkarte neu gezeichnet; Werte, wo dargestellt, in H3-Zellen gemittelt (verändert). Offene NASA-Daten
Live-Ereignisse: NASA Earth Observatory Natural Event Tracker (EONET). Die Ereignisse sind indikativ und behalten ihre ursprünglichen Quellenlinks.
NASA GIBS: Wir danken für die Nutzung von Bildmaterial der Dienste des Global Imagery Browse Services (GIBS) der NASA, Teil des Earth Science Data and Information System (ESDIS) der NASA.
Optionale Ebenen (3 Quellen in der Ebenenliste: live, Prognose, beobachtet und Kontext) zeigen bei Aktivierung ihre Anbieternennung auf der Karte und hier; Prognosen sind Modellausgaben und abgeleitete Indizes sind Schätzungen.
Ebenen und Daten
Nachtlichter, täglich: VIIRS Black Marble (VNP46A2), NASA LAADS DAAC · 12. Okt. 2026
Population density, 2020: Population: CIESIN, Columbia University, Gridded Population of the World v4.11 (2018), NASA SEDAC, CC BY 4.0 · static
Wählen Sie ein Szenario und drücken Sie auf Abspielen: Kurs, Lernpfad, Praxis, Fakultät, Zellen und Aufzeichnung.
Risk Academy
Course, catalogue to completion
A free course pairs one discipline's methods with a real place, open data and standards, with module checks, assessed work and a completion record.
Scenarios Course · Practice · Record
01 Open
01
Choose a course
Start · the learner
Find the course in the catalogue, by faculty, level, kind or the standard it teaches.
02
Entry check
Gate · the course
The prerequisites say what to study first; an entry review stands in for them.
02 Study
03
Erkenntnisse
Step · the learner
Read and work through the lessons, self-paced or with a cohort.
04
Labs on the twin
Exercise · the learner, on the faculty twin
Run the discipline's method and the faculty instruments on the twin of a real place.
03 Assess
05
Module checks
Gate · the course
Each module ends with a short check against its outcomes.
06
Assessed work
Decision · reviewers and peers
A lab record, a case memo and a key terms check, with peer review where the course asks for it.
04 Record
07
Abschlussnachweis
Record · the Academy
The record names the course, its version and the date; it is the learner's to share.
08
Next course
Outcome · the learner
The record stacks into the discipline and pathway achievements, and the next course opens.
How learning works · Courses An outline of how the work is designed to run; it does not report the status of any decision or record.
06Mitwirken
An der Arbeit mitwirken
Beginnen Sie bei Ihrer Rolle.
Zugänge
Pfad
Nationale Institutionen
Ministerien, Statistikämter und Behörden: eine nationale Anlaufstelle und Sektion sowie ein Sitz in den Arbeitsgruppen. Nationale Sektionen
Pfad
Sektoren und Berufe
Betreiber, Aufsichtsbehörden, Banken, Versicherer und Berufsverbände, deren Arbeit systemische Risiken berührt. Für Organisationen
Pfad
Lernen
Kurse und Praxis, mit einem Nachweis über jeden abgeschlossenen Kurs. Kostenlos lernen. Offenes Lernen
Pfad
Normen
Methoden- und Datenstandards gemeinsam mit den Arbeitsgruppen entwerfen, prüfen und annehmen. Arbeitsgruppen
Pfad
Gemeinschaften und Forschung
Universitäten, Zivilgesellschaft und einzelne Fachleute: Projekte, Daten und Begutachtung. An die Academy schreiben
Offene Aufrufe
Offener Aufruf
Sucht
Endet
Gründungsaufruf an Fachleute für die Arbeitsgruppen CALL-FOUNDING-EXPERTS
Fachperson, Herausgeber, Vorsitz
2026-12-15
Offene Nominierung für die drei Sitze unabhängiger Fachleute im Global Standards Council CALL-GSC-IND
council-member
2026-12-01
Nominierungen vorläufiger regionaler Mitglieder (gilt nur, wenn die Übergangsbestimmung beschlossen wird) CALL-GSC-REG
council-member
2026-12-15
Begutachtung der Entwürfe für den Risikokern der Welle 1 (C1, C2, C3, C4, C8, C10, C11) CALL-REVIEW-WAVE1
Mitwirkende
2027-01-31
Fachleute für die Kernstandards der Risikowissenschaft: Unsicherheit und Evidenzbewertung, Skalen, strukturierte Expertenurteile, Tolerierbarkeit, Extreme und zusammengesetzte Ereignisse, katastrophale und existenzielle Risiken, Ethik und Gerechtigkeit, Einheiten und Messung (NRS-C17 bis NRS-C24) CALL-CORE-SCIENCE
Fachperson, Herausgeber, Vorsitz
2027-01-31
Unabhängige Gutachter für die Familien des Gefahrenatlas, drei aus mindestens zwei Regionen je Familie (NHS2-R19), vorrangige Familien zuerst CALL-ATLAS-REVIEW
Fachkundige
2027-03-31
Mitglieder des vorläufigen Frontier Safety Review Panel und Red-Team-Gutachter (Biosicherheit und Biosecurity, KI-Sicherheit und -Schutz, Sicherheit kritischer Infrastrukturen); Bewerbungen werden vertraulich behandelt CALL-FRONTIER-SAFETY-REVIEW
Fachkundige
2026-11-30
Fachleute für Ontologie, Metrologie, Softwareverifikation und Konformitätsbewertung für das Anforderungsregister, die maschinelle Darstellung von NHS-2, die Konformitätstestsuiten und das Konformitätsbewertungsprogramm CALL-CONFORMANCE-ONTOLOGY
Fachperson, Herausgeber
2027-01-31
Aufrufe nach Ablauf der Frist werden automatisch ausgeblendet. Alle Aufrufe, Vorschläge und Wege: offene Bereiche und Aufrufe.
Zellen
A cell is a small team with a clear mission, a host and a record of what it does. Choose the type that fits.
University, student and national chapter teams. Open
A cell acts within its host's rules and never replaces an authority. A CERT works alongside the local emergency services, follows their direction and is not an emergency service.
How a cell forms
01
Die Zelle zusammenstellen
Bringen Sie drei bis sieben Personen mit sich ergänzenden Kompetenzen zusammen: Daten, Feldpraxis, Politik und Kommunikation.
02
Choose a type
Pick the kind of cell that fits the work, from the gallery below. A cell can add a second focus later. See the types
03
Registrieren
Name the cell, its members, area and region, and who hosts it. You receive a reference and a contact. Form a cell
04
Gemeinsam lernen
Folgen Sie gemeinsamen Lernpfaden an der Risk Academy, mit Praxis und einem Nachweis über jeden abgeschlossenen Kurs. Gefahren und Resilienz
05
Leiten und berichten
Hold regular sessions. Publish what the cell learns through Reports. Bring findings to the working groups. Working groups
Der Index
What a national team or a local community can do on The Global Risks Index (NXS-GRX) today.
NXS-GRX
Das Profil Ihres Landes
Offene Risikoprofile für 195 Länder, mit Quellen und Lizenzen zu jedem Wert. Den Index öffnen
NXS-GRX
Korrigieren oder antworten
Korrigieren Sie einen Wert oder antworten Sie für Ihr Land. Die Änderung wird mit ihrer Wirkung protokolliert. Den Index öffnen
NXS-GRX
Daten anbieten
Bieten Sie einen Datensatz an. Er durchläuft das Lizenz-Gate und wird Ihnen zugeschrieben. Den Index öffnen
NXS-GRX
Die offenen Daten nutzen
Ebenen, Profile und Kacheln über die offene API. Den Index öffnen
07Fragen
Fragen, Antworten und Schlüsselbegriffe
Ist der Kurs kostenlos?
Ja. Alle Kurse und Lernmaterialien der Risk Academy, geleitet vom Nexus Consortium, sind kostenfrei, im eigenen Tempo oder in einer Kohorte. Die reguläre Teilnahme ist gebührenfrei. Bezahlte Arbeit, Praktika und Fellowships sind gesonderte Vereinbarungen.
Was bringt mir der Abschluss eines Kurses?
Ein Abschlussnachweis: der Kurs, seine Version, das Datum und der Gegenstand der Prüfung, standardmäßig privat und von Ihnen geteilt. Nachweise bauen sich zu Leistungsnachweisen für Disziplin, Abteilung und Programm auf. Ein Nachweis gibt an, was studiert und geprüft wurde, und bescheinigt keine Kompetenz. Er ist weder eine Zulassung noch ein Berufstitel noch ein Beschäftigungsstatus.
Woher stammen die Daten und die Orte?
Jede Fakultät lehrt an einem Zwilling eines realen Ortes, der aus offenen Daten aufgebaut ist. Jede Ebene nennt Anbieter, Lizenz und Datum, und jedes Ergebnis der Academy nennt seine Quelle. Karten und Zahlen sind Indikatoren für die Lehre, niemals eine Bewertung eines Ortes.
Wie kann ich über den Kurs hinaus mitwirken?
Bilden Sie eine Kompetenzzelle aus drei bis sieben Personen, bearbeiten Sie einen gemeinsamen Lernpfad, übernehmen Sie eine betreute Aufgabe in den nationalen Arbeitsgruppen oder bringen Sie eine Kohorte aus Ihrer Institution mit. Für Organisationen.
Schlüsselbegriffe
Red-teaming
Strukturierte Versuche, ein System zum Versagen oder zu Fehlverhalten zu bringen, um Schwachstellen zu finden, bevor andere es tun.
Benchmark-Kontamination
Wenn Testdaten in die Trainingsdaten eines Modells gelangt sind, sodass die Ergebnisse seine Leistungsfähigkeit überzeichnen.
Sicherheitsnachweis
Eine strukturierte, durch Evidenz gestützte Argumentation, dass ein System für eine bestimmte Verwendung hinreichend sicher ist.
Frontier-Modell
Ein KI-Modell für allgemeine Zwecke auf oder nahe dem jeweils leistungsfähigsten verfügbaren Niveau.
BerichteBeitragen
Evidenz von dieser Seite aus beitragen.
Reports is the Consortium's quarterly publication, written by six desks. This page sits with the Academy Capability desk. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work. Sent to the wrong desk, it is forwarded, not refused.
Senden Sie nie personenbezogene Daten, sensible Infrastrukturdetails oder etwas, das Sie nicht weitergeben dürfen. Ein Beitrag wird vor der Nutzung geprüft; das Einsenden begründet weder Urheberschaft noch redaktionelle Rechte, und Sponsoring erkauft nie ein Ergebnis.
Study AI safety and evaluation with us, or teach it
Jeder Kurs ist kostenlos und offen. Institutionen und Fachleute können mitunterrichten, eine Kohorte ausrichten, ein Lab beitragen oder einen Kurs vor seiner Eröffnung begutachten.
Diese Website verwendet nur unbedingt erforderliche Cookies, um zu funktionieren und Ihre Datenschutzeinstellungen zu speichern. Nichts wird von anderen Unternehmen geladen, und wir verkaufen oder teilen Ihre personenbezogenen Daten niemals.
Details
Diese Website verwendet nur unbedingt erforderliche Cookies, um zu funktionieren und Ihre Datenschutzeinstellungen zu speichern. Nichts wird von anderen Unternehmen geladen, und wir verkaufen oder teilen Ihre personenbezogenen Daten niemals. Wir schalten keine Werbung. Sie können Ihre Einstellungen jederzeit über „Datenschutzeinstellungen“ am Fuß jeder Seite überprüfen.