Risk Academy, dirigida por el Nexus Consortium · Catálogo de cursos · Tecnología y Sistemas Digitales
Inteligencia artificial y sistemas autónomos
Seguridad y evaluación de la IA
AI safety and evaluation, taught twice over: as the working methods of the field and as its frontier since 2024, with labs on the Academy's tools, open data and the Nexus Standards.
Seguridad y evaluación de la IA: fundamentos y práctica
This area covers how the capabilities, reliability and risks of AI systems are tested before and after deployment: evaluation design, red-teaming, benchmarks and their limits, safety cases for frontier models and agentic systems, and incident reporting.
Seguridad y evaluación de la IA: fundamentos y práctica
Nivel
L2 Intermedio
Tiempo de estudio
unas 24 horas (estimación de planificación)
Estado
En redacción
Requisitos previos
Un curso L1 en el ámbito, o una revisión de acceso
Por qué ahora
Muestra por qué importan los puntos de referencia independientes y reservados al confiar en resultados de evaluación comunicados por los proveedores.
Definir el red teaming y los demás términos clave de la disciplina y utilizarlos correctamente en un caso escrito
Explicar el diseño y las métricas de evaluación, y las pruebas de red teaming y adversarias, con un ejemplo resuelto y su fuente
Aplique el método de la disciplina a un caso documentado y explique cada resultado con su fuente
Analizar un caso concreto frente a referencias de comparación y contaminación de datos, indicando la evidencia, la fecha y los límites
Módulos
01
Diseño de la evaluación y métricas
Diseño de la evaluación y métricas
Pruebas de equipo rojo y pruebas adversarias
Pruebas de referencia y contaminación de datos
02
Evaluaciones de capacidades peligrosas
Evaluaciones de capacidades peligrosas
Safety cases for frontier models
Agentic system evaluation
03
Seguimiento tras el despliegue
Seguimiento tras el despliegue
Incident reporting and disclosure
04
Laboratorio: el método de la disciplina
An attack success rate is measured per attempt against a stated attacker budget; the chance that at least one of k attempts succeeds grows as 1 minus (1 minus s) to the k, and a release gate compares that cumulative figure, after defences, with the level a safety case can tolerate.
Aplique el método a un caso documentado y explique cada resultado
Lea las fuentes y los valores declarados del método
Explica qué ha cambiado en la seguridad y la evaluación de la IA desde 2024 y cita los estudios, datos o normas que respaldan cada cambio
Reproduce independent evaluation finds gap with developer self-reported scores on open data and state the uncertainty of the result
Evalúe un estudio de 2024 a 2026: su pregunta, sus datos, su método, sus límites y lo que cambia para la práctica
Diseñe un análisis que combine un método de vanguardia con los instrumentos de la facultad y justifique cada elección
Módulos
01
Una evaluación independiente halla una brecha con las puntuaciones autodeclaradas por los desarrolladores
El Center for AI Standards and Innovation del NIST constató que DeepSeek V4 Pro obtuvo mejores resultados en las evaluaciones del propio desarrollador que en las del CAISI, incluidas pruebas de referencia no públicas, y estima que va unos ocho meses por detrás de los principales modelos estadounidenses.
Muestra por qué importan los puntos de referencia independientes y reservados al confiar en resultados de evaluación comunicados por los proveedores.
National Institute of Standards and Technology, 1 May 2026
02
El Instituto de Seguridad de la IA del Reino Unido publica su primer informe sobre las tendencias de la IA de frontera
Drawing on evaluations of over 30 frontier models since 2023, the institute reports fast capability growth in cyber, chemistry and biology tasks, universal jailbreaks found in every system tested, and rising self-replication precursors.
Offers government test results on dangerous capabilities and safeguard strength that evaluators can use to benchmark their own methods.
AI Security Institute (Reino Unido), 18 de diciembre de 2025
03
Key update reviews technical safeguards and frontier risk management
The second key update finds prompt injection attacks still succeed about half the time with ten attempts, small data-poisoning attacks can be effective, and at least 12 companies now publish frontier safety frameworks with mostly implicit thresholds.
Aclara cuánta garantía ofrecen las salvaguardias actuales, lo que determina el alcance del equipo rojo y los juicios sobre el riesgo residual.
International AI Safety Report, 25 November 2025
04
La métrica de horizonte temporal mide el crecimiento de la duración de las tareas autónomas
Unos investigadores propusieron medir la capacidad de la IA por la duración de las tareas de software que los modelos completan de forma fiable, y comprobaron que este horizonte se ha duplicado aproximadamente cada siete meses desde 2019.
Gives evaluators a trend measure for agentic capability that can inform forecasts and thresholds in safety cases.
arXiv, 18 March 2025
05
El Reino Unido cambia el nombre del AI Safety Institute por AI Security Institute
El Gobierno del Reino Unido cambió el nombre del instituto y lo reorientó hacia los riesgos graves de la IA con implicaciones de seguridad, como el uso indebido químico y biológico, los ciberataques, el fraude y el material de abuso infantil, y añadió un equipo sobre uso delictivo indebido.
Signals how a leading public evaluator now prioritises security-related misuse in its testing agenda.
Departamento de Ciencia, Innovación y Tecnología del Reino Unido, 14 de febrero de 2025
06
Laboratorio de reproducción
Amplíe el método de la disciplina con un método de vanguardia y compare sus resultados
Indique la incertidumbre y los límites del resultado
Revisión por pares con una lista de verificación común
Cómo se lee la correspondencia con los Nexus Standards
The Academy proposes how each discipline teaches toward the Nexus Standards; the mapping is open for public review. Bodies and standards are named so learners can find and apply their published work; the Academy teaches their use and links to the publisher, and no affiliation is implied.
04Mapa en tiempo real
Actividad conectada en el Reino Unido e Irlanda
Luces nocturnas y densidad de población, la huella de la actividad electrificada y conectada, sobre el Reino Unido e Irlanda.
El mapa interactivo requiere JavaScript; la lista de capas y las fuentes figuran a continuación.
Estimación basada en censos de personas por kilómetro cuadrado en 2020, mostrada como contexto de exposición; no es un recuento de las personas afectadas por ninguna amenaza.
Se accede a través de
gibs.earthdata.nasa.gov, solo después de que usted permita el mapa en vivo
Satellite image. Satellite or model raster as the provider publishes it. Clouds, swath gaps and retrieval error leave gaps and noise; values are indicators, not measurements at a place.
Se accede a través de
gibs.earthdata.nasa.gov, solo después de que usted permita el mapa en vivo
Arrastre para desplazar. Ctrl o ⌘ y desplazamiento, pellizco o los botones para ampliar; pase el puntero para ver los valores; restablecer devuelve a la región.
Actividad conectada, con enfoque en el Reino Unido e Irlanda.Productos satelitales y de modelos tal como los publica la NASA, cada uno con su propia fecha. Son indicadores, no evaluaciones de ningún lugar.
Reconocemos el uso de imágenes proporcionadas por los servicios del Sistema Global de Exploración de Imágenes (GIBS) de la NASA, parte del Sistema de Datos e Información de Ciencias de la Tierra (ESDIS) de la NASA. Colores redibujados a partir del mapa de colores publicado; valores promediados en celdas H3 donde se muestran (modificado). Datos abiertos de la NASA
Reconocemos el uso de imágenes proporcionadas por los servicios del Sistema Global de Exploración de Imágenes (GIBS) de la NASA, parte del Sistema de Datos e Información de Ciencias de la Tierra (ESDIS) de la NASA. Colores redibujados a partir del mapa de colores publicado; valores promediados en celdas H3 donde se muestran (modificado). Datos abiertos de la NASA
Luces nocturnas VIIRS Black Marble, NASA Goddard Space Flight Center; distribuidas por el NASA Level-1 and Atmosphere Archive and Distribution System (LAADS DAAC); imágenes vía NASA GIBS. Colores redibujados a partir de la paleta publicada; valores promediados en celdas H3 donde se muestran (modificado). Datos abiertos de la NASA
Center for International Earth Science Information Network (CIESIN), Columbia University. 2018. Gridded Population of the World, Version 4 (GPWv4): Population Density, Revision 11. NASA Socioeconomic Data and Applications Center (SEDAC). Licensed under CC BY 4.0. Colours redrawn from the published colour map; values averaged into H3 cells where shown (modified). doi:10.7927/H49C6VHW. CC BY 4.0
Productos VIIRS en tiempo casi real (inundación, temperatura de la superficie terrestre, cobertura de nieve, reflectancia corregida), NASA LANCE; imágenes a través de NASA GIBS. Colores redibujados a partir del mapa de colores publicado; valores promediados en celdas H3 donde se muestran (modificado). Datos abiertos de la NASA
ASTER GDEM es un producto de METI y la NASA (ASTER Global Digital Elevation Model V003, NASA LP DAAC); imágenes mediante NASA GIBS. Colores redibujados a partir del mapa de colores publicado; valores promediados en celdas H3 cuando se muestran (modificado). Cítese como: NASA/METI/AIST/Japan Spacesystems and U.S./Japan ASTER Science Team (2019). ASTER Global Digital Elevation Model V003. doi:10.5067/ASTER/ASTGTM.003. Datos abiertos de la NASA
Elaborado con Natural Earth. Datos cartográficos vectoriales y ráster gratuitos en naturalearthdata.com. Dominio público
Blue Marble, NASA Earth Observatory; imágenes mediante NASA GIBS. Colores redibujados a partir del mapa de colores publicado; valores promediados en celdas H3 cuando se muestran (modificado). Datos abiertos de la NASA
Eventos en vivo: Rastreador de Eventos Naturales del Observatorio de la Tierra de la NASA (EONET); los eventos son indicativos y conservan sus enlaces de origen.
NASA GIBS: reconocemos el uso de imágenes proporcionadas por los servicios del Sistema Global de Exploración de Imágenes (GIBS) de la NASA, parte del Sistema de Datos e Información de Ciencias de la Tierra (ESDIS) de la NASA.
Las capas opcionales (3 fuentes en la lista de capas: en tiempo real, pronóstico, observado y contexto) muestran el crédito de su proveedor en el mapa y aquí cuando se activan; los pronósticos son salidas de modelos y los índices derivados son estimaciones.
Capas y fechas
Luces nocturnas, diario: VIIRS Black Marble (VNP46A2), NASA LAADS DAAC · 12 oct. 2026
Population density, 2020: Population: CIESIN, Columbia University, Gridded Population of the World v4.11 (2018), NASA SEDAC, CC BY 4.0 · static
Color verdadero: reflectancia corregida VIIRS NOAA-20, NASA LANCE · 13 oct. 2026
Cómo funciona el aprendizaje, como un proceso que usted puede ejecutar
8 steps · 4 stages · 2 gates · 16 processes
Elija un escenario y pulse Reproducir: curso, itinerario, práctica, facultad, células y registro.
Risk Academy
Course, catalogue to completion
A free course pairs one discipline's methods with a real place, open data and standards, with module checks, assessed work and a completion record.
Scenarios Course · Practice · Record
01 Open
01
Choose a course
Start · the learner
Find the course in the catalogue, by faculty, level, kind or the standard it teaches.
02
Entry check
Gate · the course
The prerequisites say what to study first; an entry review stands in for them.
02 Study
03
Lessons
Step · the learner
Read and work through the lessons, self-paced or with a cohort.
04
Labs on the twin
Exercise · the learner, on the faculty twin
Run the discipline's method and the faculty instruments on the twin of a real place.
03 Assess
05
Module checks
Gate · the course
Each module ends with a short check against its outcomes.
06
Assessed work
Decision · reviewers and peers
A lab record, a case memo and a key terms check, with peer review where the course asks for it.
04 Record
07
Registro de finalización
Record · the Academy
The record names the course, its version and the date; it is the learner's to share.
08
Next course
Outcome · the learner
The record stacks into the discipline and pathway achievements, and the next course opens.
How learning works · Courses An outline of how the work is designed to run; it does not report the status of any decision or record.
06Participe
Participe en el trabajo
Partir de quién es usted.
Vías
Ruta
National institutions
Ministries, statistics offices and agencies: a national desk and chapter, and a seat in the working groups. National chapters
Ruta
Sectors and professions
Operators, regulators, banks, insurers and professional bodies whose work touches systemic risk. For organisations
Ruta
Aprendizaje
Courses and practice, with a record of every course completed. Free to study. Open learning
Ruta
Normas
Draft, review and adopt the methods and data standards with the working groups. Working groups
Ruta
Communities and research
Universities, civil society and individual experts: projects, data and review. Write to the Academy
Open calls
Convocatoria abierta
Seeks
Closes
Founding call for experts to the working groups CALL-FOUNDING-EXPERTS
expert, editor, chair
2026-12-15
Open nomination for the three independent expert seats of the Global Standards Council CALL-GSC-IND
miembro-del-consejo
2026-12-01
Nominations of interim regional members (applies only if the transitional provision is decided) CALL-GSC-REG
miembro-del-consejo
2026-12-15
Review of the wave-1 risk core outlines (C1, C2, C3, C4, C8, C10, C11) CALL-REVIEW-WAVE1
contributor
2027-01-31
Experts for the core standards of risk science: uncertainty and evidence grading, scales, structured expert judgement, tolerability, extremes and compound events, catastrophic and existential risk, ethics and equity, units and measurement (NRS-C17 to NRS-C24) CALL-CORE-SCIENCE
expert, editor, chair
2027-01-31
Independent reviewers for the families of the hazard atlas, three from at least two regions for each family (NHS2-R19), priority families first CALL-ATLAS-REVIEW
experto
2027-03-31
Members of the interim Frontier Safety Review Panel and red-team reviewers (biosafety and biosecurity, AI safety and security, critical-infrastructure security); applications treated in confidence CALL-FRONTIER-SAFETY-REVIEW
experto
2026-11-30
Experts in ontology, metrology, software verification and conformity assessment for the requirement register, the NHS-2 machine representation, the conformance test suites and the conformity assessment scheme CALL-CONFORMANCE-ONTOLOGY
expert, editor
2027-01-31
Calls past their closing date are hidden automatically. Every call, proposal and route: open areas and calls.
Celdas
A cell is a small team with a clear mission, a host and a record of what it does. Choose the type that fits.
University, student and national chapter teams. Open
A cell acts within its host's rules and never replaces an authority. A CERT works alongside the local emergency services, follows their direction and is not an emergency service.
How a cell forms
01
Gather the cell
Bring together three to seven people with complementary skills: data, field practice, policy and communication.
02
Choose a type
Pick the kind of cell that fits the work, from the gallery below. A cell can add a second focus later. See the types
03
Register it
Name the cell, its members, area and region, and who hosts it. You receive a reference and a contact. Form a cell
04
Aprender juntos
Follow shared study paths at Risk Academy, with practice and a record of every course completed. Hazards and resilience
05
Lead and report
Hold regular sessions. Publish what the cell learns through Reports. Bring findings to the working groups. Working groups
El Índice
What a national team or a local community can do on The Global Risks Index (NXS-GRX) today.
NXS-GRX
Your country's profile
Open risk profiles for 195 countries, with sources and licences on every value. Open the Index
NXS-GRX
Correct or reply
Correct a value or reply for your country. The change is logged with its effect. Open the Index
NXS-GRX
Offer data
Offer a dataset. It enters through the licence gate, with your credit. Open the Index
NXS-GRX
Use the open data
Layers, profiles and tiles through the open API. Open the Index
07Preguntas
Preguntas, respuestas y términos clave
¿Es gratuito el curso?
Sí. Todos los cursos y materiales de aprendizaje de Risk Academy, dirigida por el Nexus Consortium, son de estudio gratuito, a ritmo propio o con una cohorte. La participación ordinaria no tiene costo; el trabajo remunerado, las pasantías y las becas son arreglos distintos.
¿Qué obtengo al completar un curso?
Un registro de finalización: el curso, su versión, la fecha y lo que se evaluó, privado por defecto y compartido por usted. Se acumula en logros de disciplina, departamento y programa. Un registro indica lo que se estudió y evaluó, y no certifica competencia; no es una licencia, un título profesional ni una condición laboral.
¿De dónde proceden los datos y los lugares?
Cada facultad enseña sobre un gemelo digital de un lugar real construido con datos abiertos; cada capa indica su proveedor, su licencia y su fecha, y cada resultado de la Academia indica su fuente. Los mapas y las cifras son indicadores con fines docentes, nunca una evaluación de un lugar.
¿Cómo puedo participar más allá del curso?
Forme una célula de competencias de tres a siete personas, siga un itinerario común, asuma una tarea supervisada en los Grupos de Trabajo Nacionales o inscriba a una cohorte de su institución. Para organizaciones.
Términos clave
Red-teaming
Intentos estructurados de hacer que un sistema falle o se comporte indebidamente, para encontrar sus debilidades antes que otros.
Contaminación de los puntos de referencia
Cuando los datos de prueba se han filtrado a los datos de entrenamiento de un modelo, de modo que las puntuaciones sobrestiman su capacidad.
Caso de seguridad
Un argumento estructurado, respaldado por evidencia, de que un sistema es aceptablemente seguro para un uso determinado.
Modelo de frontera
Un modelo de IA de propósito general en el nivel de mayor capacidad disponible en un momento dado, o cercano a él.
InformesContribuir
Aporte evidencia desde esta página.
Reports is the Consortium's quarterly publication, written by six desks. This page sits with the Academy Capability desk. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work. Sent to the wrong desk, it is forwarded, not refused.
No envíe nunca datos personales, detalles sensibles de infraestructura ni nada que no tenga derecho a compartir. Un aporte se revisa antes de su uso; enviarlo no confiere autoría ni derechos editoriales, y el patrocinio nunca compra un hallazgo.
Study AI safety and evaluation with us, or teach it
Todos los cursos son gratuitos y abiertos. Las instituciones y los expertos pueden coimpartir, acoger una cohorte, aportar un laboratorio o revisar un curso antes de su apertura.
Este sitio utiliza únicamente las cookies estrictamente necesarias para funcionar y para recordar sus opciones de privacidad. No se carga nada de otras empresas, y nunca vendemos ni compartimos su información personal.
Detalles
Este sitio utiliza únicamente las cookies estrictamente necesarias para funcionar y para recordar sus opciones de privacidad. No se carga nada de otras empresas, y nunca vendemos ni compartimos su información personal. No publicamos publicidad. Puede revisar sus opciones en cualquier momento desde Opciones de privacidad, al pie de cada página.