Risk Academy под руководством Nexus Consortium · Каталог курсов · Технологии и цифровые системы
Искусственный интеллект и автономные системы
Безопасность и оценка ИИ
AI safety and evaluation, taught twice over: as the working methods of the field and as its frontier since 2024, with labs on the Academy's tools, open data and the Nexus Standards.
This area covers how the capabilities, reliability and risks of AI systems are tested before and after deployment: evaluation design, red-teaming, benchmarks and their limits, safety cases for frontier models and agentic systems, and incident reporting.
Безопасность и оценка ИИ: основы и практика
Уровень
L2 Средний уровень
Время обучения
около 24 часов (плановая оценка)
Статус
В процессе подготовки
Предварительные требования
Курс уровня L1 в этой области или вступительное собеседование
Почему сейчас
Показывает, почему независимые и закрытые эталонные тесты важны, когда приходится полагаться на результаты оценки, представленные разработчиками.
Define red-teaming and the other key terms of the discipline and use them correctly in a written case
Explain evaluation design and metrics and red-teaming and adversarial testing with a worked example and its source
Примените метод дисциплины к задокументированному кейсу и объясните каждый результат со ссылкой на источник
Analyse a named case against benchmarks and data contamination, stating evidence, date and limits
Модули
01
Evaluation design and metrics
Evaluation design and metrics
Red-teaming и состязательное тестирование
Benchmarks and data contamination
02
Dangerous capability evaluations
Dangerous capability evaluations
Safety cases for frontier models
Agentic system evaluation
03
Мониторинг после внедрения
Мониторинг после внедрения
Incident reporting and disclosure
04
Лаборатория: метод дисциплины
An attack success rate is measured per attempt against a stated attacker budget; the chance that at least one of k attempts succeeds grows as 1 minus (1 minus s) to the k, and a release gate compares that cumulative figure, after defences, with the level a safety case can tolerate.
Проработайте метод на задокументированном кейсе и объясните каждый результат
Explain what changed in AI safety and evaluation since 2024 and cite the studies, data or rules behind each change
Reproduce independent evaluation finds gap with developer self-reported scores on open data and state the uncertainty of the result
Оцените исследование 2024–2026 годов: его вопрос, данные, метод, ограничения и что оно меняет для практики
Спроектируйте анализ, сочетающий передовой метод с инструментами факультета, и обоснуйте каждый выбор
Модули
01
Независимая оценка выявила расхождение с баллами, о которых сообщают сами разработчики
NIST's Center for AI Standards and Innovation found DeepSeek V4 Pro scored better on the developer's own evaluations than on CAISI's, including non-public benchmarks, estimating it trails leading US models by about eight months.
Показывает, почему независимые и закрытые эталонные тесты важны, когда приходится полагаться на результаты оценки, представленные разработчиками.
National Institute of Standards and Technology, 1 May 2026
02
UK AI Security Institute publishes first Frontier AI Trends Report
Drawing on evaluations of over 30 frontier models since 2023, the institute reports fast capability growth in cyber, chemistry and biology tasks, universal jailbreaks found in every system tested, and rising self-replication precursors.
Offers government test results on dangerous capabilities and safeguard strength that evaluators can use to benchmark their own methods.
AI Security Institute (UK), 18 December 2025
03
Key update reviews technical safeguards and frontier risk management
The second key update finds prompt injection attacks still succeed about half the time with ten attempts, small data-poisoning attacks can be effective, and at least 12 companies now publish frontier safety frameworks with mostly implicit thresholds.
Уточняет, какой уровень обеспечения уверенности дают действующие меры защиты, что определяет охват учений «красной команды» (red-teaming) и суждения об остаточном риске.
International AI Safety Report, 25 November 2025
04
Показатель временного горизонта измеряет рост длительности автономно выполняемых задач
Исследователи предложили измерять возможности ИИ по длине программных задач, которые модели выполняют надёжно, и обнаружили, что этот горизонт удваивается примерно каждые семь месяцев с 2019 года.
Предоставляет экспертам по оценке показатель тенденции развития агентных возможностей, который может использоваться в прогнозах и пороговых значениях в обоснованиях безопасности.
arXiv, 18 March 2025
05
UK renames AI Safety Institute as AI Security Institute
The UK government renamed the institute and refocused it on serious AI risks with security implications, such as chemical and biological misuse, cyber-attacks, fraud and child abuse material, adding a criminal misuse team.
Signals how a leading public evaluator now prioritises security-related misuse in its testing agenda.
UK Department for Science, Innovation and Technology, 14 February 2025
06
Лаборатория воспроизведения
Дополните метод дисциплины одним передовым методом и сравните результаты
Укажите неопределённость и ограничения результата
Взаимное рецензирование по общему контрольному списку
The Academy proposes how each discipline teaches toward the Nexus Standards; the mapping is open for public review. Bodies and standards are named so learners can find and apply their published work; the Academy teaches their use and links to the publisher, and no affiliation is implied.
04Живая карта
Связанная активность в Соединённом Королевстве и Ирландии
Ночное освещение и плотность населения как след электрифицированной, связанной деятельности над Соединённым Королевством и Ирландией.
Для интерактивной карты нужен JavaScript. Список слоёв и источники приведены ниже.
ежедневно; спутниковая радиация с поправкой на лунный свет и атмосферу
Новейшее на момент сборки
2026-10-12
Разрешение
сетка около 500 м
Неопределённость
Спутниковая яркость ночного излучения за указанную дату; огни служат косвенным показателем потребления электроэнергии и отключений, а не измерением поставок или доступа.
Доступно через
gibs.earthdata.nasa.gov, только после того как вы разрешите интерактивную карту
Об этом слое
Доказательная база
Оценка
Источник
Gridded Population of the World v4.11 (NASA SEDAC (CIESIN, Колумбийский университет))
Оценка числа людей на квадратный километр в 2020 году на основе переписи, показанная как контекст подверженности; это не число людей, затронутых какой-либо опасностью.
Доступно через
gibs.earthdata.nasa.gov, только после того как вы разрешите интерактивную карту
Об этом слое
Доказательная база
Наблюдения
Источник
Скорректированная отражательная способность VIIRS NOAA-20 (NASA LANCE)
Спутниковое изображение. Спутниковый или модельный растр в том виде, в каком его публикует поставщик. Облака, пропуски между полосами съёмки и ошибки восстановления оставляют пропуски и шум; значения являются индикаторами, а не измерениями в конкретном месте.
Доступно через
gibs.earthdata.nasa.gov, только после того как вы разрешите интерактивную карту
Клавиатура при фокусе на карте
Удерживайте Ctrl или ⌘ и прокручивайте для масштабирования
Перетаскивайте для перемещения. Для масштабирования используйте Ctrl или ⌘ с прокруткой, жест щипка или кнопки; наведите курсор, чтобы увидеть значения под указателем; сброс возвращает к региону.
Связанная активность, на примере Соединённого Королевства и Ирландии.Спутниковые и модельные продукты в том виде, в каком их публикует NASA, каждый со своей датой. Это индикаторы, а не оценки какого-либо места.
Мы выражаем признательность за использование изображений, предоставленных сервисами Global Imagery Browse Services (GIBS) NASA, входящими в Earth Science Data and Information System (ESDIS) NASA. Цвета воспроизведены по опубликованной цветовой шкале; значения усреднены по ячейкам H3, где указано (изменено). Открытые данные NASA
Мы выражаем признательность за использование изображений, предоставленных сервисами Global Imagery Browse Services (GIBS) NASA, входящими в Earth Science Data and Information System (ESDIS) NASA. Цвета воспроизведены по опубликованной цветовой шкале; значения усреднены по ячейкам H3, где указано (изменено). Открытые данные NASA
Ночные огни VIIRS Black Marble, NASA Goddard Space Flight Center. Распространяется через NASA Level-1 and Atmosphere Archive and Distribution System (LAADS DAAC). Изображения через NASA GIBS. Цвета перерисованы по опубликованной цветовой шкале. Где показано, значения усреднены по ячейкам H3 (изменено). Открытые данные NASA
Center for International Earth Science Information Network (CIESIN), Columbia University. 2018. Gridded Population of the World, Version 4 (GPWv4): Population Density, Revision 11. NASA Socioeconomic Data and Applications Center (SEDAC). Licensed under CC BY 4.0. Colours redrawn from the published colour map; values averaged into H3 cells where shown (modified). doi:10.7927/H49C6VHW. CC BY 4.0
Продукты VIIRS в режиме, близком к реальному времени (наводнение, температура поверхности суши, снежный покров, скорректированная отражательная способность), NASA LANCE. Изображения через NASA GIBS. Цвета перерисованы по опубликованной цветовой шкале. Где показано, значения усреднены по ячейкам H3 (изменено). Открытые данные NASA
ASTER GDEM является продуктом METI и NASA (ASTER Global Digital Elevation Model V003, NASA LP DAAC); изображения через NASA GIBS. Цвета воспроизведены по опубликованной цветовой шкале; значения усреднены по ячейкам H3, где указано (изменено). Ссылка: NASA/METI/AIST/Japan Spacesystems and U.S./Japan ASTER Science Team (2019). ASTER Global Digital Elevation Model V003. doi:10.5067/ASTER/ASTGTM.003. Открытые данные NASA
Создано с использованием Natural Earth. Бесплатные векторные и растровые картографические данные @ naturalearthdata.com. Общественное достояние
Blue Marble, NASA Earth Observatory; изображения через NASA GIBS. Цвета перерисованы по опубликованной цветовой шкале; значения усреднены по ячейкам H3, где они показаны (с изменениями). Открытые данные NASA
События в реальном времени: NASA Earth Observatory Natural Event Tracker (EONET). События носят ориентировочный характер и сохраняют ссылки на первоначальный источник.
NASA GIBS: мы выражаем признательность за использование изображений, предоставленных сервисами Global Imagery Browse Services (GIBS) NASA, входящими в Earth Science Data and Information System (ESDIS) NASA.
Дополнительные слои (3 источника в списке слоев: оперативные, прогнозные, наблюдаемые и контекстные) при включении указывают своего поставщика на карте и здесь; прогнозы являются результатами моделей, а производные индексы представляют собой оценки.
Слои и даты
Ночное освещение, ежедневно: VIIRS Black Marble (VNP46A2), NASA LAADS DAAC · 12 окт. 2026
Population density, 2020: Population: CIESIN, Columbia University, Gridded Population of the World v4.11 (2018), NASA SEDAC, CC BY 4.0 · static
Естественные цвета: скорректированная отражательная способность VIIRS NOAA-20, NASA LANCE · 13 окт. 2026
Как устроено обучение, в виде процесса, который можно воспроизвести
8 steps · 4 stages · 2 gates · 16 processes
Выберите сценарий и нажмите «Воспроизвести»: курс, траектория, практика, факультет, ячейки и запись.
Академия рисков
Course, catalogue to completion
A free course pairs one discipline's methods with a real place, open data and standards, with module checks, assessed work and a completion record.
Scenarios Course · Practice · Record
01 Open
01
Выберите курс
Start · the learner
Найдите курс в каталоге по факультету, уровню, типу или стандарту, которому он обучает.
02
Вступительная проверка
Gate · the course
Предварительные требования указывают, что изучить сначала; вступительная проверка может их заменить.
02 Study
03
Уроки
Step · the learner
Читайте и прорабатывайте уроки в собственном темпе или с группой.
04
Лаборатории на двойнике
Exercise · the learner, on the faculty twin
Применяйте метод дисциплины и инструменты факультета на двойнике реального места.
03 Assess
05
Проверки модулей
Gate · the course
Каждый модуль завершается короткой проверкой по его результатам обучения.
06
Оцениваемая работа
Decision · reviewers and peers
Запись лабораторной работы, аналитическая записка по кейсу и проверка ключевых терминов, с рецензией коллег, если её требует курс.
04 Record
07
Запись о завершении
Record · the Academy
Запись указывает курс, его версию и дату; распоряжается ею учащийся.
08
Следующий курс
Outcome · the learner
Запись суммируется в достижения по дисциплине и траектории, и открывается следующий курс.
How learning works · Courses An outline of how the work is designed to run; it does not report the status of any decision or record.
06Участвуйте
Участвуйте в работе
Начните с того, кто вы.
Маршруты
Маршрут
Национальные учреждения
Министерства, статистические управления и ведомства: национальный офис и отделение, а также место в рабочих группах. Национальные отделения
Маршрут
Секторы и профессии
Operators, regulators, banks, insurers and professional bodies whose work touches systemic risk. For organisations
Маршрут
Обучение
Курсы и практика с записью о каждом пройденном курсе. Обучение бесплатно. Открытое обучение
Маршрут
Стандарты
Разработка, рецензирование и принятие стандартов методов и данных вместе с рабочими группами. Рабочие группы
Маршрут
Сообщества и исследования
Universities, civil society and individual experts: projects, data and review. Write to the Academy
Открытые призывы
Открытый призыв
Ищет
Закрывается
Учредительный призыв экспертов в рабочие группы CALL-FOUNDING-EXPERTS
эксперт, редактор, председатель
2026-12-15
Открытое выдвижение кандидатов на три места независимых экспертов в Глобальном совете по стандартам CALL-GSC-IND
council-member
2026-12-01
Выдвижение временных региональных членов (применяется, только если будет принято переходное положение) CALL-GSC-REG
council-member
2026-12-15
Рецензирование набросков ядра рисков волны 1 (C1, C2, C3, C4, C8, C10, C11) CALL-REVIEW-WAVE1
участник
2027-01-31
Эксперты по основным стандартам науки о рисках: оценка неопределённости и доказательств, шкалы, структурированное экспертное суждение, допустимость, экстремальные и комплексные события, катастрофические и экзистенциальные риски, этика и справедливость, единицы и измерения (NRS-C17 по NRS-C24) CALL-CORE-SCIENCE
эксперт, редактор, председатель
2027-01-31
Независимые рецензенты для семейств атласа опасных явлений, по три как минимум из двух регионов на каждое семейство (NHS2-R19), сначала приоритетные семейства CALL-ATLAS-REVIEW
эксперт
2027-03-31
Члены временной Группы по обзору безопасности на переднем крае и рецензенты «красной команды» (биобезопасность и биозащита, безопасность и защищённость ИИ, безопасность критической инфраструктуры); заявки рассматриваются конфиденциально CALL-FRONTIER-SAFETY-REVIEW
эксперт
2026-11-30
Эксперты по онтологиям, метрологии, верификации программного обеспечения и оценке соответствия для реестра требований, машинного представления NHS-2, наборов тестов на соответствие и схемы оценки соответствия CALL-CONFORMANCE-ONTOLOGY
эксперт, редактор
2027-01-31
Призывы с истёкшим сроком автоматически скрываются. Все призывы, предложения и маршруты: открытые области и призывы.
Ячейки
A cell is a small team with a clear mission, a host and a record of what it does. Choose the type that fits.
University, student and national chapter teams. Open
A cell acts within its host's rules and never replaces an authority. A CERT works alongside the local emergency services, follows their direction and is not an emergency service.
How a cell forms
01
Соберите группу
Соберите от трёх до семи человек с взаимодополняющими навыками: данные, практика на местах, политика и коммуникация.
02
Choose a type
Pick the kind of cell that fits the work, from the gallery below. A cell can add a second focus later. See the types
03
Зарегистрировать
Name the cell, its members, area and region, and who hosts it. You receive a reference and a contact. Form a cell
04
Учиться вместе
Проходите общие траектории обучения в Risk Academy с практикой и записью о каждом пройденном курсе. Опасности и устойчивость
05
Руководить и отчитываться
Hold regular sessions. Publish what the cell learns through Reports. Bring findings to the working groups. Working groups
Индекс
Что национальная команда или местное сообщество может сделать в The Global Risks Index (NXS-GRX) уже сегодня.
NXS-GRX
Профиль вашей страны
Открытые профили рисков для 195 стран с указанием источников и лицензий для каждого значения. Открыть Index
NXS-GRX
Исправить или ответить
Исправьте значение или ответьте от имени своей страны. Изменение фиксируется вместе с его эффектом. Открыть Index
NXS-GRX
Предложить данные
Предложите набор данных. Он поступает через лицензионный контроль с указанием вашего авторства. Открыть Index
NXS-GRX
Используйте открытые данные
Слои, профили и плитки через открытый API. Открыть Index
07Вопросы
Вопросы, ответы и ключевые термины
Бесплатен ли курс?
Да. Каждый курс и учебный материал Risk Academy под руководством Консорциума «Нексус» (Nexus Consortium) бесплатен для изучения, в своем темпе или в составе когорты. Обычное участие не требует платы. Оплачиваемая работа, стажировки и стипендии оформляются отдельно.
Что дает завершение курса?
Запись о завершении: курс, его версия, дата и то, что оценивалось. По умолчанию она закрыта и передается по вашему решению. Записи складываются в достижения по дисциплине, кафедре и программе. Запись фиксирует, что изучалось и оценивалось, и не удостоверяет компетентность. Она не является лицензией, профессиональным званием или трудовым статусом.
Откуда берутся данные и места?
Каждый факультет преподает на двойнике реального места, построенном на открытых данных. Каждый слой указывает поставщика, лицензию и дату, а каждый результат в Academy указывает источник. Карты и показатели служат учебными индикаторами и никогда не оценивают место.
Как принять участие за рамками курса?
Создайте ячейку компетенций из трех-семи человек, изучайте общую траекторию, выполняйте задание под руководством в Национальных рабочих группах или приведите когорту из вашего учреждения. Для организаций.
Ключевые термины
Red-teaming
Структурированные попытки заставить систему отказать или вести себя неправильно, чтобы найти слабости раньше других.
Загрязнение эталонных тестов
Ситуация, когда тестовые данные попали в обучающие данные модели, и поэтому оценки завышают её возможности.
Обоснование безопасности
Структурированная аргументация, подкреплённая доказательной базой, о том, что система достаточно безопасна для данного применения.
Передовая модель
Модель ИИ общего назначения, находящаяся на уровне самых совершенных из доступных в данный момент или близко к нему.
ОтчётыВнести вклад
Поделитесь доказательствами с этой страницы.
Reports is the Consortium's quarterly publication, written by six desks. This page sits with the Academy Capability desk. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work. Sent to the wrong desk, it is forwarded, not refused.
Никогда не отправляйте персональные данные, сведения о чувствительной инфраструктуре или то, чем вы не вправе делиться. Материал проходит рассмотрение перед использованием; его отправка не дает авторских или редакционных прав, а спонсорство никогда не покупает выводы.
Study AI safety and evaluation with us, or teach it
Каждый курс бесплатен и открыт. Учреждения и эксперты могут совместно преподавать, проводить когорту, предоставлять лабораторию или рецензировать курс до его открытия.
Этот сайт использует только строго необходимые файлы cookie для своей работы и для сохранения ваших настроек конфиденциальности. Ничего не загружается от других компаний, и мы никогда не продаём и не передаём вашу личную информацию.
Подробности
Этот сайт использует только строго необходимые файлы cookie для своей работы и для сохранения ваших настроек конфиденциальности. Ничего не загружается от других компаний, и мы никогда не продаём и не передаём вашу личную информацию. Мы не размещаем рекламу. Вы можете в любое время пересмотреть свой выбор в разделе «Настройки конфиденциальности» внизу каждой страницы.