Risk Academy, dipimpin oleh Nexus Consortium · Katalog kursus · Teknologi dan Sistem Digital
Kecerdasan Buatan dan Sistem Otonom
Keselamatan dan evaluasi AI
AI safety and evaluation, taught twice over: as the working methods of the field and as its frontier since 2024, with labs on the Academy's tools, open data and the Nexus Standards.
AI safety and evaluation: foundations and practice
This area covers how the capabilities, reliability and risks of AI systems are tested before and after deployment: evaluation design, red-teaming, benchmarks and their limits, safety cases for frontier models and agentic systems, and incident reporting.
AI safety and evaluation: foundations and practice
Tingkat
L2 Menengah
Waktu belajar
sekitar 24 jam (perkiraan perencanaan)
Status
Dalam penyusunan
Prasyarat
Satu kursus L1 di bidang ini, atau tinjauan masuk
Mengapa sekarang
Menunjukkan mengapa tolok ukur independen dan tolok ukur yang tidak dipakai dalam pelatihan penting ketika mengandalkan hasil evaluasi yang dilaporkan vendor.
Define red-teaming and the other key terms of the discipline and use them correctly in a written case
Explain evaluation design and metrics and red-teaming and adversarial testing with a worked example and its source
Terapkan metode disiplin pada kasus yang terdokumentasi dan jelaskan setiap hasil beserta sumbernya
Analyse a named case against benchmarks and data contamination, stating evidence, date and limits
Modul
01
Rancangan evaluasi dan metrik
Rancangan evaluasi dan metrik
Red-teaming dan pengujian adversarial
Benchmarks and data contamination
02
Dangerous capability evaluations
Dangerous capability evaluations
Safety cases for frontier models
Evaluasi sistem agentik
03
Pemantauan setelah penerapan
Pemantauan setelah penerapan
Incident reporting and disclosure
04
Laboratorium: metode disiplin
An attack success rate is measured per attempt against a stated attacker budget; the chance that at least one of k attempts succeeds grows as 1 minus (1 minus s) to the k, and a release gate compares that cumulative figure, after defences, with the level a safety case can tolerate.
Kerjakan metode pada kasus yang terdokumentasi dan jelaskan setiap hasil
Baca sumber metode dan nilai-nilai yang dinyatakannya
The methods, data, tools and studies that changed AI safety and evaluation between 2024 and 2026, taught by reproducing them on open data.
Keselamatan dan evaluasi AI: metode terdepan
Tingkat
L3 Lanjutan
Waktu belajar
sekitar 28 jam (perkiraan perencanaan)
Status
Direncanakan
Prasyarat
AI safety and evaluation: foundations and practice; Working knowledge of a scripting language (Python or R) for the labs
Mengapa sekarang
Menunjukkan mengapa tolok ukur independen dan tolok ukur yang tidak dipakai dalam pelatihan penting ketika mengandalkan hasil evaluasi yang dilaporkan vendor.
Explain what changed in AI safety and evaluation since 2024 and cite the studies, data or rules behind each change
Mereproduksi evaluasi independen yang menemukan kesenjangan dengan skor yang dilaporkan sendiri oleh pengembang pada data terbuka, dan menyatakan ketidakpastian hasilnya
Evaluasi studi tahun 2024 hingga 2026: pertanyaannya, data, metode, batasan, dan apa yang diubahnya bagi praktik
Rancang analisis yang memadukan metode mutakhir dengan instrumen fakultas, dan berikan alasan setiap pilihan
Modul
01
Evaluasi independen menemukan kesenjangan dengan skor yang dilaporkan sendiri oleh pengembang
Center for AI Standards and Innovation milik NIST menemukan bahwa DeepSeek V4 Pro memperoleh skor lebih baik pada evaluasi milik pengembangnya sendiri daripada pada evaluasi CAISI, termasuk tolok ukur nonpublik, dan memperkirakan bahwa model tersebut tertinggal sekitar delapan bulan dari model terkemuka AS.
Menunjukkan mengapa tolok ukur independen dan tolok ukur yang tidak dipakai dalam pelatihan penting ketika mengandalkan hasil evaluasi yang dilaporkan vendor.
National Institute of Standards and Technology, 1 May 2026
02
UK AI Security Institute publishes first Frontier AI Trends Report
Drawing on evaluations of over 30 frontier models since 2023, the institute reports fast capability growth in cyber, chemistry and biology tasks, universal jailbreaks found in every system tested, and rising self-replication precursors.
Offers government test results on dangerous capabilities and safeguard strength that evaluators can use to benchmark their own methods.
AI Security Institute (UK), 18 December 2025
03
Key update reviews technical safeguards and frontier risk management
The second key update finds prompt injection attacks still succeed about half the time with ten attempts, small data-poisoning attacks can be effective, and at least 12 companies now publish frontier safety frameworks with mostly implicit thresholds.
Menjelaskan seberapa besar penjaminan yang diberikan oleh pengamanan saat ini, yang membentuk cakupan red-teaming dan penilaian risiko residual.
International AI Safety Report, 25 November 2025
04
Metrik cakrawala waktu mengukur pertumbuhan panjang tugas otonom
Para peneliti mengusulkan pengukuran kapabilitas AI berdasarkan panjang tugas perangkat lunak yang dapat diselesaikan model secara andal, dan menemukan bahwa cakrawala ini telah berlipat ganda kira-kira setiap tujuh bulan sejak 2019.
Memberi para evaluator ukuran tren kapabilitas agentik yang dapat menjadi dasar prakiraan dan ambang batas dalam kasus keselamatan.
arXiv, 18 Maret 2025
05
UK renames AI Safety Institute as AI Security Institute
Pemerintah Inggris mengganti nama institut tersebut dan memfokuskannya kembali pada risiko AI yang serius dengan implikasi keamanan, seperti penyalahgunaan kimia dan biologi, serangan siber, penipuan dan materi pelecehan anak, serta menambahkan tim penyalahgunaan kriminal.
Signals how a leading public evaluator now prioritises security-related misuse in its testing agenda.
Departemen Sains, Inovasi, dan Teknologi Inggris Raya, 14 Februari 2025
06
Laboratorium reproduksi
Perluas metode disiplin dengan satu metode mutakhir dan bandingkan hasilnya
Nyatakan ketidakpastian dan batasan hasil
Tinjauan sejawat berdasarkan daftar periksa bersama
The Academy proposes how each discipline teaches toward the Nexus Standards; the mapping is open for public review. Bodies and standards are named so learners can find and apply their published work; the Academy teaches their use and links to the publisher, and no affiliation is implied.
04Peta langsung
Aktivitas terhubung di Britania Raya dan Irlandia
Cahaya malam hari dan kepadatan penduduk, jejak aktivitas yang berlistrik dan terhubung, di atas Britania Raya dan Irlandia.
Peta interaktif memerlukan JavaScript. Daftar lapisan dan sumber tersedia di bawah.
Estimasi berbasis sensus untuk jumlah penduduk per kilometer persegi pada 2020, ditampilkan sebagai konteks keterpaparan; bukan jumlah orang yang terdampak bahaya apa pun.
Diakses melalui
gibs.earthdata.nasa.gov, hanya setelah Anda mengizinkan peta langsung
Citra satelit. Raster satelit atau model sebagaimana dipublikasikan penyedia. Awan, celah sapuan, dan galat pengambilan data meninggalkan celah dan derau; nilai berupa indikator, bukan pengukuran di suatu tempat.
Diakses melalui
gibs.earthdata.nasa.gov, hanya setelah Anda mengizinkan peta langsung
Seret untuk menggeser. Ctrl atau ⌘ dan gulir, cubit, atau gunakan tombol untuk memperbesar. Arahkan kursor untuk melihat nilai di bawah penunjuk. Setel ulang untuk kembali ke wilayah.
Aktivitas terhubung, dengan fokus pada Britania Raya dan Irlandia.Produk satelit dan model sebagaimana diterbitkan NASA, masing-masing dengan tanggalnya sendiri. Produk ini merupakan indikator, bukan penilaian atas suatu tempat.
Kami mengakui penggunaan citra yang disediakan oleh layanan NASA Global Imagery Browse Services (GIBS), bagian dari NASA Earth Science Data and Information System (ESDIS). Warna digambar ulang dari peta warna yang diterbitkan. Nilai dirata-ratakan ke dalam sel H3 bila ditampilkan (dimodifikasi). Data terbuka NASA
Kami mengakui penggunaan citra yang disediakan oleh layanan NASA Global Imagery Browse Services (GIBS), bagian dari NASA Earth Science Data and Information System (ESDIS). Warna digambar ulang dari peta warna yang diterbitkan. Nilai dirata-ratakan ke dalam sel H3 bila ditampilkan (dimodifikasi). Data terbuka NASA
Cahaya malam VIIRS Black Marble, NASA Goddard Space Flight Center. Didistribusikan oleh NASA Level-1 and Atmosphere Archive and Distribution System (LAADS DAAC). Citra melalui NASA GIBS. Warna digambar ulang dari peta warna yang diterbitkan. Nilai dirata-ratakan ke dalam sel H3 bila ditampilkan (dimodifikasi). Data terbuka NASA
Center for International Earth Science Information Network (CIESIN), Columbia University. 2018. Gridded Population of the World, Version 4 (GPWv4): Population Density, Revision 11. NASA Socioeconomic Data and Applications Center (SEDAC). Licensed under CC BY 4.0. Colours redrawn from the published colour map; values averaged into H3 cells where shown (modified). doi:10.7927/H49C6VHW. CC BY 4.0
Produk near-real-time VIIRS (banjir, suhu permukaan daratan, tutupan salju, reflektansi terkoreksi), NASA LANCE. Citra melalui NASA GIBS. Warna digambar ulang dari peta warna yang diterbitkan. Nilai dirata-ratakan ke dalam sel H3 bila ditampilkan (dimodifikasi). Data terbuka NASA
ASTER GDEM adalah produk METI dan NASA (ASTER Global Digital Elevation Model V003, NASA LP DAAC). Citra melalui NASA GIBS. Warna digambar ulang dari peta warna yang diterbitkan. Nilai dirata-ratakan ke dalam sel H3 bila ditampilkan (dimodifikasi). Kutip sebagai: NASA/METI/AIST/Japan Spacesystems and U.S./Japan ASTER Science Team (2019). ASTER Global Digital Elevation Model V003. doi:10.5067/ASTER/ASTGTM.003. Data terbuka NASA
Dibuat dengan Natural Earth. Data peta vektor dan raster gratis @ naturalearthdata.com. Domain publik
Blue Marble, NASA Earth Observatory. Citra melalui NASA GIBS. Warna digambar ulang dari peta warna yang diterbitkan. Nilai dirata-ratakan ke dalam sel H3 bila ditampilkan (dimodifikasi). Data terbuka NASA
Peristiwa langsung: NASA Earth Observatory Natural Event Tracker (EONET). Peristiwa bersifat indikatif dan mempertahankan tautan sumber aslinya.
NASA GIBS: Kami mengakui penggunaan citra yang disediakan oleh layanan NASA Global Imagery Browse Services (GIBS), bagian dari NASA Earth Science Data and Information System (ESDIS).
Lapisan opsional (3 sumber dalam daftar lapisan: langsung, prakiraan, observasi, dan konteks) menampilkan kredit penyedianya di peta dan di sini saat diaktifkan. Prakiraan adalah keluaran model, dan indeks turunan adalah estimasi.
Lapisan dan tanggal
Cahaya malam, harian: VIIRS Black Marble (VNP46A2), NASA LAADS DAAC · 12 Okt 2026
Population density, 2020: Population: CIESIN, Columbia University, Gridded Population of the World v4.11 (2018), NASA SEDAC, CC BY 4.0 · static
Warna asli: reflektansi terkoreksi VIIRS NOAA-20, NASA LANCE · 13 Okt 2026
Cara pembelajaran berjalan, sebagai proses yang dapat Anda jalankan
8 steps · 4 stages · 2 gates · 16 processes
Pilih skenario dan tekan Putar: kursus, jalur, praktik, fakultas, sel, dan catatan.
Akademi Risiko
Course, catalogue to completion
A free course pairs one discipline's methods with a real place, open data and standards, with module checks, assessed work and a completion record.
Scenarios Course · Practice · Record
01 Open
01
Pilih kursus
Start · the learner
Temukan kursus dalam katalog, menurut fakultas, tingkat, jenis, atau standar yang diajarkannya.
02
Pemeriksaan masuk
Gate · the course
Prasyarat menyatakan hal yang dipelajari terlebih dahulu. Tinjauan masuk dapat menggantikannya.
02 Study
03
Pelajaran
Step · the learner
Baca dan kerjakan pelajaran, secara mandiri atau bersama kohort.
04
Laboratorium pada kembaran
Exercise · the learner, on the faculty twin
Jalankan metode disiplin ilmu dan instrumen fakultas pada kembaran tempat nyata.
03 Assess
05
Pemeriksaan modul
Gate · the course
Setiap modul berakhir dengan pemeriksaan singkat terhadap capaiannya.
06
Pekerjaan yang dinilai
Decision · reviewers and peers
Catatan laboratorium, memo kasus, dan pemeriksaan istilah kunci, dengan tinjauan sejawat bila kursus mensyaratkannya.
04 Record
07
Catatan penyelesaian
Record · the Academy
Catatan menyebut kursus, versinya, dan tanggal. Catatan itu hak pembelajar untuk dibagikan.
08
Kursus berikutnya
Outcome · the learner
Catatan terakumulasi menjadi capaian disiplin ilmu dan jalur belajar, dan kursus berikutnya dibuka.
How learning works · Courses An outline of how the work is designed to run; it does not report the status of any decision or record.
06Berpartisipasi
Berpartisipasi dalam pekerjaan
Mulai dari siapa Anda.
Jalur
Rute
Lembaga nasional
Kementerian, kantor statistik, dan badan: meja dan cabang nasional, serta kursi di kelompok kerja. Cabang nasional
Rute
Sektor dan profesi
Operator, regulator, bank, perusahaan asuransi, dan badan profesi yang pekerjaannya bersinggungan dengan risiko sistemik. Untuk organisasi
Rute
Pembelajaran
Kursus dan praktik, dengan catatan setiap kursus yang diselesaikan. Gratis untuk dipelajari. Pembelajaran terbuka
Rute
Standar
Susun, tinjau, dan adopsi metode serta standar data bersama kelompok kerja. Kelompok kerja
Rute
Komunitas dan riset
Universitas, masyarakat sipil, dan pakar perorangan: proyek, data, dan tinjauan. Tulis kepada Academy
Panggilan terbuka
Panggilan terbuka
Mencari
Ditutup
Panggilan pendirian bagi pakar untuk kelompok kerja CALL-FOUNDING-EXPERTS
ahli, editor, ketua
2026-12-15
Nominasi terbuka untuk tiga kursi pakar independen di Global Standards Council CALL-GSC-IND
anggota-dewan
2026-12-01
Nominasi anggota regional sementara (hanya berlaku jika ketentuan peralihan diputuskan) CALL-GSC-REG
anggota-dewan
2026-12-15
Tinjauan kerangka inti risiko gelombang 1 (C1, C2, C3, C4, C8, C10, C11) CALL-REVIEW-WAVE1
kontributor
2027-01-31
Pakar untuk standar inti ilmu risiko: ketidakpastian dan pemeringkatan bukti, skala, penilaian pakar terstruktur, tingkat toleransi, peristiwa ekstrem dan majemuk, risiko katastrofik dan eksistensial, etika dan kesetaraan, satuan dan pengukuran (NRS-C17 hingga NRS-C24) CALL-CORE-SCIENCE
ahli, editor, ketua
2027-01-31
Peninjau independen untuk keluarga atlas bahaya, tiga orang dari sekurang-kurangnya dua kawasan untuk setiap keluarga (NHS2-R19), keluarga prioritas lebih dahulu CALL-ATLAS-REVIEW
ahli
2027-03-31
Anggota Panel Tinjauan Keselamatan Frontier sementara dan peninjau red team (biosafety dan biosekuriti, keselamatan dan keamanan AI, keamanan infrastruktur kritis); lamaran ditangani secara rahasia CALL-FRONTIER-SAFETY-REVIEW
ahli
2026-11-30
Pakar ontologi, metrologi, verifikasi perangkat lunak, dan penilaian kesesuaian untuk register persyaratan, representasi mesin NHS-2, rangkaian uji kesesuaian, dan skema penilaian kesesuaian CALL-CONFORMANCE-ONTOLOGY
ahli, editor
2027-01-31
Panggilan yang telah melewati tanggal penutupan disembunyikan secara otomatis. Semua panggilan, usulan, dan jalur: bidang dan panggilan terbuka.
Sel
A cell is a small team with a clear mission, a host and a record of what it does. Choose the type that fits.
University, student and national chapter teams. Open
A cell acts within its host's rules and never replaces an authority. A CERT works alongside the local emergency services, follows their direction and is not an emergency service.
How a cell forms
01
Bentuk sel
Kumpulkan tiga hingga tujuh orang dengan keterampilan yang saling melengkapi: data, praktik lapangan, kebijakan, dan komunikasi.
02
Choose a type
Pick the kind of cell that fits the work, from the gallery below. A cell can add a second focus later. See the types
03
Daftarkan
Name the cell, its members, area and region, and who hosts it. You receive a reference and a contact. Form a cell
04
Belajar bersama
Ikuti jalur belajar bersama di Risk Academy, dengan praktik dan catatan setiap kursus yang diselesaikan. Bahaya dan ketahanan
05
Pimpin dan laporkan
Hold regular sessions. Publish what the cell learns through Reports. Bring findings to the working groups. Working groups
Indeks
Apa yang dapat dilakukan tim nasional atau komunitas lokal di The Global Risks Index (NXS-GRX) hari ini.
NXS-GRX
Profil negara Anda
Profil risiko terbuka untuk 195 negara, dengan sumber dan lisensi pada setiap nilai. Buka Index
NXS-GRX
Koreksi atau tanggapi
Koreksi nilai atau berikan tanggapan untuk negara Anda. Perubahan dicatat beserta dampaknya. Buka Index
NXS-GRX
Tawarkan data
Tawarkan set data. Set data masuk melalui gerbang lisensi, dengan mencantumkan nama Anda. Buka Index
NXS-GRX
Gunakan data terbuka
Lapisan, profil, dan tile melalui API terbuka. Buka Index
07Pertanyaan
Pertanyaan, jawaban, dan istilah kunci
Apakah kursus ini gratis?
Ya. Setiap kursus dan materi pembelajaran Risk Academy, yang dipimpin oleh Nexus Consortium, gratis untuk dipelajari, secara mandiri atau bersama kohort. Partisipasi biasa tidak dipungut biaya. Pekerjaan berbayar, magang, dan fellowship merupakan pengaturan terpisah.
Apa yang saya peroleh dengan menyelesaikan kursus?
Catatan penyelesaian: kursus, versinya, tanggal, dan hal yang dinilai. Catatan ini bersifat privat secara bawaan dan dibagikan oleh Anda. Catatan ini terakumulasi menjadi capaian disiplin ilmu, departemen, dan program. Catatan menyatakan hal yang dipelajari dan dinilai, dan tidak menyertifikasi kompetensi. Catatan ini bukan lisensi, gelar profesional, atau status kepegawaian.
Dari mana data dan tempat-tempat ini berasal?
Setiap fakultas mengajar pada kembaran sebuah tempat nyata yang dibangun dari data terbuka. Setiap lapisan mencantumkan penyedia, lisensi, dan tanggalnya, dan setiap hasil di Academy menyebutkan sumbernya. Peta dan gambar adalah indikator untuk pengajaran, bukan penilaian atas suatu tempat.
Bagaimana saya dapat berpartisipasi di luar kursus?
Bentuk sel kompetensi beranggotakan tiga hingga tujuh orang, pelajari jalur belajar bersama, kerjakan penugasan terbimbing dalam National Working Groups, atau bawa kohort dari lembaga Anda. Untuk organisasi.
Istilah kunci
Red-teaming
Upaya terstruktur untuk membuat sistem gagal atau berperilaku salah, guna menemukan kelemahan sebelum pihak lain menemukannya.
Kontaminasi tolok ukur
Ketika data uji bocor ke data pelatihan suatu model, sehingga skor melebihkan kemampuannya.
Kasus keselamatan
Argumen terstruktur, didukung bukti, bahwa suatu sistem cukup aman untuk penggunaan tertentu.
Model frontier
Model AI serba guna yang berada pada atau mendekati tingkat kemampuan tertinggi yang tersedia pada suatu waktu.
LaporanBerkontribusi
Kontribusikan bukti dari halaman ini.
Reports is the Consortium's quarterly publication, written by six desks. This page sits with the Academy Capability desk. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work. Sent to the wrong desk, it is forwarded, not refused.
Jangan pernah mengirim data pribadi, rincian infrastruktur sensitif, atau apa pun yang tidak berhak Anda bagikan. Kontribusi ditinjau sebelum digunakan. Mengirimkannya tidak memberikan hak kepenulisan atau editorial, dan sponsor tidak pernah membeli sebuah temuan.
Study AI safety and evaluation with us, or teach it
Setiap kursus gratis dan terbuka. Lembaga dan pakar dapat mengajar bersama, menjadi tuan rumah kohort, menyumbangkan laboratorium, atau meninjau kursus sebelum dibuka.
Situs ini hanya menggunakan kuki yang benar-benar diperlukan agar dapat berfungsi dan untuk mengingat pilihan privasi Anda. Tidak ada yang dimuat dari perusahaan lain, dan kami tidak pernah menjual atau membagikan informasi pribadi Anda.
Rincian
Situs ini hanya menggunakan kuki yang benar-benar diperlukan agar dapat berfungsi dan untuk mengingat pilihan privasi Anda. Tidak ada yang dimuat dari perusahaan lain, dan kami tidak pernah menjual atau membagikan informasi pribadi Anda. Kami tidak menayangkan iklan. Anda dapat meninjau pilihan Anda kapan saja melalui Pilihan privasi di bagian bawah setiap halaman.