Risk Academy، بقيادة Nexus Consortium · دليل الدورات · التقنية والنظم الرقمية
الذكاء الاصطناعي والنظم الذاتية
سلامة الذكاء الاصطناعي وتقييمه
AI safety and evaluation, taught twice over: as the working methods of the field and as its frontier since 2024, with labs on the Academy's tools, open data and the Nexus Standards.
AI safety and evaluation: foundations and practice
This area covers how the capabilities, reliability and risks of AI systems are tested before and after deployment: evaluation design, red-teaming, benchmarks and their limits, safety cases for frontier models and agentic systems, and incident reporting.
AI safety and evaluation: foundations and practice
المستوى
L2 متوسط
وقت الدراسة
نحو 24 ساعة (تقدير تخطيطي)
الحالة
قيد التأليف
المتطلبات المسبقة
دورة من المستوى L1 في المجال، أو مراجعة قبول
لماذا الآن
Shows why independent and held-out benchmarks matter when relying on vendor-reported evaluation results.
Define red-teaming and the other key terms of the discipline and use them correctly in a written case
Explain evaluation design and metrics and red-teaming and adversarial testing with a worked example and its source
طبّق منهج التخصص على حالة موثّقة واشرح كل نتيجة مع مصدرها
Analyse a named case against benchmarks and data contamination, stating evidence, date and limits
الوحدات
01
Evaluation design and metrics
Evaluation design and metrics
الاختبار بالفريق الأحمر والاختبار الخصامي
Benchmarks and data contamination
02
Dangerous capability evaluations
Dangerous capability evaluations
Safety cases for frontier models
Agentic system evaluation
03
Monitoring after deployment
Monitoring after deployment
Incident reporting and disclosure
04
المختبر: منهج التخصص
An attack success rate is measured per attempt against a stated attacker budget; the chance that at least one of k attempts succeeds grows as 1 minus (1 minus s) to the k, and a release gate compares that cumulative figure, after defences, with the level a safety case can tolerate.
Explain what changed in AI safety and evaluation since 2024 and cite the studies, data or rules behind each change
Reproduce independent evaluation finds gap with developer self-reported scores on open data and state the uncertainty of the result
قيّم دراسة صادرة بين 2024 و2026: سؤالها وبياناتها ومنهجها وحدودها وما تغيّره في الممارسة
صمّم تحليلًا يجمع منهجًا طليعيًا مع أدوات الكلية، وعلّل كل اختيار
الوحدات
01
تقييم مستقل يرصد فجوة مع الدرجات التي أبلغ عنها المطوّرون بأنفسهم
NIST's Center for AI Standards and Innovation found DeepSeek V4 Pro scored better on the developer's own evaluations than on CAISI's, including non-public benchmarks, estimating it trails leading US models by about eight months.
Shows why independent and held-out benchmarks matter when relying on vendor-reported evaluation results.
National Institute of Standards and Technology, 1 May 2026
02
UK AI Security Institute publishes first Frontier AI Trends Report
Drawing on evaluations of over 30 frontier models since 2023, the institute reports fast capability growth in cyber, chemistry and biology tasks, universal jailbreaks found in every system tested, and rising self-replication precursors.
Offers government test results on dangerous capabilities and safeguard strength that evaluators can use to benchmark their own methods.
AI Security Institute (UK), 18 December 2025
03
Key update reviews technical safeguards and frontier risk management
The second key update finds prompt injection attacks still succeed about half the time with ten attempts, small data-poisoning attacks can be effective, and at least 12 companies now publish frontier safety frameworks with mostly implicit thresholds.
Clarifies how much assurance current safeguards provide, which shapes red-teaming scope and residual risk judgements.
International AI Safety Report, 25 November 2025
04
Time-horizon metric measures growth in autonomous task length
Researchers proposed measuring AI capability by the length of software tasks models complete reliably, and found this horizon has doubled roughly every seven months since 2019.
Gives evaluators a trend measure for agentic capability that can inform forecasts and thresholds in safety cases.
arXiv, 18 March 2025
05
UK renames AI Safety Institute as AI Security Institute
The UK government renamed the institute and refocused it on serious AI risks with security implications, such as chemical and biological misuse, cyber-attacks, fraud and child abuse material, adding a criminal misuse team.
Signals how a leading public evaluator now prioritises security-related misuse in its testing agenda.
UK Department for Science, Innovation and Technology, 14 February 2025
The Academy proposes how each discipline teaches toward the Nexus Standards; the mapping is open for public review. Bodies and standards are named so learners can find and apply their published work; the Academy teaches their use and links to the publisher, and no affiliation is implied.
04الخريطة الحية
النشاط المترابط في المملكة المتحدة وأيرلندا
أضواء الليل وكثافة السكان، أي بصمة النشاط المكهرب والمترابط، فوق المملكة المتحدة وأيرلندا.
تتطلب الخريطة التفاعلية JavaScript؛ وترد قائمة الطبقات ومصادرها أدناه.
صورة ساتلية. شبكة نقطية ساتلية أو نموذجية كما ينشرها المزوِّد. تترك السحب وفجوات المسار وأخطاء الاستخلاص فجوات وتشويشًا؛ والقيم مؤشرات وليست قياسات في موقع بعينه.
يُبلَغ عبر
gibs.earthdata.nasa.gov، وذلك فقط بعد أن تسمح بعرض الخريطة الحية
اسحب للتحريك. اضغط Ctrl أو ⌘ مع التمرير، أو اقرص، أو استخدم الأزرار للتكبير؛ وحرّك المؤشر لرؤية القيم تحته؛ وتعيد إعادة الضبط العرض إلى الإقليم.
النشاط المترابط، في إطار المملكة المتحدة وأيرلندا.منتجات الأقمار الاصطناعية والنماذج كما تنشرها NASA، ولكل منها تاريخه. وهي مؤشرات وليست تقييمات لأي مكان.
نقرّ باستخدام صور وفرتها خدمات NASA's Global Imagery Browse Services (GIBS)، وهي جزء من نظام NASA لبيانات ومعلومات علوم الأرض (ESDIS). أُعيد رسم الألوان من خريطة الألوان المنشورة؛ ومُتوسطت القيم في خلايا H3 حيثما ظهرت (معدَّلة). البيانات المفتوحة لـNASA
نقرّ باستخدام صور وفرتها خدمات NASA's Global Imagery Browse Services (GIBS)، وهي جزء من نظام NASA لبيانات ومعلومات علوم الأرض (ESDIS). أُعيد رسم الألوان من خريطة الألوان المنشورة؛ ومُتوسطت القيم في خلايا H3 حيثما ظهرت (معدَّلة). البيانات المفتوحة لـNASA
الأضواء الليلية VIIRS Black Marble، NASA Goddard Space Flight Center؛ يوزعها NASA Level-1 and Atmosphere Archive and Distribution System (LAADS DAAC)؛ والصور عبر NASA GIBS. أُعيد رسم الألوان من خريطة الألوان المنشورة؛ وحُسب متوسط القيم في خلايا H3 حيث تُعرض (معدّلة). البيانات المفتوحة لـNASA
مركز الشبكة الدولية لمعلومات علوم الأرض (CIESIN)، جامعة كولومبيا. 2018. Gridded Population of the World, Version 4 (GPWv4): Population Density, Revision 11. مركز ناسا للبيانات والتطبيقات الاجتماعية والاقتصادية (SEDAC). مرخّص بموجب CC BY 4.0. أُعيد رسم الألوان من خريطة الألوان المنشورة؛ وأُخذ متوسط القيم ضمن خلايا H3 حيثما تظهر (مُعدَّل). doi:10.7927/H49C6VHW. CC BY 4.0
منتجات VIIRS شبه الآنية (الفيضانات، ودرجة حرارة سطح الأرض، والغطاء الثلجي، والانعكاسية المصحّحة)، NASA LANCE؛ الصور عبر NASA GIBS. أُعيد رسم الألوان من خريطة الألوان المنشورة؛ وحُسب متوسط القيم ضمن خلايا H3 حيثما ظهرت (معدّلة). البيانات المفتوحة لـNASA
ASTER GDEM منتج من METI وNASA (ASTER Global Digital Elevation Model V003، NASA LP DAAC)؛ والصور عبر NASA GIBS. أُعيد رسم الألوان من خريطة الألوان المنشورة؛ ومُتوسطت القيم في خلايا H3 حيثما ظهرت (معدَّلة). للاستشهاد: NASA/METI/AIST/Japan Spacesystems and U.S./Japan ASTER Science Team (2019). ASTER Global Digital Elevation Model V003. doi:10.5067/ASTER/ASTGTM.003. البيانات المفتوحة لـNASA
أُنجز باستخدام Natural Earth. بيانات خرائط متجهية ونقطية مجانية على naturalearthdata.com. ملكية عامة
Blue Marble، NASA Earth Observatory؛ والصور عبر NASA GIBS. أُعيد رسم الألوان من خريطة الألوان المنشورة؛ ومُتوسطت القيم في خلايا H3 حيثما ظهرت (معدَّلة). البيانات المفتوحة لـNASA
أحداث آنية: متتبّع الأحداث الطبيعية في NASA Earth Observatory (EONET)؛ الأحداث استرشادية وتحتفظ بروابط مصادرها الأصلية.
NASA GIBS: نقرّ باستخدام الصور المقدّمة من خدمات Global Imagery Browse Services (GIBS) التابعة لـ NASA، وهي جزء من Earth Science Data and Information System (ESDIS) لدى NASA.
الطبقات الاختيارية (3 مصادر في قائمة الطبقات: مباشرة، وتوقعات، ومرصودة، وسياقية) تطبع الإشارة إلى مزوّدها على الخريطة وهنا عند تفعيلها؛ والتوقعات مخرجات نماذج والمؤشرات المشتقة تقديرات.
الطبقات والتواريخ
الأضواء الليلية، يومية: VIIRS Black Marble (VNP46A2)، NASA LAADS DAAC · 12 أكتوبر 2026
الكثافة السكانية، 2020: السكان: CIESIN، جامعة كولومبيا، Gridded Population of the World v4.11 (2018)، NASA SEDAC، CC BY 4.0 · ثابتة
الألوان الحقيقية: الانعكاسية المصححة من VIIRS NOAA-20، NASA LANCE · 13 أكتوبر 2026
Universities, civil society and individual experts: projects, data and review. Write to the Academy
الدعوات المفتوحة
دعوة مفتوحة
تبحث عن
يُغلق
الدعوة التأسيسية للخبراء للانضمام إلى الأفرقة العاملة CALL-FOUNDING-EXPERTS
خبير، محرر، رئيس
2026-12-15
باب الترشيح مفتوح لشغل المقاعد الثلاثة المخصصة للخبراء المستقلين في المجلس العالمي للمعايير CALL-GSC-IND
عضو المجلس
2026-12-01
ترشيحات الأعضاء الإقليميين المؤقتين (لا تنطبق إلا إذا تقرر الأخذ بالحكم الانتقالي) CALL-GSC-REG
عضو المجلس
2026-12-15
استعراض مخططات المعايير الأساسية للمخاطر في الموجة 1 (C1 وC2 وC3 وC4 وC8 وC10 وC11) CALL-REVIEW-WAVE1
مساهم
2027-01-31
خبراء للمعايير الأساسية لعلم المخاطر: عدم اليقين وتصنيف الأدلة، والمقاييس، والتقدير المنظم للخبراء، والقابلية للتحمل، والظواهر المتطرفة والأحداث المركّبة، والمخاطر الكارثية والوجودية، والأخلاقيات والإنصاف، والوحدات والقياس (NRS-C17 إلى NRS-C24) CALL-CORE-SCIENCE
خبير، محرر، رئيس
2027-01-31
مراجعون مستقلون لعائلات أطلس الأخطار، ثلاثة لكل عائلة من منطقتين على الأقل (NHS2-R19)، مع البدء بالعائلات ذات الأولوية CALL-ATLAS-REVIEW
خبير
2027-03-31
أعضاء الفريق المؤقت لاستعراض السلامة في المجالات الحدودية والمراجعون ضمن فرق الاختبار الهجومي (السلامة البيولوجية والأمن البيولوجي، وسلامة الذكاء الاصطناعي وأمنه، وأمن البنية التحتية الحيوية)؛ تُعامَل الطلبات بسرية CALL-FRONTIER-SAFETY-REVIEW
خبير
2026-11-30
خبراء في علم الأنطولوجيا والمترولوجيا والتحقق من البرمجيات وتقييم المطابقة، من أجل سجل المتطلبات، والتمثيل الآلي للمعيار NHS-2، ومجموعات اختبارات المطابقة، ونظام تقييم المطابقة CALL-CONFORMANCE-ONTOLOGY
خبير، محرر
2027-01-31
تُخفى الدعوات التي انقضى موعدها النهائي تلقائيًا. للاطلاع على كل الدعوات والمقترحات والمسارات: المجالات والدعوات المفتوحة.
الخلايا
A cell is a small team with a clear mission, a host and a record of what it does. Choose the type that fits.
University, student and national chapter teams. Open
A cell acts within its host's rules and never replaces an authority. A CERT works alongside the local emergency services, follows their direction and is not an emergency service.
How a cell forms
01
اجمع الخلية
اجمع من ثلاثة إلى سبعة أشخاص بمهارات متكاملة: البيانات والممارسة الميدانية والسياسات والاتصال.
02
Choose a type
Pick the kind of cell that fits the work, from the gallery below. A cell can add a second focus later. See the types
03
سجّله
Name the cell, its members, area and region, and who hosts it. You receive a reference and a contact. Form a cell
04
تعلّموا معًا
اتبعوا مسارات دراسية مشتركة في Risk Academy، مع ممارسة عملية وسجل لكل دورة مكتملة. المخاطر الطبيعية والصمود
05
القيادة والإبلاغ
Hold regular sessions. Publish what the cell learns through Reports. Bring findings to the working groups. Working groups
المؤشر
ما يستطيع فريق وطني أو مجتمع محلي فعله اليوم على المؤشر العالمي للمخاطر (Global Risks Index،NXS-GRX).
NXS-GRX
ملف بلدك
ملفات مخاطر مفتوحة لـ 195 بلدًا، مع ذكر المصادر والتراخيص لكل قيمة. افتح المؤشر
NXS-GRX
صحّح أو ردّ
صحّحوا قيمة أو قدّموا ردًا باسم بلدكم. ويُسجَّل التغيير مع أثره. افتح المؤشر
NXS-GRX
قدّم بيانات
قدّموا مجموعة بيانات. تدخل عبر بوابة التراخيص، مع ذكر اسمكم. افتح المؤشر
NXS-GRX
استخدم البيانات المفتوحة
طبقات وملفات وبلاطات خرائط عبر واجهة API المفتوحة. افتح المؤشر
07أسئلة
أسئلة وأجوبة ومصطلحات رئيسية
هل المقرر مجاني؟
نعم. جميع مقررات Risk Academy ومواد التعلّم فيها، بقيادة اتحاد نيكسس (Nexus Consortium)، متاحة للدراسة مجانًا، ذاتيًا أو ضمن دفعة. لا رسوم على المشاركة العادية؛ أما العمل المأجور والتدريب الداخلي والزمالات فهي ترتيبات منفصلة.
ماذا يمنحني إتمام المقرر؟
سجل إتمام: المقرر ونسخته وتاريخه وما جرى تقييمه، وهو خاص افتراضيًا وتشاركه أنت. ويتراكم في إنجازات على مستوى التخصص والقسم والبرنامج. يبيّن السجل ما دُرس وما قُيّم، ولا يشهد بالكفاءة؛ وهو ليس رخصة ولا لقبًا مهنيًا ولا وضعًا وظيفيًا.
من أين تأتي البيانات والأماكن؟
تدرّس كل كلية على توأم لمكان حقيقي مبني من بيانات مفتوحة؛ وتحمل كل طبقة اسم مزوّدها وترخيصها وتاريخها، وتذكر كل نتيجة في الأكاديمية مصدرها. الخرائط والأرقام مؤشرات لأغراض التعليم، وليست أبدًا تقييمًا لمكان ما.
كيف أشارك خارج نطاق المقرر؟
كوّن خلية كفاءة من ثلاثة إلى سبعة أشخاص، أو ادرس مسارًا مشتركًا، أو تولَّ مهمة خاضعة للإشراف في الأفرقة العاملة الوطنية، أو أحضر دفعة من مؤسستك. للمؤسسات.
المصطلحات الرئيسية
Red-teaming
محاولات منظَّمة لدفع نظام ما إلى الإخفاق أو سوء السلوك لاكتشاف نقاط الضعف قبل أن يفعل غيرك ذلك.
تلوث معايير القياس
عندما تتسرب بيانات الاختبار إلى بيانات تدريب نموذج ما، فتبالغ الدرجات في تقدير قدرته.
ملف السلامة
حجة منظّمة، مدعومة بالأدلة، على أن نظامًا ما آمن بدرجة مقبولة لاستخدام معيّن.
النموذج الطليعي
نموذج ذكاء اصطناعي عام الأغراض عند أقدر مستوى متاح في وقت ما أو قريبًا منه.
التقاريرساهم
ساهم بأدلة من هذه الصفحة.
Reports is the Consortium's quarterly publication, written by six desks. This page sits with the Academy Capability desk. What you know about this subject can become evidence, a case or a correction in the next edition, credited to you and published under CC BY 4.0 where it is your own work. Sent to the wrong desk, it is forwarded, not refused.
لا ترسل أبدًا بيانات شخصية أو تفاصيل حساسة عن البنية التحتية أو أي شيء لا يحق لك مشاركته. تُراجَع المساهمة قبل استخدامها؛ ولا يمنح إرسالها أي حقوق تأليف أو تحرير، ولا تشتري الرعاية أي نتيجة أبدًا.
لا يستخدم هذا الموقع إلا ملفات تعريف الارتباط الضرورية للغاية لكي يعمل ويتذكر خيارات الخصوصية التي تحددها. ولا يُحمَّل أي محتوى من شركات أخرى، ولا نبيع معلوماتك الشخصية أو نتبادلها أبدًا.
التفاصيل
لا يستخدم هذا الموقع إلا ملفات تعريف الارتباط الضرورية للغاية لكي يعمل ويتذكر خيارات الخصوصية التي تحددها. ولا يُحمَّل أي محتوى من شركات أخرى، ولا نبيع معلوماتك الشخصية أو نتبادلها أبدًا. ولا نعرض أي إعلانات. ويمكنك مراجعة خياراتك في أي وقت عبر رابط خيارات الخصوصية في أسفل كل صفحة.