人工智能安全与评估:基础与实践
- 级别
- L2 中级
- 学习时长
- 约 24 小时(规划估算)
- 状态
- 编写中
- 先修要求
- 该领域的一门 L1 课程,或入门审核
Shows why independent and held-out benchmarks matter when relying on vendor-reported evaluation results.
National Institute of Standards and Technology, CAISI Evaluation of DeepSeek V4 Pro,
学习成果
- Define red-teaming and the other key terms of the discipline and use them correctly in a written case
- 结合实例及其来源,讲解评估设计与指标,以及红队测试与对抗性测试
- 将该学科的方法应用于一个有据可查的案例,并结合来源解释每项结果
- Analyse a named case against benchmarks and data contamination, stating evidence, date and limits
模块
-
评估设计与指标
- 评估设计与指标
- 红队演练与对抗性测试
- Benchmarks and data contamination
-
危险能力评估
- 危险能力评估
- Safety cases for frontier models
- Agentic system evaluation
-
部署后的监测
- 部署后的监测
- Incident reporting and disclosure
-
实验室:该学科的方法
- 攻击成功率按每次尝试并针对既定的攻击者预算来衡量;k 次尝试中至少一次成功的概率按 1 减去 (1 减 s) 的 k 次方增长,发布关口则将经防御后的这一累积数值与安全论证可容忍的水平进行比较。
- 通过一个有据可查的案例运用该方法,并解释每项结果
- 阅读该方法的来源与所述数值
配有 Academy 工具的 Labs
方法
- 从一次尝试到攻击者的预算:单次尝试成功率如何变成发布关口学科页面上的学科方法及其引用来源,并通过一个有据可查的案例加以演示
工具
孪生构建器
- 数字孪生构建器以 3D 构建学院所在地点,切换图层并查看各图层的署名与日期
地图图层
- 建成区与聚落范围,2010 年(HBASE,Landsat)Academy 许可登记册准入的开放地图图层,在地图工具中读取
- 今夜夜间灯光,停电情况(VIIRS 昼夜波段)Academy 许可登记册准入的开放地图图层,在地图工具中读取
- 人口密度,2020 年(GPW v4.11)Academy 许可登记册准入的开放地图图层,在地图工具中读取
Foundry 工作室
- 能力专题室,NXS-NXQ模型是否适合某项任务、人群和运行范围
- Benchmarks room, NXS-LABEvaluation and benchmark design
Nexus Standards
讲授内容
评估
- 40%
实验记录
通过一个有据可查的案例运用该学科的方法,并结合来源和日期解释每项结果
- 40%
案例备忘录
将该学科的方法应用于一个具名地点或组织,并说明证据与局限
- 20%
关键术语测验
就关键术语作简短回答,对照定义评分
授课方式
- 在线自定进度学习,实验室在浏览器中运行
- 为期六至八周的同期群学习,每周进行实验室评审
- 与合作机构共同开设,纳入其自身课程
合作开设本课程
- 合作讲授一个模块,并带来您工作中的当前案例
- 为您的学员开设同期群,采用您自己的日程与评审
- 贡献一个实验室:贵机构公开发布的数据集或模型
- 在课程开放前审阅课程内容及其参考文献
- 翻译本课程,并将其案例改编以适应您所在的区域
在 Academy LMS 中
- Course on the learning platform
- Intermediate, 4 sections
- 学员群组
- A community group for each cohort of learners
- 成就
- Recorded on completion of the assessed work
参考文献 4
- National Institute of Standards and Technology, CAISI Evaluation of DeepSeek V4 Pro,
- Shevlane 等,Model evaluation for extreme risks, 2023
- Phuong 等,Evaluating Frontier Models for Dangerous Capabilities, 2024
- Clymer et al., Safety Cases: How to Justify the Safety of Advanced AI Systems, 2024