AI の安全性と評価:基礎と実践
- レベル
- L2 中級
- 学習時間
- 約 24 時間(計画上の見込み)
- ステータス
- 執筆中
- 前提条件
- その領域の L1 コース、または入門レビュー
ベンダーが報告する評価結果に依拠する際に、独立したホールドアウト・ベンチマークがなぜ重要かを示します。
National Institute of Standards and Technology, CAISI Evaluation of DeepSeek V4 Pro,
学習成果
- レッドチーミングとこの分野のその他の主要用語を定義し、記述式のケースで正しく用いる
- Explain evaluation design and metrics and red-teaming and adversarial testing with a worked example and its source
- 分野の手法を記録のある事例に適用し、各結果をその出典とともに説明する
- 名指しした事例をベンチマークとデータ汚染に照らして分析し、エビデンス、日付、限界を明記する
モジュール
-
評価の設計と指標
- 評価の設計と指標
- レッドチーミングと敵対的テスト
- Benchmarks and data contamination
-
危険な能力の評価
- 危険な能力の評価
- フロンティアモデルのセーフティケース
- Agentic system evaluation
-
展開後のモニタリング
- 展開後のモニタリング
- インシデントの報告と開示
-
ラボ:この分野の手法
- 攻撃成功率は、明示された攻撃者の予算のもとで試行ごとに測定されます。k 回の試行のうち少なくとも 1 回が成功する確率は、1 から「1 から s を引いた値」の k 乗を引いた値として増加し、リリース判定では、防御後のこの累積値を、安全性ケースが許容できる水準と比較します。
- 記録のある事例で手法を実践し、各結果を説明する
- 手法の出典と記載値を読む
Academy のツールを使うラボ
手法
- 1 回の試行から攻撃者の予算へ:試行ごとの成功率がどうリリースのゲートになるか分野ページに掲載された、出典を付した当該分野の手法を、文書化された事例で通して示します
計測ツール
ツインビルダー
- デジタルツイン・ビルダー学部の場所を 3D で構築し、レイヤーを切り替え、それぞれのクレジットと日付を確認する
地図レイヤー
- 市街地と居住地の範囲、2010 年(HBASE、Landsat)Academy のライセンス登録簿が承認したオープンな地図レイヤー。地図ツールで読み込みます
- 今夜の夜間光と停電(VIIRS Day/Night Band)Academy のライセンス登録簿が承認したオープンな地図レイヤー。地図ツールで読み込みます
- 人口密度、2020 年(GPW v4.11)Academy のライセンス登録簿が承認したオープンな地図レイヤー。地図ツールで読み込みます
Foundry ルーム
- コンピテンス・ルーム、NXS-NXQモデルが特定のタスク、対象集団、運用範囲に適しているかどうか
- Benchmarks room, NXS-LABEvaluation and benchmark design
Nexus Standards
教える内容
評価
- 40%
ラボの記録
記録のある事例で分野の手法を実践し、各結果をその出典と日付とともに説明する
- 40%
事例メモ
分野の手法を特定の場所または組織に適用し、エビデンスと限界を明示する
- 20%
重要用語の確認
重要用語についての短答。定義に照らして採点します
配信
- オンラインで自分のペースで学習。ラボはブラウザ内で実施
- 6 から 8 週間のコホート学習、毎週のラボ・レビュー付き
- パートナー機関と共同で、その機関自身のコースの中で提供
このコースのパートナーになる
- モジュールを共同で教え、ご自身の業務から最新の事例を持ち込む
- 独自のスケジュールとレビューで、あなたの学習者のためにコホートを主催する
- ラボを提供する:あなたの機関がオープンに公開しているデータセット、またはモデル
- 開講前にコースの内容と参考文献をレビューする
- コースを翻訳し、その事例をあなたの地域に合わせて調整する
Academy の LMS で
- Course on the learning platform
- Intermediate, 4 sections
- コホート・グループ
- A community group for each cohort of learners
- 成果
- Recorded on completion of the assessed work
参考文献 4
- National Institute of Standards and Technology, CAISI Evaluation of DeepSeek V4 Pro,
- Shevlane et al., Model evaluation for extreme risks, 2023
- Phuong et al., Evaluating Frontier Models for Dangerous Capabilities, 2024
- Clymer et al., Safety Cases: How to Justify the Safety of Advanced AI Systems, 2024