AI 안전과 평가: 기초와 실무
- 단계
- L2 중급
- 학습 시간
- 약 24시간(계획 추정치)
- 상태
- 작성 중
- 선수 조건
- 해당 분야의 L1 과정 또는 입문 심사
Shows why independent and held-out benchmarks matter when relying on vendor-reported evaluation results.
National Institute of Standards and Technology, CAISI Evaluation of DeepSeek V4 Pro,
학습 성과
- Define red-teaming and the other key terms of the discipline and use them correctly in a written case
- Explain evaluation design and metrics and red-teaming and adversarial testing with a worked example and its source
- 학문 분야의 방법을 문서화된 사례에 적용하고 각 결과를 출처와 함께 설명합니다
- Analyse a named case against benchmarks and data contamination, stating evidence, date and limits
모듈
-
평가 설계 및 지표
- 평가 설계 및 지표
- 레드팀 운영 및 적대적 시험
- Benchmarks and data contamination
-
위험 역량 평가
- 위험 역량 평가
- Safety cases for frontier models
- Agentic system evaluation
-
배포 후 모니터링
- 배포 후 모니터링
- Incident reporting and disclosure
-
랩: 학문 분야의 방법
- 공격 성공률은 명시된 공격자 예산 하에서 시도당 기준으로 측정합니다. k번의 시도 중 적어도 한 번 성공할 확률은 1에서 (1에서 s를 뺀 값)의 k제곱을 뺀 값만큼 커지며, 출시 승인 관문에서는 방어 적용 후의 이 누적 수치를 안전성 논증이 허용할 수 있는 수준과 비교합니다.
- 문서화된 사례를 통해 방법을 적용하고 각 결과를 설명합니다
- 방법의 출처와 명시된 값 읽기
Academy 도구를 활용한 랩
방법
- 한 번의 시도에서 공격자의 예산까지: 시도당 성공률이 어떻게 출시 관문이 되는가분야 페이지에 실린 해당 분야의 방법론을, 인용 출처와 함께 문서화된 사례로 풀어 설명합니다
도구
트윈 빌더
- 디지털 트윈 빌더학부의 장소를 3D로 구축하고, 레이어를 전환하며, 각 레이어의 출처 표기와 날짜를 확인합니다
지도 레이어
- 시가지 및 정주지 범위, 2010년(HBASE, Landsat)Academy의 라이선스 등록부가 승인한 개방형 지도 레이어로, 지도 도구에서 읽습니다
- 오늘 밤 야간 조명, 정전(VIIRS Day/Night Band)Academy의 라이선스 등록부가 승인한 개방형 지도 레이어로, 지도 도구에서 읽습니다
- 인구 밀도, 2020년(GPW v4.11)Academy의 라이선스 등록부가 승인한 개방형 지도 레이어로, 지도 도구에서 읽습니다
Foundry 룸
- Competence room, NXS-NXQWhether a model is fit for a task, population and operating envelope
- Benchmarks room, NXS-LABEvaluation and benchmark design
Nexus Standards
가르치는 내용
평가
- 40%
랩 기록
문서화된 사례를 통해 학문 분야의 방법을 적용하고 각 결과를 출처 및 날짜와 함께 설명합니다
- 40%
사례 메모
학문 분야의 방법을 특정 장소나 조직에 적용하고 근거와 한계를 밝힙니다
- 20%
핵심 용어 확인
핵심 용어에 대한 단답형 문항으로, 정의에 따라 채점합니다
운영 방식
- 자기 주도 온라인 학습, 브라우저에서 진행하는 랩
- 여섯 주에서 여덟 주에 걸친 코호트 학습과 주간 랩 검토
- 파트너 기관과 공동으로, 해당 기관의 자체 과정 안에서 운영
이 과정의 파트너 되기
- 모듈을 공동으로 가르치고 업무에서 얻은 최근 사례를 가져오십시오
- 학습자를 위한 코호트를 자체 일정과 검토로 운영하기
- 랩 기여하기: 기관이 공개적으로 게시하는 데이터셋 또는 모형
- 공개 전에 과정 내용과 참고문헌을 검토하기
- 과정을 번역하고 사례를 지역에 맞게 조정하기
Academy LMS에서
- Course on the learning platform
- Intermediate, 4 sections
- 코호트 그룹
- A community group for each cohort of learners
- 성과
- Recorded on completion of the assessed work
참고문헌 4
- National Institute of Standards and Technology, CAISI Evaluation of DeepSeek V4 Pro,
- Shevlane et al., Model evaluation for extreme risks, 2023
- Phuong et al., Evaluating Frontier Models for Dangerous Capabilities, 2024
- Clymer et al., Safety Cases: How to Justify the Safety of Advanced AI Systems, 2024