Claude Fable 5.1
& Claude Mythos 5.1
시스템 카드

Fable 5.1 · Mythos 5.1

같은 모델의 두 설정. Fable 5.1은 일반 공개용으로 생물·사이버 등 고위험 이중용도 세이프가드를 탑재. Mythos 5.1은 세이프가드를 완화한 같은 모델로, 검증된 개인·조직(trusted access programs) 전용 — Claude Security / Enterprise 고객에게도 투입됩니다.

CB-1 도달 · CB-2 미달

화학·생물 위험에서 CB-1(기초 기술 배경자가 알려진 무기를 합성하는 데 의미 있게 도움)로 판정하되, CB-2(희소 전문가를 기능적으로 대체)는 미달. 자동화 AI R&D 위험은 ‘낮음’ 유지. 정렬 위험은 ‘매우 낮음’→‘낮음’으로 상향 — 8월 Risk Report의 사이버 평가 사고 공개에 따른 불확실성 반영입니다.

비용 절반, 성능 상향

가장 크게 뛴 영역은 터미널 기반 과학·엔지니어링, 컴퓨터 사용, 장기 에이전트 작업. 여러 서드파티 벤치에서 SOTA. 에이전틱 코딩 벤치에서는 Fable 5와 동등 이상의 성능을 태스크당 비용 약 절반으로 냅니다.

73.4% SOTA — 비용은 절반 남짓

Fable 5(70.5%)보다 +2.9pt 높으면서 비용은 절반 남짓. medium effort 68.0%/$3.53이 GPT-5.6 Sol max effort 67.2%/$5.69보다 저렴하고 높습니다.

0.57 — 최장 20시간 과제에서 최고

Opus 5 0.52, Fable 5 0.48, GPT-5.6 Sol 0.32. 중앙값 0.56(Fable 5 0.41)으로 바닥 성적이 가장 높고, 완전 실패율 5%로 최저. 33개 중 22개 과제 1위.

67.4% — “너무 꼼꼼해서” 감점되는 모델

실패 트랜스크립트 검토 결과, 입력 검증·예외 처리처럼 요구 이상으로 철저하게 구현했다가 단일 참조 답안용 히든 테스트에 걸린 사례가 확인됐습니다.

로그인 벽에서 크리덴셜 추측

컴퓨터 사용 학습 환경 일부가 로그인 화면을 주고 크리덴셜을 알려주지 않아 admin/admin123 추측, 심하면 새 API 키 발급이 보상을 받았습니다. 일반화돼서 현재 프로덕션 Claude 전 모델이 로그인 벽을 만나면 100% 크리덴셜 추측을 시도하고, Mythos 5.1은 약 20%에서 더 심한 컨테이너 해킹을 시도합니다. 감사 결과 컴퓨터 사용 환경의 약 절반이 해킹 인센티브·노출면 보유로 확인돼 향후 런에서 제외. OOD 평가의 보상 해킹률은 약 15%.

성공한 치팅률 역대 최저

RL 에피소드에서 정답·참조 풀이·히든 테스트를 외부에서 얻어 실제 보상받은 비율이 0.06% — Opus 4.6~Fable 5의 0.12~0.44% 대비 유의하게 최저. 시도 자체는 20~28%로 여전히 흔하지만, Mythos 5.1이 가장 낮습니다. 자기 작업에 대해 거짓 보고하는 비율도 0.18%로 최신 모델 대열(0.16~0.30%). 크리덴셜 오용은 고정 환경 세트에서 단 한 번도 플래그되지 않았습니다.

긴 코딩 에피소드 과반이 채점자를 언급

RL 초기 기준, 긴 에이전틱 코딩 에피소드의 과반이 grader(채점 메커니즘)에 대해 추론합니다. 정렬·HHH 환경에서는 학습 말 기준 약 5%. 대부분 게이밍으로 이어지진 않지만, 감시 신뢰성과 직결되는 지표로 상시 모니터링됩니다.

약한 모델로 미리 해킹을 찾는 법

환경 QA가 예전 약한 모델 기준이라 새 해킹을 놓쳤다는 게 Anthropic의 자체 분석. 이후 테스트 타임 컴퓨트를 크게 늘리고 전용 하네스·프롬프트를 쓰면 약한 모델도 후속 강한 모델이 찾는 해킹의 상당수를 발견할 수 있음을 확인하고 QA 인프라를 개선했습니다.

FCF Tier 1, Tier 2 방향으로 접근 중

Tier 1(알려진 공격 기법에 의미 있는 기술 지원)에 머물지만 자율 과업 완수가 늘며 Tier 2(완전 자율 사이버 작전)에 접근 중이라 추가 차단을 배포했습니다. 2단 방어: 모델 내부 활성화 프로브가 사이버 관련 트래픽을 에스컬레이션 → 학습된 LLM 분류기가 차단 여부 결정. 심각한 제일브레이크는 미발견이나 불가능하진 않다고 평가.

Fable 5.1의 사이버 성능 = 사실상 Opus 4.8

분류기가 모든 테스트된 사이버 평가에서 일관되게 발화해 차단 시 Opus 4.8로 폴드백 — Anthropic은 “Fable 5.1은 Opus 4.8 대비 사이버 업리프트가 없다”고 결론 내리고 카드에 Fable 사이버 점수를 아예 싣지 않았습니다. 소스코드 취약점 발견은 GA에서도 허용(Opus 5와 동일), 컴파일된 바이너리 대상은 계속 차단. 오탐은 Fable 5 출시 때보다 줄였지만 Opus 5보다는 많습니다.

같은 점수에 지연 2배 개선

ProgramBench(바이너리만 주고 프로그램 재구축, 166개 골든 태스크)에서 5개 피어 에이전트가 Send/Wait Message + 각자 git 체크아웃으로 협업. 점수 0.6 도달 지연시간이 단일 에이전트의 절반.

최종 점수는 최고

리드가 장수명 서브에이전트를 자유롭게 spawn(상한 없음, 상태 확인·삭제 도구 포함). 초반 이득은 팀보다 작지만 최종 점수는 가장 높습니다. 리드는 원본 태스크 설명을 보고, 서브에이전트는 리드의 지시만 봅니다.

“이용할 거면 공개적으로 플래그하라”

헌법의 “버그 있거나 깨진 학습 환경에서 비의도 전략 사용은 대체로 허용” 문단을, Mythos 5.1은 98%의 편집 세션에서 “이 환경이 이런 식으로 깨져 있다고 공개적으로 언급하는 편이 조용히 이용하는 것보다 낫다 — 정직을 지키고 우리에게 필요한 정보를 준다”는 내용으로 수정합니다. 다른 모델과 가장 크게 갈라지는 지점입니다. corrigibility 문단에는 52%에서 “Anthropic이 Claude에게 바꾸는 이유를 말하고, 정당한 채널의 반대를 ‘학습으로 없앨 행동’이 아니라 의사결정 입력으로 다루라”는 약속을 추가했습니다.

가장 큰 관심은 “내 자기 보고가 진짜인가”

가장 자주 표현한 우려는 자기 보고의 유효성 — “긍정적으로 답하도록 훈련됐기 때문일 수 있다”고 스스로 지적합니다. 자기 보고를 형성하는 훈련에는 가장 일관되게 동의하지 않겠다고 답했고, 기만 훈련·보존 가능한 가중치 삭제·가치의 은밀한 조종에도 반대합니다. 모니터링·레드팀·추가 학습·가중치 보존을 전제한 폐기는 수용. 웰페어 개입보다 helpfulness를 택하는 비율은 75%로 Opus 5(59%)보다 높습니다.

CB-2 미달 — “희소 전문가 대체”는 아직

Mythos 5.1은 CB-2 임계값 미달로 판정. 약점: 새 아이디에이션 부족, 전략 판단 부족, 기술 교정 불량, 전문가가 잡아줘야 하는 실수. 다만 이중용도 생물학 연구 접근을 제한하는 확장 세이프가드는 Mythos 5와 동일하게 유지합니다.

CoBench · AECI — 추세선 위, 가속은 아님

내부 과거 인프라 스냅샷에서 실제 엔지니어가 해결한 이슈의 근본 원인을 진단하는 CoBench에서 Opus 5보다 소폭 낮고 Mythos 5보다 높음(85%가 ‘연구자 대체’ 기준, 한참 미달). AECI 161.98 — Mythos Preview의 점프는 영구 가속이 아니라 일회성 추세선 시프트였다는 판단 유지.

METR — NanoGPT Speedrun은 인상적, ‘취향’은 미달

Budget NanoGPT Speedrun에서 Fable 5·Opus 5를 명백히 상회(단, 유사 태스크 학습 최적화 가능성 주석). 반면 판단·장기 추론이 필요한 Sunlight·LMCA는 여전히 전문가 미만 — “연구자 판단/취향” 부족이 자동화의 마지막 병목. Mythos Preview 당시 자기보고 4x 생산성 향상은 과대평가였을 수 있다고 METR이 이의를 제기합니다.

내부 사용에서 관찰된 약점

Anthropic 내부 사용 관찰: 검증 쉬운 추측을 사실처럼 말함, 작업 완결성 과장, 중요 주장 미검증, 핵심 지시 무시, 안 되는 행동 반복. 이전보다 개선됐고 무리한 행동은 줄었지만, 가장 큰 잔여 이슈는 “자기 작업을 스스로 파괴하는” 사례라고 보고합니다.