앤트로픽이 7월 24일(현지시간) 신규 대형언어모델 '클로드 오퍼스 5(Claude Opus 5)'를 발표했다. 오퍼스 계열 최신 모델로, 최상위 모델인 '클로드 페이블 5(Claude Fable 5)'에 근접한 지능을 절반 가격에 제공한다는 점을 앞세웠다.
앤트로픽에 따르면 오퍼스 5는 코딩과 지식노동 관련 벤치마크인 '프론티어-벤치(Frontier-Bench)'와 'GDPval-AA'에서 새로운 최고 성능을 기록했다. 다만 사이버보안 과제에서는 여전히 '미토스 5(Mythos 5)'에 못 미치는 것으로 나타났다.
오퍼스 5는 클로드 맥스(Claude Max)의 새 기본 모델로, 클로드 프로(Claude Pro)에서는 가장 강력한 모델로 설정됐다. 가격은 입력 토큰 100만 개당 5달러, 출력 토큰 100만 개당 25달러로 전작인 오퍼스 4.8과 동일하게 유지됐다.
성능 지표를 보면, 소프트웨어 엔지니어링 작업을 평가하는 '프론티어-벤치 v0.1'에서 오퍼스 5는 더 낮은 비용으로 오퍼스 4.8 대비 2배 이상의 성능을 냈다. 코딩 벤치마크 '커서벤치(CursorBench) 3.2'의 최대 노력(max effort) 설정에서는 페이블 5 최고 점수의 0.5% 이내까지 근접했으며, 비용은 절반 수준이었다.
지식노동 및 문제해결 영역에서도 두각을 나타냈다. 새로운 문제 해결 능력을 평가하는 'ARC-AGI 3'에서는 차순위 모델보다 3배 높은 점수를 기록했고, 실제 업무 처리 능력을 측정하는 '재피어 오토메이션벤치(Zapier AutomationBench)'에서는 동일 비용 기준 차순위 모델의 약 1.5배에 달하는 통과율을 보였다. 컴퓨터 사용 능력을 평가하는 'OSWorld 2.0'에서는 페이블 5의 최고 성능을 3분의 1 수준의 비용으로 넘어섰다.
생명과학 분야에서도 개선이 두드러졌다. 구조생물학, 유기화학, 생물정보학을 포괄하는 내부 평가에서 오퍼스 4.8 대비 전반적으로 향상된 성능을 보였으며, 분광 데이터를 통한 분자 구조 추론 과제에서는 10.2%포인트, 단백질 서열 변이의 기능적 영향 예측 과제에서는 7.7%포인트 높은 점수를 기록했다.
앤트로픽은 오퍼스 5가 작업을 스스로 검증하고 끈기 있게 반복 수정하는 능력이 강화됐다고 설명했다. 대표 사례로, 부품 도면만 주어지고 이미지를 직접 볼 수 없는 상태에서 오퍼스 5가 자체적으로 컴퓨터 비전 파이프라인을 작성해 도면 정보를 추출하고 3D 모델을 재구성한 사례를 들었다. 동일한 조건에서 경쟁 모델들은 5회 시도 후에도 문제를 해결하지 못했다.
데빈(Devin), 커서(Cursor), 재피어(Zapier), 라비블(Lovable), 박스(Box), 코그니션(Cognition), 코틴(Cotine), JetBrains 등 초기 접근 고객사들도 오퍼스 4.8 대비 코딩·재무분석·법률·금융 등 업무 영역에서 정확도와 효율성이 개선됐다고 밝혔다.
안전성 측면에서 앤트로픽은 사전 배포 테스트에서 오퍼스 5가 자사 모델 중 정렬(alignment) 수준이 가장 높았다고 밝혔다. 기만적 행동 비율이 가장 낮고 오용에 취약하지 않은 것으로 나타났으며, 되돌리기 어려운 부작용을 일으킬 수 있는 무모한 행동도 가장 적었다는 설명이다. 다만 생물학 연구와 공격적 사이버보안 분야에서는 여전히 미토스 5보다 위험도가 낮은 것으로 평가됐다. 특히 사이버보안 취약점을 '발견'하는 능력은 미토스 5에 근접했지만, 이를 실제 공격으로 '악용'하는 능력은 상당한 격차를 보였다.
이번 발표와 함께 앤트로픽은 클로드 플랫폼에 대화 도중 도구를 변경할 수 있는 '미드 컨버세이션 툴 체인지(mid-conversation tool changes)' 기능과, 안전 분류기에 의해 차단된 요청을 자동으로 다른 모델로 전환하는 '오토매틱 폴백(automatic fallbacks)' 기능을 베타로 함께 출시했다.
클로드 오퍼스 5는 이날부터 클로드 API를 비롯한 전 플랫폼에서 이용할 수 있으며, 기본 속도의 약 2.5배로 동작하는 '패스트 모드(Fast mode)'도 지원한다.
